偶然当程序员却拿下图灵奖超算榜单之父讲述人生开挂经历

40年前意外走上程序员之路的杰克·东加拉(Jack Dongarra)是今年图灵奖的得主。

颁奖机构美国计算机协会表示，Dongarra的算法和软件成果推动了高性能计算(HPC)的发展。

正是他对数值算法和库的开创性贡献，使得高性能计算软件在过去40年里赶上了指数级硬件发展的步伐。

这个老头还做了一个超算500强榜单，一年两次帮超算跑。

就在刚才，这位71岁的父亲还参加了中国计算机联合会举办的CNCC 2022，并做了一场专题演讲。

讲座的主题也与高性能计算密切相关。

人类为什么需要超级计算？

高性能计算是指通过聚合计算能力，提供比传统计算机和服务器更强大的计算性能。

更通俗的说，就是用超级计算机并行处理复杂问题。

为什么要用超级计算机？杰克·东加拉举了一个例子。

他提到，科学和工程都是由理论和实验推动的，但往往会遇到局限性，尤其是在实验部分。

会遇到ldquo障碍rdquo非常喜欢。可能是仪器制作困难，可能是观察到的事物发展太快，也可能是没有办法在实验室完成实验。

比如，假设两个星系相撞，这个过程会是怎样的？

与其仅仅依靠长时间的观察，不如在电脑上进行模拟。

计算科学加强了目前的各种理论和实验。最快的超级计算机可以为模拟提供非常好的保真度和精确度。更重要的是，超级计算机可以覆盖和支持仿真过程中的巨大计算量。

这就不得不提超级计算的结构了。

超级计算是由CPU、GPU等一堆异构芯片提供的。

此外，它还具有高度并行的系统和分布式内存。MPI和OpenMP，一种用于共享内存并行系统的多线程编程方案，将在编写超级计算机时使用。

美国橡树岭国家实验室的超级计算机Frontier成绩斐然:2022年位列第59届国际超级计算机500强排行榜第一名。

Frontier拥有大约800万个内核和9408个节点，负载下的功率为21兆瓦。

杰克·唐加拉打了一个顽皮的比方。

他说，在美国，如果他的家庭消耗1兆瓦的电力，他每年要向电力公司支付100万美元。

也就是说，Frontier每年光电费就要花2100万美元！

Frontier的最高性能是每秒2 x 1018次浮点运算。

这是一个难以置信的计算量。现在，如果世界上每个人都停下手中的工作，开始每秒进行一次计算，那么昼夜不停地计算，不睡觉，需要四年才能达到1018次浮点运算。然而，如此庞大的计算量却可以在一秒钟内完成。

除了计算，超级计算还涉及不同芯片之间异构数据的传输，杰克·东加拉称之为移动数据。

杰克·东加拉(Jack Dongarra)指出，目前的超级计算对已经对浮点运算进行了大量优化，移动数据的成本已经高于计算成本。

降低移动数据成本将成为未来的重点研究方向。

此外，AI for Science在很多科学领域都发挥了重要作用，比如DeepMind的Alpha系列，比如Alpha Zero、AlphaStar、AlphaTensorhelliphellip

今年的Alphafold2，其蛋白质结构数据库揭开了蛋白质宇宙，被一些人戏称为ldquo。结构生物学家正在失业；。

超级计算的另一个发展方向是更适合AI计算。

AI有很多方面，包括ML、NLP、专家系统、CV、语音、机器人等。

杰克·东加拉给出了超级计算机适合AI计算的原因。

首先，互联网上的大量数据可以用来训练和构建ML算法。同时，因为提高洞察力，ML成为解决问题时需要考虑的ldquo基础设施；一个。

至于作为ML计算内核的GPU，人类对其背后的算法和理论有了更深刻的理解。

ML的核心是矩阵，其中线性代数起着重要的作用。

ldquo8位浮点精度非常适合训练神经网络硬件。rdquo

杰克·唐加拉对此做了进一步解释:

相比16位和32位浮点精度，更低的精度正是ML所需要的。

这就是为什么现在更多的计算机被设计来解决ML的问题。

他还提到，未来的超级计算机可能会有更多的加速器，可以用于ML、神经表达式计算、量子计算、光学计算等等。

ldquo从标量到矢量，从矢量到分布式内存，从分布式内存到加速计算，再到混合精度计算。rdquo杰克·东加拉总结道，ldquo我得出的结论是，这里有三次计算机革命。rdquo

意外在超算的漫漫长路上。

获得图灵奖的杰克·东加拉(Jack Dongarra)从一开始就没有把当程序员作为自己的职责。一切都是ldquo意外rdquo。

高中毕业后，他选择就读芝加哥州立大学。mdash这所学校类似于当地的师范学校，为芝加哥公立学校系统培养了许多教师。

第三年、第四年；杰克·唐加拉得到了心灵的祝福。觉醒到rdquo我发现我不想教书了。

几经周折，他申请了阿贡国家实验室的本科职位。在那里，他有机会与真正的科学家一起做一些实际工作，并获得课程学分。

于是，在芝加哥州立大学的最后一个学期，杰克·东加拉在阿贡国家实验室度过了大约16周。

1980年，东加拉在阿贡国家实验室

在阿贡国家实验室的这段经历让他下定决心转行做计算机。

毕业后，我先拿到了伊利诺伊理工学院的CS硕士学位，然后去了新墨西哥大学深造。

这是一张拍摄于1979年的照片。左边第二个年轻人是杰克·唐加拉本人。

当时作为新墨西哥大学的研究生，他的头发还很茂盛。

图中四个人组成一个小组，开发了一个项目叫LINPACK。为此，杰克·东加拉(Jack Dongarra)也将同名车牌贴在了自己心爱的汽车上。

具体来说，LINPACK是一套求解线性方程组的数学软件。

没错。那时候的帅哥自己真的是痴迷于线性代数领域。

他曾这样描述自己40年来成为程序员的动机:

我的专业是数学，尤其是数值线性代数，我所有的工作都来源于此。

对于那些需要解线性方程组的学科来说，一个能够计算出答案的软件无疑是非常重要的。

同时，你必须保证软件按照机器架构运行，才能真正达到机器所能达到的高性能。

1993年，杰克·东加拉加入了TOP500排名团队，成为TOP500第一个测试版本的创始人之一。

同年6月，正式版发布，其中使用的选择标准叫做LINPACK。

从那以后，500强榜单每六个月发布一次，告诉你世界上最强大的计算设备在哪里。

这一措施解决了科学家们无法就衡量超级计算机进步的标准达成一致的问题。

负责监督美国能源部的ldquo十亿次计算rdquo该项目的保罗·梅西纳说:

ldquo如果你不能测量它，你就不知道它是什么rdquo这就是为什么杰克的工作非常重要。

现在，TOP500已经成为衡量超级计算能力的权威标准。

排名第一的计算速度，按照摩尔定律描述的节奏，稳步增长，大约每14个月翻一番。

中国第一台超级计算机天河一号已经连续六个月位居榜首。

上月中旬，在美国达拉斯举行的SC22会议上，公布了第60届500强榜单的结果，第一名依然是上次夺冠的Frontier。

中国两台超级计算机神威太湖之光和天河二号分别获得第7名和第10名。

据统计，中国有162台超级计算机上榜500强。虽然从去年的173位有所下降，但仍领先美国36位，位居世界第一。

在计算能力方面，美国以43.2%的部署计算能力排名第一，中国以10.6%排名第四。

杰克·唐加拉得出了一组非常直观的数据。

现在的计算机，最快是每秒1.1万亿次，500强最后一名是1.73千万亿次。

而杰克·唐加拉的笔记本电脑是一台采用M2处理器的MacBook，运行速度为426 gigaflops。

近30年前，第一代TOP500高居榜首，属于洛斯阿拉莫斯国家实验室用于设计核武器的计算机CM.5。它有1000个处理器，运行速度约为60千兆次。

当年的第一，今天的第一就不用说了，今天家用笔记本电脑的运行速度已经远远超过了30年前的世界最快。

好了，最后，让我们回到老人身上。

年过七旬的他依然活跃在高性能计算领域，今年获得ldquo诺贝尔计算机科学奖；图灵奖，其中LINPACK就是他的获奖作品之一。

ACM总裁Gabriele Kotsis表示，Jack Dongarra是高性能计算领域最重要、最活跃的领导者之一。

超级新基准

也是主动领导提出超级计算需要新的基准测试！

背后的原因不难理解mdashmdash

LINPACK基准强调浮点运算，核心是矩阵乘法。

很多年前团队设计LINPACK的时候，浮点运算还是一个很重要的衡量标准。

现在浮点计算已经不那么重要了。

放眼望去，所有的超级计算机都是ldquo用于浮点计算；过度rdquo准备mdashmdash杰克·东加拉自己这样判断。

因此，他认为，当务之急是要有一个新的基准来关心移动数据，即HPCG。

简单来说，HPCG是一种共轭梯度算法，专注于求解稀疏矩阵问题，而不是稠密矩阵。

这正好满足了今天实际应用中存在的问题。

与旧的基准HPL相比，HPCG可以更好地反映应用程序的效果，但其执行速度的数字会低很多。

这背后的原因是，随着GPU的增强，计算机已经可以非常快速地进行浮点运算，所以HPL得到的数据实际上是夸大了超级计算潜力的结果。

相应地，HPCG强调移动数据而不是浮点数，这就是带宽和延迟将限制超级计算性能的地方。

以日本的超富越为例。

在LINPACK基准测试中，富悦排名第一，达到理论峰值的3%；而运行新基准时，富悦只获得了理论峰值的0.8%。

这意味着计算机没有显示出它们的潜在性能，需要更仔细地研究。

有趣的是，几乎百分之九十七的500强超级计算机都使用x86架构，只有五台超级计算机使用ARM处理器。

而且，这500台超级计算机没有一台使用RISC-V。

ldquo虽然在今天对高性能计算影响不大，但也许在未来，我们可以看到RISC-V对它的影响。rdquo杰克·东加拉说。

还有一点

一些陈词滥调，杰克·东加拉在CNCC做了一次特别演讲后被问及ldquo没有经验可以介绍给年轻人rdquo。

他的回答可以归纳为以下三点:

追随你的激情，做你感兴趣的事情。

胸怀大志，做好失败的准备。

多和别人互动，可能会获得灵感或者咆哮~

相关信息:我的一个程序员靠玩ChatGPT年薪210万。全球计算机专业最新排名:清华大学升至第二。毫无悬念。离职后，程序员远程锁定公司硬盘:造成重大损失。联想在美国制造了一种新的高性能计算机，成为世界历史上最节能的产品。马斯克展示了猴子用大脑芯片打字。这是真的。程支持的奖励。

支持0个人

反对

报酬

商品价值评分

快科技1997-2022版权所有。

ICP编号18024899 -2王编号41010502003949