最近欧洲人疯抢中国空调的消息相当火热,但有没有一种可能:
最需要空调的,是AI超算(doge)。
远在英国,这几天就发生了这样一件事:
英国最强AI超算之一的Dawn,在30多度高温下,直接瘫了整整一周。
这台坐落在剑桥大学的超算,标签相当豪华:
英国政府3亿英镑国家AI算力计划的核心组成部分,1024块Intel GPU,256台液冷服务器,已经支撑了超过350个科研项目。
今年1月,刚拿到3600万英镑的扩容升级,预计性能将提升6倍。
然后6月底,一波热浪来了,它就歇菜了。
更魔幻的是,这台超算上正在跑的研究,包括气候变化模拟。
啊这??用来预测全球变暖的机器,被全球变暖打败了。
37.7°C,一个国家级超算经历的「至暗时刻」
事情是这样的。
今年6月,英国遭遇了有记录以来最猛的六月热浪。
6月26日,诺福克地区的林伍德镇热到了37.7°C,打破了1957年和1976年保持的35.6°C六月纪录。
英国气象局罕见地发布了连续三天的红色极端高温警告。
1000多所学校停课,铁路信号因高温故障,公路路面开始融化。
然后到6月27日那天,随着当日热浪峰值降临,Dawn超算所在的剑桥西区数据中心冷却系统顶不住了。
(P.S. 林伍德和剑桥都在英格兰东部,相距大约103公里)
Dawn,就此停摆。
△
事件发生后,剑桥大学发言人向外界表示:
Dawn遭遇了热天气期间的技术问题,冷却能力已完全恢复,预计访问将于7月6日重新开放。
没说具体原因,但情况就是:
从6月27日到7月6日,Dawn整整「冷却」了一周多。
对于一台每小时都在烧钱、每一秒都在推进科研进度的超算来说,这一周的停摆着实可怖。
这不,被伤的最深的已经出炉了。
剑桥大学Vendruscolo教授的团队,正在用Dawn做帕金森新药分子筛查。
Dawn的机器学习能力可以在几天之内筛查数十亿个分子,寻找能与帕金森相关蛋白聚集体结合的化合物。
如果用传统方法?半年起步,花费数百万英镑,而且只能覆盖Dawn几小时就能扫完的一小部分。
停机一周,意味着这条救命的流水线直接停转。
牛津大学的Lennard Lee,英国癌症疫苗AI与超算项目的负责人,他的团队拿到了Dawn 10000个GPU小时的算力配额,用AI加速个性化癌症疫苗的靶点发现。
Lee此前说过一句话:
以前需要几年才能完成的发现,现在只需要几周。
虽然事后Lee表示没有数据丢失,也不需要重做工作,但他话语中的庆幸,本身就说明了问题的严重性。
此外,英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了,剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了......Dawn上面跑的350多个项目,几乎无一幸免。
而制造这一切的,不过是37.7°C。
好,「凶手」现在已经抓到了,那最后谁应该来具体负责呢?
转了一圈,这锅,好像没人想接。
Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事后,USystems发了一份声明:
我们的设备在整个事件中完全按照设计规格运行,表现正常。
翻译一下:散热崩了,但不赖我们,我们的设备本来就不是按这个温度设计的。
那是设计标准太保守,还是气候变化太快?
答案可能是:都是。
英国六月的历史极端温度只有35.6°C,Dawn的冷却系统大概率就是按这个量级设计的。
37.7°C,超标了。
而且这个「超标」来得毫无预警,因为上一次达到这个纪录,还是在接近50年前。
另外Dawn也不是唯一的受害者。
同一周,英国朴次茅斯的Queen Alexandra医院冷却机组故障,宣布紧急事件。
手术室停了,心导管室停了,影像科停了。医院告诉患者:
请自带大量饮用水,因为医院非常热。
诺福克与诺里奇大学医院(简称NNUH)更惨:
所有MRI扫描仪的冷却系统因高温高湿全部失灵,至少254个门诊被取消。
所以,从某种程度上而言:
不是超算脆弱,是英国的整个温控基础设施,都没为这种天气做好准备。
30多度怎么就能热瘫超算?
Dawn被热瘫这件事,如果放在更长的时间线上看,一点也不意外。
2022年7月,英国遭遇了当时的史上最热天(40.3°C)。
Google伦敦数据中心的冷却系统「多个冗余系统同时失效」,被迫关机保护硬件,Google Cloud伦敦区域服务中断超过18小时才完全恢复。
△
Oracle伦敦南区数据中心同天瘫痪,Oracle的声明用了一个很有意思的词:「非季节性高温」。
2022到2026,4年过去了,类似事件再次上演。
我就想问了,这个问题就这么难,难到不可提前预防吗?
实际上,30多度搞瘫一台超算,是有点说法在身上的,其中最难突破的瓶颈就是散热。
尤其对欧洲地区来说,设备普遍采用的是自然冷却,这种方式天然受限于室外自然温度。
怎么理解?
所有散热系统,不管多先进,最终都要把热量倒给室外空气,室外空气温度是整条链的终极瓶颈。
这条链路展开后是这样的:
芯片把热量传给散热器,散热器传给冷却液或空气,冷却液传给冷却塔,冷却塔传给大气。
大气是最后一个接盘侠。
所以当大气自己都37°C了,它就开始接不住了。
具体来说,当室外温度从20°C飙到37°C,冷却塔和干冷器的散热效率可能骤降40%到50%。
你问咋不开空调?因为压缩机在高温下效率下降、电流升高,容易过热跳闸。
Oracle 2022年的事故报告原话就是:两台冷却机组在被要求超出设计极限运行时发生了故障。
Dawn这次的情况,合理推测可能也类似。
它用的Dell PowerEdge XE9640服务器配备了直接液冷系统,这是比传统风冷先进得多的散热方案。
冷却液直接贴着芯片表面流过,带走热量的效率远高于吹空气。
但还是那句话,液冷解决的是机架内部的效率。热量被冷却液带走之后,仍要通过冷却分配单元、设施冷水回路、冷却塔,一路传递到室外大气。最后一环,还是受制于室外温度。
而冷却系统一旦停摆,后续还会导致一系列连锁反应。
研究数据显示,冷却系统一旦停机,5分钟内服务器入口温度就能从22°C飙升到35°C以上。
遇到这种情况,芯片会启动自保:
先降频(thermal throttling),主动降低运行速度减少发热,性能暴跌;如果温度继续涨,超过安全阈值,就会强制关机。
运营商这时只有两个选择:
让设备自己断电,可能损坏数据;
主动有序关机,保护硬件但业务停摆。
Google、Oracle、剑桥Dawn,都选了后者。
AI越强,越怕热
还有更让人担心的。
随着AI数据中心不断「膨胀」,温度对AI的影响可能会越来越显著。
前几天在小破站看小Lin实地探访华为数据中心,有个对比让人印象深刻:
传统数据中心一个机架的功率密度大约5到10千瓦,但AI训练机架已经到了30到50千瓦,Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦(下一代Rubin可能到600千瓦)。
什么概念?一个AI机架100千瓦的发热量,相当于在一个电话亭大小的空间里同时开50台电暖器。
想象一下冬天用的小太阳,再把它们全部塞进一个机柜里,这就是今天AI算力基础设施面对的散热压力。
△
更麻烦的是,GPU本身正在变得越来越「热」。
2017年的Nvidia V100大约300瓦,2023年的H100跳到700瓦,2024年的B200达到1000瓦,2025到2026年的B300和AMD MI355X直接拉到1400瓦。
七年时间,单芯片发热翻了3到5倍。
所以,不管是从数量还是单个芯片来讲,随着AI变强,它就越怕热、越需要散热。
至此,我们就能发现两条正在对撞的曲线:
芯片在指数级变热,地球也在加速变热。
事情,开始变得更加棘手了。
Google早在2011年就跑去芬兰建数据中心,Meta去了瑞典北部,就是为了用寒冷气候做天然散热。
马斯克更是想到了要去太空建AI数据中心。
但英国政府今年1月刚给Dawn砸了3600万英镑扩容,还在规划爱丁堡的新国家超算。
这些设施的散热设计,是按上一个时代的英国夏天算的,还是按正在到来的新常态?谁也说不好。
但有一件事是确定的:
用来预测气候变化的超算,被气候变化热停了。
这已经不是一个段子,这是AI时代基础设施面临的真实课题。
参考链接:
[1]https://www.thetimes.com/uk/science/article/cambridge-ai-supercomputer-heatwave-shutdown-ns7rcmkgs
[2]https://www.datacenterdynamics.com/en/news/data-center-housing-uks-dawn-supercomputer-suffers-heatwave-related-outage-report/
[3]https://x.com/cashandcarrots/status/2074016783812505762
本文来自微信公众号“量子位”,作者:一水
