Недавно новость о безумной скупке китайских кондиционеров европейцами была очень горячей, но есть ли вероятность:
Что больше всего в кондиционерах нуждается ИИ-суперкомпьютер (doge).
Далеко в Британии как раз произошёл такой случай:
Один из самых мощных британских ИИ-суперкомпьютеров Dawn при 30-градусной жаре просто вышел из строя на целую неделю.
Этот суперкомпьютер, расположенный в Кембриджском университете, имеет весьма впечатляющие характеристики:
Ключевой компонент национальной программы правительства Великобритании по вычислительным мощностям ИИ стоимостью 3 миллиарда фунтов, 1024 GPU Intel, 256 серверов с жидкостным охлаждением, уже поддерживает более 350 научных проектов.
В январе этого года он только что получил 36 миллионов фунтов на расширение и модернизацию, ожидается, что производительность увеличится в 6 раз.
А затем, в конце июня, пришла волна жары, и он «слёг».
Что ещё более фантастично, среди исследований, которые на нём проводились, были моделирование изменения климата.
Вот это как?? Машина, используемая для прогнозирования глобального потепления, была побеждена самим глобальным потеплением.
37,7°C — «час тьмы» для национального суперкомпьютера
Дело обстояло так.
В июне этого года Великобритания столкнулась с самой сильной июньской жарой за всю историю наблюдений.
26 июня в городе Линвуд в Норфолке температура достигла 37,7°C, побив июньский рекорд 1957 и 1976 годов в 35,6°C.
Метеорологическое бюро Великобритании в редких случаях выпустило красное предупреждение об экстремальной жаре на три дня подряд.
Более 1000 школ приостановили занятия, железнодорожная сигнализация вышла из строя из-за жары, дорожное покрытие начало плавиться.
А затем 27 июня, когда достиг пика дневной волны жары, система охлаждения дата-центра в западном районе Кембриджа, где находится Dawn, не выдержала.
(P.S. Линвуд и Кембридж находятся в Восточной Англии, на расстоянии примерно 103 км друг от друга)
Dawn вышел из строя.
△
После инцидента представитель Кембриджского университета заявил:
У Dawn возникли технические проблемы в жаркую погоду, охлаждающая способность полностью восстановлена, ожидается, что доступ будет вновь открыт 6 июля.
Конкретная причина не названа, но ситуация такова:
С 27 июня по 6 июля Dawn полностью «остывал» больше недели.
Для суперкомпьютера, который каждый час тратит деньги и каждую секунду продвигает научный прогресс, эта неделя простоя ужасна.
Вот уже и пострадавшие нашли язык.
Команда профессора Вендрусколо из Кембриджского университета использует Dawn для скрининга молекул новых препаратов от болезни Паркинсона.
Возможности машинного обучения Dawn позволяют за несколько дней просканировать миллиарды молекул, ища соединения, способные связываться с белковыми агрегатами, связанными с болезнью Паркинсона.
А если использовать традиционные методы? От полугода, затраты в миллионы фунтов, и можно охватить лишь малую часть того, что Dawn просканирует за несколько часов.
Неделя простоя означает, что эта жизненно важная производственная линия просто остановилась.
Леннард Ли из Оксфордского университета, руководитель британского проекта ИИ и суперкомпьютера для вакцин против рака, его команда получила квоту в 10 000 GPU-часов на Dawn для ускорения с помощью ИИ открытия мишеней для персонализированных противораковых вакцин.
Ли ранее сказал:
То, на что раньше требовались годы, теперь можно сделать за несколько недель.
Хотя позже Ли заявил, что данные не потеряны и работу переделывать не нужно, само его облегчение говорит о серьёзности проблемы.
Кроме того, приостановилась работа модели IceNet для прогнозирования морского льда, обученной на Dawn Британской антарктической службой, остановился проект по скринингу рака почки с помощью ИИ, который на Dawn ведёт аспирант Кембриджа Билл Макгоф... Из более чем 350 проектов, работающих на Dawn, практически ни один не избежал последствий.
А причиной всему стали всего лишь 37,7°C.
Хорошо, «виновник» теперь найден, но кто же в конечном итоге должен нести конкретную ответственность?
Круг замкнулся, и похоже, никто не хочет брать вину на себя.
Система охлаждения Dawn поставляется французской группой Legrand, её подразделением USystems. После инцидента USystems выпустили заявление:
Наше оборудование на протяжении всего инцидента работало полностью в соответствии с проектными спецификациями, функционировало нормально.
Перевод: охлаждение сломалось, но это не наша вина, наше оборудование изначально не было рассчитано на такие температуры.
То ли стандарты проектирования слишком консервативны, то ли климат меняется слишком быстро?
Ответ, вероятно, таков: и то, и другое.
Исторический экстремум температуры для июня в Великобритании составлял лишь 35,6°C, система охлаждения Dawn, скорее всего, и была рассчитана на этот уровень.
37,7°C — это превышение.
И это «превышение» пришло без предупреждения, потому что в последний раз такой рекорд был установлен почти 50 лет назад.
Кроме того, Dawn — не единственная жертва.
На той же неделе из-за отказа охлаждающего агрегата в больнице Queen Alexandra в Портсмуте (Великобритания) было объявлено чрезвычайное происшествие.
Остановились операционные, катетеризационная лаборатория, отделение медицинской визуализации. Больница сообщила пациентам:
Пожалуйста, возьмите с собой большое количество питьевой воды, потому что в больнице очень жарко.
Университетской больнице Норфолка и Нориджа (сокращённо NNUH) было ещё хуже:
Из-за жары и высокой влажности системы охлаждения всех аппаратов МРТ вышли из строя, было отменено как минимум 254 приёма.
Таким образом, в определённом смысле:
Проблема не в хрупкости суперкомпьютера, а в том, что вся британская инфраструктура контроля температуры не была готова к такой погоде.
Как же 30 с лишним градусов могут вывести из строя суперкомпьютер?
Если посмотреть на более длительном отрезке времени, то то, что Dawn вышел из строя от жары, совсем не удивительно.
В июле 2022 года Великобритания пережила самый жаркий день в своей истории на тот момент (40,3°C).
Система охлаждения лондонского дата-центра Google — «несколько резервных систем одновременно вышли из строя», оборудование было принудительно отключено для защиты, услуги Google Cloud в лондонском регионе были недоступны более 18 часов, прежде чем полностью восстановились.
△
В тот же день вышел из строя дата-центр Oracle в Южном Лондоне, в заявлении Oracle использовалось очень интересное слово: «несезонная жара».
С 2022 по 2026, прошло 4 года, и подобный инцидент повторился.
Хочется спросить, неужели эта проблема настолько сложна, что её невозможно предотвратить заранее?
На самом деле, в том, что 30 с лишним градусов выводят из строя суперкомпьютер, есть своя логика, и самый труднопреодолимый барьер здесь — отвод тепла.
Особенно для европейского региона, где оборудование в основном использует естественное охлаждение, которое по своей природе ограничено температурой наружного воздуха.
Как это понять?
Любая система охлаждения, какой бы современной она ни была, в конечном итоге должна отдавать тепло наружному воздуху, температура наружного воздуха является конечным узким местом всей цепочки.
Если развернуть эту цепочку, получится так:
Чип передаёт тепло радиатору, радиатор — охлаждающей жидкости или воздуху, охлаждающая жидкость — градирне, градирня — атмосфере.
Атмосфера — последний «приёмщик».
Поэтому, когда сама атмосфера нагрета до 37°C, она начинает не справляться с приёмом.
Конкретнее, когда температура наружного воздуха подскакивает с 20°C до 37°C, эффективность теплоотдачи градирни и сухих охладителей может упасть на 40–50%.
Спросите, почему не включить кондиционер? Потому что компрессор при высокой температуре теряет эффективность, потребляемый ток возрастает, легко происходит перегрев и отключение.
В отчёте Oracle об инциденте 2022 года прямо так и говорится: две охлаждающие установки вышли из строя, когда от них потребовали работы за пределами проектных ограничений.
Можно предположить, что ситуация с Dawn, вероятно, была похожей.
Используемые им серверы Dell PowerEdge XE9640 оснащены системой прямого жидкостного охлаждения, что является гораздо более продвинутым решением для отвода тепла, чем традиционное воздушное.
Охлаждающая жидкость течёт непосредственно по поверхности чипа, эффективность отвода тепла намного выше, чем при обдуве воздухом.
Но, опять же, жидкостное охлаждение решает проблему эффективности внутри стойки. После того как тепло уносится охлаждающей жидкостью, оно всё равно должно пройти через блок распределения охлаждения, контур охлаждённой воды объекта, градирню и в итоге передаться наружной атмосфере. Последнее звено всё ещё зависит от температуры наружного воздуха.
А когда система охлаждения останавливается, это запускает цепную реакцию последствий.
Исследования показывают, что при остановке системы охлаждения температура на входе сервера может подняться с 22°C до более чем 35°C всего за 5 минут.
В таких случаях чип запускает самозащиту:
Сначала снижается частота (thermal throttling), активно снижается скорость работы для уменьшения тепловыделения, производительность резко падает; если температура продолжает расти и превышает порог безопасности, происходит принудительное отключение.
У оператора в этот момент есть только два выбора:
Дать оборудованию отключиться само по себе, рискуя повредить данные;
> Или произвести плановое, упорядоченное отключение, защищая оборудование, но останавливая работу.Google, Oracle, кембриджский Dawn — все выбрали последнее.
Чем мощнее ИИ, тем больше он боится жары
Есть о чём беспокоиться ещё больше.
По мере того как центры обработки данных для ИИ продолжают «разрастаться», влияние температуры на ИИ может становиться всё более значительным.
Недавно на Bilibili в видео, где сяо Линь на месте посещает дата-центр Huawei, было одно сравнение, которое произвело впечатление:
Плотность мощности одной стойки в традиционном дата-центре составляет примерно 5–10 киловатт, но стойки для обучения ИИ уже достигли 30–50 киловатт, новейшая стойка Nvidia GB200 NVL72 и вовсе доходит до 120–132 киловатт (следующее поколение Rubin может достичь 600 киловатт).
Что это значит? Тепловыделение одной стойки ИИ мощностью 100 киловатт эквивалентно одновременному включению 50 электрических обогревателей в пространстве размером с телефонную будку.
Представьте себе зимний обогреватель «солнышко», а потом поместите их все в один серверный шкаф — вот с каким давлением в плане отвода тепла сегодня сталкивается инфраструктура для вычислительных мощностей ИИ.
△
Что ещё хуже, сами GPU становятся всё более «горячими».
Nvidia V100 2017 года — около 300 Вт, H100 2023 года — подскочила до 700 Вт, B200 2024 года — достигла 1000 Вт, B300 2025–2026 годов и AMD MI355X и вовсе подняли планку до 1400 Вт.
За семь лет тепловыделение одного чипа выросло в 3–5 раз.
Таким образом, как с точки зрения количества, так и с точки зрения отдельных чипов, по мере того как ИИ становится мощнее, он всё больше боится перегрева и всё больше нуждается в охлаждении.
На этом этапе мы можем обнаружить две сталкивающиеся кривые:
Чипы становятся экспоненциально горячее, и Земля тоже нагревается всё быстрее.
Дела становятся ещё более сложными.
Google ещё в 2011 году отправился строить дата-центр в Финляндию, Meta — на север Швеции, именно чтобы использовать холодный климат для естественного охлаждения.
Маск вообще задумался о строительстве центра обработки данных для ИИ в космосе.
Но британское правительство только в январе этого года вложило в расширение Dawn 36 миллионов фунтов и планирует новый национальный суперкомпьютер в Эдинбурге.
Рассчитаны ли системы охлаждения этих объектов на британское лето прошлой эпохи или на новую реальность, которая наступает? Никто не может сказать наверняка.
Но одно можно сказать точно:
Суперкомпьютер, используемый для прогнозирования изменения климата, был остановлен из-за перегрева от изменения климата.
Это уже не шутка, а реальная проблема, с которой сталкивается инфраструктура в эпоху ИИ.
Ссылки:
[1]https://www.thetimes.com/uk/science/article/cambridge-ai-supercomputer-heatwave-shutdown-ns7rcmkgs
[2]https://www.datacenterdynamics.com/en/news/data-center-housing-uks-dawn-supercomputer-suffers-heatwave-related-outage-report/
[3]https://x.com/cashandcarrots/status/2074016783812505762
Статья из официального аккаунта WeChat «Quantum Bit», автор: И Шуй
