«Общие инвестиции 1.6 млрд юаней, PUE всего 1.15, доля зеленой электроэнергии превышает 95%, ежегодная экономия 61 млн кВт·ч. В акватории Восточно-Китайского моря в районе Линьган в Шанхае запущен первый в мире подводный центр обработки данных, напрямую подключенный к морской ветроэнергетике.»
2026 год, все радостно пользуются ИИ, а те, кто создают вычислительные центры, сходят с ума от работы. Спрос на вычислительные мощности растет слишком быстро, системы охлаждения и энергоснабжения не успевают, отрасль достигла стадии, где требуется работать на пределе воображения. Недавно еще предлагали концепцию космических вычислений — запускать центры обработки данных в космос. А теперь кто-то действительно сбросил серверы в море.
Это не рассказ о какой-то футуристической концепции. Их уже сбросили, вложили 1.6 млрд юаней, в море погрузили более 2000 серверов. В акватории Восточно-Китайского моря к востоку от Малого Яншань в районе Линьган в Шанхае, на глубине 10 метров под морской платформой, в четырехэтажном подводном машинном зале размещено 192 стойки, непрерывно обеспечивающие вычислительную мощность. Общая масса конструкции — 1950 тонн, что примерно эквивалентно 1300 легковым автомобилям. В 500 метрах находятся более 50 ветрогенераторов, от которых поступает ветровая энергия; доля зеленой электроэнергии превышает 95%.
Сначала несколько цифр. PUE (показатель энергоэффективности центра обработки данных, чем ближе к 1, тем лучше): у этого подводного центра обработки данных он составляет 1.15 (это очень хороший показатель, подробнее позже), в среднем по стране — 1.48. Потребление пресной воды: ноль. Занимаемая площадь: 200 квадратных метров, тогда как аналогичный центр на суше потребовал бы 2000 квадратных метров. После выхода на полную мощность ежегодная экономия электроэнергии составит 61 млн кВт·ч.
Иными словами, погружение серверов в море не только не привело к их поломке, но и оказалось более экономичным по электроэнергии, воде и земле, а также снизило частоту отказов по сравнению с размещением на суше.
Недавно CCTV показала этот репортаж, и, посмотрев его, я покопался в деталях и обнаружил, что за этим стоит гораздо более интересная история.
Оглядываясь назад, это путь исследований и проверок, длившийся много лет. Только после многократных испытаний стало возможным безопасно «сбросить» вычислительные мощности в воду. Заглядывая в будущее, два крупных направления — центры обработки данных и зеленая энергетика — как раз сошлись на этом пути, сделав ключевой шаг в грандиозной игре.
Стоит рассказать с самого начала.
01: Зачем вообще опускать серверы на морское дно
Центр обработки данных — вещь сложная и одновременно простая. Если упростить, то ключевые проблемы, которые нужно решить, всего две: электроснабжение и охлаждение.
То, что серверы потребляют электроэнергию, известно всем, но многие не знают, что энергия, затрачиваемая на их охлаждение, может быть сравнима с потреблением самих серверов.
В отрасли существует ключевой показатель энергоэффективности центров обработки данных, называемый PUE (Power Usage Effectiveness). Расчет простой: общее потребление электроэнергии всем центром обработки данных делится на потребление IT-оборудованием (серверы, системы хранения, сети). Если PUE равен 2, это означает, что на 1 кВт·ч, потраченный серверами на вычисления, системы кондиционирования и другое вспомогательное оборудование тратят еще 1 кВт·ч на их охлаждение и поддержание работы.
В идеале PUE должен быть равен 1, то есть вся электроэнергия идет на вычисления, и ни один ватт не тратится на охлаждение. Но на практике достичь единицы невозможно, можно только бесконечно приближаться.
Средний PUE по центрам обработки данных в Китае составляет примерно 1.48. Другими словами, в китайских ЦОД на каждые 3 кВт·ч электроэнергии около 1 кВт·ч уходит на кондиционирование.
В 2024 году мировое потребление электроэнергии центрами обработки данных составило около 415 ТВт·ч, что составляет примерно 1.5% от общего мирового потребления. МЭА (Международное энергетическое агентство) прогнозирует, что к 2030 году эта цифра более чем удвоится и достигнет 945 ТВт·ч. И это только энергопотребление традиционных ЦОД, с приходом ИИ ситуация становится еще более впечатляющей.
Раньше стандартный сервер на CPU потреблял около 300 Вт. Если заменить его на сервер с GPU для обучения ИИ, потребление аналогичной машины может достигать 3000 Вт, то есть возрастает в десять раз. В отчете МЭА говорится, что ожидается ежегодный рост электропотребления серверов для ИИ на 30%.
Человек, проработавший в отрасли центров обработки данных 20 лет, поделился со мной наглядной картиной: в офисном здании кондиционеров на крыше достаточно для всего здания, но если превратить это здание в ЦОД, требования к охлаждению возрастут экспоненциально; площадь, занимаемая системами кондиционирования и электропитания, может даже превысить площадь серверных стоек, и тогда может оказаться, что кондиционеров, установленных на крыше и на площади перед зданием, все равно не хватит, чтобы рассеять тепло.
Поэтому отрасль центров обработки данных во всем мире все эти годы размышляет об одном и том же: как найти более дешевый источник холода. Ответ оказался удивительно единообразным: использовать природу.
Раньше Facebook пробовал строить центры обработки данных в высоких широтах Северной Америки, чем ближе к Полярному кругу, тем лучше, там естественно низкая температура. Несколько лет назад Tencent построил ЦОД в пещере в Гуйчжоу, где постоянная температура. В этом вопросе главным критерием выбора места для крупных компаний стала не транспортная доступность, не наличие кадров, а то, где прохладнее.
Китайский проект «Вычисления на Востоке, данные на Западе» («Восточные данные — западные вычисления») следует той же логике: строительство центров обработки данных во Внутренней Монголии, Гуйчжоу, Ганьсу и других западных регионах. На Западе есть электроэнергия, дешевая угольная и много возобновляемых источников; холодный климат, например, в Уланчабе большую часть года ниже нуля, естественная способность к рассеиванию тепла высока. Восемь вычислительных узлов, десять кластеров центров обработки данных — по сути, это движение на запад в погоне за дешевой электроэнергией и бесплатным холодом.
А что же делать восточным городам?
Шанхай, Шэньчжэнь, Пекин — именно там спрос на вычислительные мощности наиболее высок. Финансовые транзакции, AI-инференс, обработка трансграничных данных — многие операции крайне чувствительны к задержкам, данные не могут постоянно передаваться на расстояние в две тысячи километров в пещеру в Гуйчжоу для обработки и потом обратно. Но именно в этих городах земля самая дорогая, лимиты на энергопотребление самые жесткие, а летом стоит невыносимая жара.
Вот здесь и появляется море.
Среднегодовая температура морской воды составляет всего около 15 градусов по Цельсию, она обладает высокой подвижностью, а способность рассеивать тепло в десятки раз выше, чем у озерной воды. Кроме того, в море активно строятся ветряные электростанции, и электроэнергия находится прямо рядом. Источник холода и источник энергии — две самые необходимые вещи для ЦОД — в море имеются одновременно.
С точки зрения логики, погружение серверов в море — это самый естественный ответ.
02: Как происходит погружение вычислительных мощностей в море, по шагам
Идея разместить центр обработки данных на морском дне принадлежит не китайцам.
В 2015 году Microsoft запустила проект под названием Project Natick. Первый эксперимент был довольно простым: сначала опустить один сервер и посмотреть, не сломается ли. Они погрузили на дно Тихого океана герметичную цилиндрическую капсулу диаметром около 2.4 метра с серверами внутри и оставили ее работать 105 дней, чтобы проверить, работают ли серверы в морской воде.
Вывод: работают.
В 2018 году Microsoft провела второй этап, уже полноценное развертывание. В акватории Оркнейских островов у берегов Шотландии на глубине около 35 метров на дне Северного моря был размещен герметичный контейнер с 864 серверами. Питание осуществлялось от местной приливной и ветровой энергии, охлаждение — естественной морской водой, после чего его просто оставили там.
Через два года, в 2020 году, Microsoft подняла этот контейнер со дна, вскрыла и получила удивительные данные.
Из более чем 800 подводных серверов вышли из строя только 6, уровень отказов составил примерно 0.7%. В то же время Microsoft разместила на суше контрольную группу из 135 серверов, которые работали те же два года; в ней сломались 8 серверов, уровень отказов близок к 6%. Уровень отказов под водой оказался примерно в восемь раз ниже, чем на суше.
Это контринтуитивный результат. Microsoft объяснила это тем, что герметичная капсула была заполнена сухим азотом — там не было кислорода, влаги, пыли, вибраций от входа-выхода людей и перепадов температуры. Серверы работали в практически стерильной среде, что значительно замедлило старение оборудования.
Никто не трогает, не смотрит, нет пыли, никто не заходит и не хлопает дверью — и ничего не ломается. Похоже, место, полностью лишенное людей, — самая идеальная рабочая среда для серверов.
Эксперимент Microsoft доказал одну вещь: охлаждение на морском дне работает. Следующий шаг сделали китайцы.
В 2020 году компания Hailanxin, китайская публичная компания, производящая морское оборудование, приобрела канадскую команду, специализирующуюся на глубоководном оборудовании. Эта команда ранее участвовала в инженерных работах по проекту Microsoft Natick и, что более важно, имела более чем 20-летний опыт в области глубоководных работ. Накопленный опытный багаж знаний (know-how) очень важен: в каких местах какие микроорганизмы обитают, какие течения и геологические условия в той или иной акватории, как спроектировать соединения, чтобы они прослужили под водой 20 лет без проблем.
Обладая этой технической базой, первый коммерческий подводный центр обработки данных был размещен на Хайнане.
Место было выбрано в заливе Циншуйвань, уезд Линшуй, провинция Хайнань, примерно в 3 км от берега, на глубине 40 метров. Концепция заключалась в погружении герметичного резервуара на морское дно, подключении его по подводному кабелю к береговой контрольной станции, использовании естественного охлаждения морской водой. Он был введен в пробную эксплуатацию в 2022 году.
После более чем трех с половиной лет работы появились ключевые данные. PUE менее 1.2, что значительно лучше среднего по стране показателя в 1.48, энергопотребление на охлаждение сократилось более чем на 90%, что означает ежегодную экономию около 3 млн кВт·ч электроэнергии, экономию пресной воды около 15 тыс. тонн, береговая часть занимает всего 400-500 квадратных метров, что примерно в пять раз меньше, чем у аналогичного по масштабу наземного центра обработки данных.
Звучит так, будто после переноса центра обработки данных на морское дно все проблемы решены, но это далеко не так.
В случае с Хайнанем проблема источника холода была решена, экономическая эффективность подтверждена, но источник энергии по-прежнему остается слабым местом. Энергосистема Хайнаня в основном зависит от тепловой энергии, более чем на 70%. Подводный центр обработки данных использует электроэнергию от городской сети на берегу, для чего был проложен подводный кабель, стоимость которого составила десятки миллионов юаней. Ежедневные эксплуатационные расходы действительно низкие, но если учитывать капитальные вложения в период строительства, экономическая эффективность не очень высока, а питание от тепловой энергии в долгосрочной перспективе недостаточно экологично.
Как одновременно решить проблему источника холода и источника энергии? Следующий шаг был сделан в Шанхае.
Проект в Шанхае был реализован по совершенно другой концепции: место выбрано в акватории к востоку от Малого Яншань в районе Линьган, всего в 500 метрах от существующей морской ветряной электростанции мощностью 200 МВт. Ветровая энергия по подводному кабелю напрямую подается в центр обработки данных, минуя наземные энергосети, используется исключительно настоящая зеленая энергия. Проблемы источника холода и источника энергии, наконец, решены одновременно.
Ключевое изменение — в структуре затрат. В случае с хайнаньским проектом требовалось самостоятельно строить береговую станцию, прокладывать кабели, подводить сети — эта инфраструктура составляла значительную часть общих инвестиций. В шанхайском проекте береговая станция, кабели, сети и даже часть электрооборудования уже были на ветряной электростанции и были использованы повторно, что позволило снизить инвестиции на десятки процентов.
Тот факт, что на реализацию этого проекта ушло так много времени, обусловлен не столько техническими сложностями, сколько тем, что это почти никем не делалось ранее, и даже многие стандарты пришлось разрабатывать с нуля.
Сначала об экологии. Малоизвестный факт: экологические стандарты для работ в море гораздо строже, чем на суше.
Если вы разместите на дне постоянно нагревающийся объект, эффективное рассеивание тепла — это охлаждение, а неэффективное — это просто кипятильник. Ранее уже были попытки использовать озерную воду для охлаждения ЦОД: забирать холодную воду из озера для охлаждения и сбрасывать обратно. В результате температура воды в озере повысилась; хорошо, что не сварилась уха, но скорость роста рыбы явно увеличилась, нарушился экологический баланс, и проект не прошел экологическую экспертизу.
Требования в море еще строже. Специалисты рассказывают, что в этом вопросе экологические нормы предписывают, чтобы изменение температуры морской воды вблизи центра обработки данных (примерно на расстоянии 1 метра) не превышало 0.1 градуса Цельсия. 0.1 градуса — уже очень жесткий допуск, но недостаточно просто соответствовать ему, нужно также иметь возможности для постоянного мониторинга и планы действий на случай экстремальных ситуаций, которыми обладают не все.
Компания Hailan Cloud, реализующая этот проект, является дочерней компанией Hailanxin, публичной компании в области морских технологий. Материнская компания много лет работает в сфере морских технологий, занимаясь океанологическими наблюдениями, подводным оборудованием, морской связью. Если бы за это взялась компания без опыта в морском строительстве, она, вероятно, застряла бы на этапе экологической экспертизы.
Что касается серверной части, то для того, чтобы согласиться погрузить дорогостоящие серверы в воду, нужно действительно доверять этому решению. Это оборудование недешевое, его поломка была бы серьезной потерей. Кроме того, такие проекты по своей природе требуют высокой надежности всех компонентов оборудования; не стоит рассчитывать, что можно будет постоянно отправлять людей на дно для замены плат — это очень сложно.
По совокупности этих причин в проекте в итоге собрались крупные компании из различных областей: например, Shenergy, управляющая ветряными электростанциями и являющаяся лидером в энергетике Восточного Китая; Shanghai Yidian, старый промышленный конгломерат, отвечающий здесь за серверы; связь обеспечивает Shanghai Telecom, что объяснять не нужно. В целом, здесь объединились специалисты по морской технике, энергоснабжению, эксплуатации вычислительных мощностей и производству серверов. Если один элемент этой цепочки подведет, весь проект не сработает.
03: Ветер + вычисления: насколько велик потенциал?
Если смотреть в долгосрочную перспективу, шанхайский проект — это лишь начало. То, что действительно дает почву для больших ожиданий от этого направления, — это его будущее сочетание с крупными морскими ветряными электростанциями на глубоководье.
В Шанхае планируется построить морскую ветряную электростанцию на глубоководье общей мощностью 4300 МВт. Масштаб современного среднего или крупного центра обработки данных в Шанхае составляет примерно 20 МВт. Это означает, что выработки одной такой ветряной электростанции теоретически хватит для питания более 200 средних и крупных центров обработки данных.
Конечно, не вся энергия пойдет на питание ЦОД, но был сделан консервативный расчет: взять около 15% от максимальной выработки ветряной электростанции — этого будет достаточно для питания крупного морского вычислительного кластера. Что значит 15%? Это означает, что даже когда работают самые малочисленные ветрогенераторы, эта часть электроэнергии стабильна, не требует накопителей энергии, не нужно беспокоиться о колебаниях — это лучшая электроэнергия.
Исходя из этой доли, 15% от 4300 МВт составляет примерно 600 МВт. Вычислительный центр мощностью 600 МВт, расположенный в море, питаемый непосредственно зеленой энергией, с естественным охлаждением морской водой.
Здесь важный экономический расчет: морские ветряные электростанции на глубоководье находятся в сотнях километров от берега, потери при передаче электроэнергии по морю на сушу превышают 10%. Но вычислительные мощности не требуют передачи электроэнергии: вы преобразуете энергию прямо в море в вычислительные мощности, а результаты вычислений передаете обратно по волоконно-оптическому кабелю, практически без потерь при передаче. Потери электроэнергии составляют более 10%, потери данных почти нулевые. Передавать биты с моря на сушу оказывается гораздо выгоднее, чем передавать электроны.
Если заглянуть еще дальше. Основание морской ветряной турбины называется башней (tower) — это большая колонна, вбитая в морское дно. Современные морские ветряные турбины становятся все больше: мощность одной турбины увеличилась с 2-3 МВт на суше до 12-20 МВт на море. Диаметр башни также увеличивается и сейчас составляет примерно 18-20 метров.
Колонна диаметром 18-20 метров полая внутри, пространство немалое, но раньше никто не задумывался, что там можно сделать.
А что, если при строительстве ветряной электростанции сразу предусмотреть в башне место для размещения серверов? Не нужно строить отдельную конструкцию, прокладывать отдельные кабели, энергооборудование ветряной электростанции, подводные кабели, сетевое подключение уже есть, это все равно что при строительстве дома сразу заложить серверную.
По этой логике общие строительные затраты могут быть на десятки процентов ниже, чем на суше, и это без учета стоимости электроэнергии. Если удастся договориться о стоимости электроэнергии для локального потребления на глубоководье на уровне 0.3-0.4 юаня за кВт·ч, то общие эксплуатационные расходы могут быть еще ниже.
Одна ветряная турбина: сверху вращаются лопасти и вырабатывается электроэнергия, а внутри башни внизу работают серверы. Ветряные турбины, разбросанные по морской поверхности, каждая представляет собой небольшую вычислительную фабрику, не требующую питания от городской сети, пресной воды и обслуживающего персонала. Идеально.
Это звучит как научная фантастика, но каждый шаг в этой логике имеет прочное основание. Дойдя до этого момента, понимаешь, что два больших направления — энергетика и вычислительные мощности — плотно сцепляются друг с другом. Морской ветроэнергетике для повышения экономической эффективности требуется локальное потребление энергии, а вычислительным мощностям нужна дешевая зеленая энергия и бесплатный источник холода. Эти две сферы, которые раньше развивались отдельно, встретились в море.
У Китая в этом деле есть большое преимущество: морская ветроэнергетика. Китай обладает крупнейшими в мире установленными мощностями морской ветроэнергетики, самыми низкими затратами на производство электроэнергии и наиболее зрелой цепочкой поставок для строительства. Если кому-то и удастся первым реализовать проект объединения центров обработки данных с морскими ветряными электростанциями, то, скорее всего, это будет в Китае.
Проект «Восточные данные — западные вычисления» движется на запад, преследуя уголь и холод, а теперь кто-то начинает двигаться на восток, преследуя ветер и море. Два пути решают одну и ту же задачу: обеспечить вычислительные мощности самой дешевой электроэнергией и самым бесплатным холодом.
Эта статья взята с официального аккаунта WeChat «Cool Play Lab», автор: Cool Play Lab
