La noticia de que los europeos se están volviendo locos por comprar aires acondicionados chinos es bastante caliente últimamente, pero ¿hay una posibilidad:
¿Los que más necesitan aire acondicionado son los superordenadores de IA (doge)?
Muy lejos, en el Reino Unido, sucedió algo así hace unos días:
Uno de los superordenadores de IA más potentes del Reino Unido, Dawn, colapsó durante toda una semana bajo temperaturas superiores a los 30 grados.
Este superordenador, ubicado en la Universidad de Cambridge, tiene unas credenciales bastante lujosas:
Componente central del plan nacional de computación de IA del gobierno británico de 300 millones de libras, 1024 GPUs Intel, 256 servidores refrigerados por líquido, que ya soportan más de 350 proyectos de investigación.
En enero de este año, acaba de recibir una ampliación y mejora de 36 millones de libras, y se espera que su rendimiento aumente 6 veces.
Luego, a finales de junio, llegó una ola de calor y se averió.
Lo más irónico es que la investigación que se estaba ejecutando en este superordenador incluía simulaciones del cambio climático.
¿Eh? La máquina utilizada para predecir el calentamiento global fue derrotada por el calentamiento global.
37.7°C, el "momento más oscuro" de un superordenador nacional
La situación es la siguiente.
Este junio, el Reino Unido experimentó la ola de calor de junio más intensa jamás registrada.
El 26 de junio, la ciudad de Lingwood en Norfolk alcanzó los 37.7°C, superando el récord de junio de 35.6°C establecido en 1957 y 1976.
La Oficina Meteorológica del Reino Unido emitió raramente una advertencia roja de calor extremo durante tres días consecutivos.
Más de 1000 escuelas suspendieron clases, las señales ferroviarias fallaron por el calor, y el pavimento de las carreteras comenzó a derretirse.
Luego, el 27 de junio, con el pico de la ola de calor de ese día, el sistema de refrigeración del centro de datos de la zona oeste de Cambridge, donde se encuentra el superordenador Dawn, no pudo resistir.
(P.D. Lingwood y Cambridge están ambas en el este de Inglaterra, a unos 103 km de distancia).
Dawn, por tanto, dejó de funcionar.
△
Tras el incidente, un portavoz de la Universidad de Cambridge declaró a los medios:
Dawn experimentó problemas técnicos durante el período de clima cálido, la capacidad de refrigeración se ha restaurado completamente y se espera que el acceso se reabra el 6 de julio.
No especificó la causa exacta, pero la situación fue:
Desde el 27 de junio hasta el 6 de julio, Dawn estuvo "enfriándose" durante más de una semana.
Para un superordenador que quema dinero cada hora y avanza la investigación científica cada segundo, esta semana de parada es realmente aterradora.
Aquí, los más afectados ya han salido a la luz.
El equipo del profesor Vendruscolo de la Universidad de Cambridge estaba utilizando Dawn para realizar un cribado molecular de nuevos fármacos para el Parkinson.
La capacidad de aprendizaje automático de Dawn puede cribar decenas de miles de millones de moléculas en pocos días, buscando compuestos que se unan a los agregados proteicos relacionados con el Parkinson.
¿Con métodos tradicionales? Comenzaría en seis meses, costaría millones de libras y solo cubriría una pequeña fracción de lo que Dawn puede escanear en pocas horas.
Una semana de inactividad significa que esta línea de producción que salva vidas se detuvo directamente.
Lennard Lee de la Universidad de Oxford, director del proyecto británico de IA y supercomputación para vacunas contra el cáncer, su equipo obtuvo una asignación de 10,000 horas de GPU en Dawn, utilizando IA para acelerar el descubrimiento de dianas para vacunas personalizadas contra el cáncer.
Lee había dicho una frase antes:
Lo que antes tomaba años descubrir, ahora toma solo semanas.
Aunque posteriormente Lee declaró que no hubo pérdida de datos ni necesidad de rehacer el trabajo, el alivio en sus palabras en sí mismo subraya la gravedad del problema.
Además, el British Antarctic Survey detuvo el modelo de predicción de hielo marino IceNet entrenado en Dawn, el proyecto de cribado de cáncer de riñón con IA entrenado en Dawn por el doctorando Bill McGough de Cambridge también se detuvo... Casi ninguno de los más de 350 proyectos ejecutándose en Dawn se salvó.
Y el causante de todo esto fueron solo 37.7°C.
Vale, el "culpable" ya está identificado, pero ¿quién debería asumir la responsabilidad concreta al final?
Después de dar vueltas, parece que nadie quiere aceptar esta responsabilidad.
El sistema de refrigeración de Dawn es suministrado por USystems, parte del grupo francés Legrand. Posteriormente, USystems emitió una declaración:
Nuestro equipo funcionó completamente de acuerdo con las especificaciones de diseño durante todo el incidente, con un rendimiento normal.
Traducción: el sistema de refrigeración colapsó, pero no es culpa nuestra, nuestro equipo no fue diseñado para esta temperatura.
¿Fueron los estándares de diseño demasiado conservadores, o el cambio climático fue demasiado rápido?
La respuesta podría ser: ambas cosas.
La temperatura extrema histórica para junio en el Reino Unido es solo de 35.6°C, es muy probable que el sistema de refrigeración de Dawn estuviera diseñado para este nivel.
37.7°C, excede el límite.
Y este "exceso" llegó sin previo aviso, porque la última vez que se alcanzó este récord fue hace casi 50 años.
Además, Dawn no fue la única víctima.
La misma semana, el sistema de refrigeración del Queen Alexandra Hospital en Portsmouth, Reino Unido, falló, declarando una situación de emergencia.
Los quirófanos se detuvieron, la sala de cateterismo cardíaco se detuvo, el departamento de imágenes se detuvo. El hospital les dijo a los pacientes:
Por favor, traigan mucha agua potable, porque el hospital está muy caliente.
El Norfolk and Norwich University Hospital (NNUH) tuvo peor suerte:
Todos los sistemas de refrigeración de los escáneres de resonancia magnética fallaron debido a las altas temperaturas y humedad, cancelándose al menos 254 consultas externas.
Así que, en cierto sentido:
No es que el superordenador sea frágil, es que toda la infraestructura de control de temperatura del Reino Unido no estaba preparada para este tipo de clima.
¿Cómo pueden más de 30 grados colapsar un superordenador?
Si se mira en una línea de tiempo más larga, el colapso de Dawn por el calor no es en absoluto sorprendente.
En julio de 2022, el Reino Unido experimentó el día más caluroso de su historia en ese momento (40.3°C).
El sistema de refrigeración del centro de datos de Google en Londres sufrió un "fallo simultáneo de múltiples sistemas redundantes", obligando a apagar para proteger el hardware. Los servicios de Google Cloud en la región de Londres estuvieron interrumpidos durante más de 18 horas antes de restaurarse por completo.
△
El centro de datos de Oracle en el sur de Londres colapsó el mismo día. La declaración de Oracle usó una palabra interesante: "calor no estacional".
De 2022 a 2026, 4 años después, un incidente similar se repite.
Me pregunto, ¿es este problema tan difícil, tan difícil de prevenir con antelación?
En realidad, que más de 30 grados colapsen un superordenador tiene su explicación, y el cuello de botella más difícil de superar es la disipación de calor.
Especialmente para regiones como Europa, los equipos utilizan principalmente refrigeración natural, que está naturalmente limitada por la temperatura exterior.
¿Cómo entenderlo?
Todos los sistemas de refrigeración, por avanzados que sean, eventualmente deben transferir el calor al aire exterior. La temperatura del aire exterior es el cuello de botella final de toda la cadena.
Desglosando esta cadena, es así:
El chip transfiere calor al disipador, el disipador lo transfiere al refrigerante o al aire, el refrigerante lo transfiere a la torre de refrigeración, y la torre de refrigeración lo transfiere a la atmósfera.
La atmósfera es el último receptor.
Así que cuando la atmósfera misma está a 37°C, comienza a no poder aceptar más calor.
En concreto, cuando la temperatura exterior sube de 20°C a 37°C, la eficiencia de disipación de calor de las torres de refrigeración y los enfriadores secos puede caer en picado entre un 40% y un 50%.
¿Preguntas por qué no encienden el aire acondicionado? Porque los compresores reducen su eficiencia bajo altas temperaturas, aumentan la corriente y son propensos a sobrecalentarse y desconectarse.
El informe de incidentes de Oracle de 2022 decía textualmente: dos unidades de refrigeración fallaron cuando se les pidió que operaran más allá de sus límites de diseño.
Es razonable suponer que la situación de Dawn esta vez pudo ser similar.
Los servidores Dell PowerEdge XE9640 que utiliza están equipados con un sistema de refrigeración líquida directa, una solución de disipación de calor mucho más avanzada que la refrigeración por aire tradicional.
El refrigerante fluye directamente sobre la superficie del chip, llevándose el calor de manera mucho más eficiente que soplando aire.
Pero, de nuevo, la refrigeración líquida resuelve la eficiencia interna del rack. Después de que el calor es eliminado por el refrigerante, aún debe pasar a través de la unidad de distribución de refrigeración, el circuito de agua fría de la instalación, la torre de refrigeración, y finalmente llegar al aire exterior. El último eslabón sigue estando limitado por la temperatura exterior.
Y una vez que el sistema de refrigeración se detiene, puede desencadenar una serie de reacciones en cadena.
Los datos de investigación muestran que una vez que el sistema de refrigeración se detiene, la temperatura de entrada del servidor puede dispararse de 22°C a más de 35°C en solo 5 minutos.
En tal situación, los chips activan su autoprotección:
Primero, reducen la frecuencia (limitación térmica), reduciendo activamente la velocidad de funcionamiento para disminuir el calor, lo que provoca una caída drástica del rendimiento; si la temperatura continúa subiendo y supera el umbral de seguridad, se produce un apagado forzado.
En este punto, el operador solo tiene dos opciones:
Dejar que el equipo se apague solo, arriesgándose a dañar los datos; o apagarlo de manera ordenada y activa, protegiendo el hardware pero deteniendo las operaciones.
Google, Oracle y el Dawn de Cambridge, todos eligieron lo último.
Cuanto más fuerte es la IA, más miedo al calor
Y hay algo aún más preocupante.
A medida que los centros de datos de IA continúan "expandiéndose", el impacto de la temperatura en la IA podría volverse cada vez más significativo.
Hace unos días, vi en Bilibili un reportaje de Xiaolin visitando un centro de datos de Huawei, y una comparación fue muy impresionante:
La densidad de potencia de un rack en un centro de datos tradicional es de aproximadamente 5 a 10 kilovatios, pero los racks de entrenamiento de IA ya alcanzan de 30 a 50 kilovatios, y el último rack Nvidia GB200 NVL72 incluso llega a 120-132 kilovatios (la próxima generación Rubin podría alcanzar los 600 kilovatios).
¿Qué significa? La cantidad de calor generada por un rack de IA de 100 kilovatios es equivalente a encender 50 calefactores eléctricos simultáneamente en un espacio del tamaño de una cabina telefónica.
Imagina los calefactores pequeños que se usan en invierno, y mételos todos en un solo armario de servidores. Esa es la presión de disipación de calor que enfrenta la infraestructura de computación de IA hoy en día.
△
Lo que es aún más problemático es que las GPU en sí mismas se están volviendo cada vez más "calientes".
La Nvidia V100 de 2017 consumía unos 300 vatios, la H100 de 2023 saltó a 700 vatios, la B200 de 2024 alcanzó los 1000 vatios, y la B200 de 2025-2026 y la AMD MI355X llegan directamente a 1400 vatios.
En siete años, la disipación de calor por chip individual se ha multiplicado por 3 a 5 veces.
Por lo tanto, tanto en cantidad como en chip individual, a medida que la IA se vuelve más poderosa, más teme al calor y más necesita refrigeración.
Hasta aquí, podemos ver dos curvas que están colisionando:
Los chips se están volviendo exponencialmente más calientes, y la Tierra también se está calentando más rápido.
La situación comienza a volverse más complicada.
Google ya en 2011 fue a Finlandia a construir un centro de datos, Meta fue al norte de Suecia, precisamente para utilizar el clima frío como refrigeración natural.
Musk incluso ha considerado construir un centro de datos de IA en el espacio.
Pero el gobierno británico acaba de invertir 36 millones de libras en la ampliación de Dawn en enero de este año, y todavía está planeando el nuevo superordenador nacional en Edimburgo.
¿El diseño de refrigeración de estas instalaciones se basó en los veranos británicos de la era pasada, o en la nueva normalidad que está llegando? Nadie lo sabe con certeza.
Pero una cosa es segura:
El superordenador utilizado para predecir el cambio climático fue detenido por el cambio climático.
Esto ya no es una broma, es un problema real que enfrenta la infraestructura en la era de la IA.
Enlaces de referencia:
[1]https://www.thetimes.com/uk/science/article/cambridge-ai-supercomputer-heatwave-shutdown-ns7rcmkgs
[2]https://www.datacenterdynamics.com/en/news/data-center-housing-uks-dawn-supercomputer-suffers-heatwave-related-outage-report/
[3]https://x.com/cashandcarrots/status/2074016783812505762
Este artículo proviene del WeChat público "Quantum Bit", autor: Yishui
