Gần đây, tin tức về việc người châu Âu cuồng nhiệt tranh mua điều hòa Trung Quốc khá sôi động, nhưng liệu có một khả năng khác không:
Những thứ cần điều hòa nhất, chính là siêu máy tính AI (doge).
Ở tận nước Anh xa xôi, một sự kiện như vậy đã xảy ra vài ngày qua:
Dawn, một trong những siêu máy tính AI mạnh nhất nước Anh, đã tê liệt hoàn toàn trong hơn một tuần dưới nhiệt độ trên 30 độ C.
Chiếc siêu máy tính này, tọa lạc tại Đại học Cambridge, có nhãn mác khá hào nhoáng:
Là một phần cốt lõi của kế hoạch điện toán lực lượng quốc gia AI trị giá 300 triệu bảng Anh của chính phủ Anh, với 1024 GPU của Intel, 256 máy chủ làm mát bằng chất lỏng, đã hỗ trợ hơn 350 dự án nghiên cứu.
Tháng 1 năm nay, nó vừa nhận được 36 triệu bảng Anh để mở rộng nâng cấp, dự kiến hiệu suất sẽ tăng gấp 6 lần.
Rồi đến cuối tháng 6, một đợt nắng nóng ập đến, và nó đã "nghỉ ngơi".
Điều kỳ quặc hơn là, những nghiên cứu đang chạy trên siêu máy tính này, bao gồm cả mô phỏng biến đổi khí hậu.
Ôi trời?? Máy móc dùng để dự đoán sự nóng lên toàn cầu, lại bị chính sự nóng lên toàn cầu đánh bại.
37.7°C, "Thời Khắc Đen Tối" Của Một Siêu Máy Tính Cấp Quốc Gia
Sự việc là như thế này.
Tháng 6 năm nay, nước Anh hứng chịu đợt nắng nóng tháng Sáu kỷ lục nhất từ trước đến nay.
Ngày 26 tháng 6, thị trấn Lingwood ở vùng Norfolk nóng lên đến 37.7°C, phá vỡ kỷ lục tháng Sáu 35.6°C được giữ từ năm 1957 và 1976.
Cơ quan Khí tượng Anh hiếm hoi đã ban hành cảnh báo đỏ về nhiệt độ khắc nghiệt liên tiếp trong ba ngày.
Hơn 1000 trường học đóng cửa, tín hiệu đường sắt bị lỗi do nhiệt độ cao, mặt đường bắt đầu chảy nhão.
Rồi đến ngày 27 tháng 6, khi đỉnh điểm của đợt nắng nóng ngày hôm đó ập đến, hệ thống làm mát của trung tâm dữ liệu ở khu Tây Cambridge - nơi đặt siêu máy tính Dawn - đã không chịu nổi.
(P.S. Lingwood và Cambridge đều ở phía đông nước Anh, cách nhau khoảng 103 km)
Dawn, từ đó ngừng hoạt động.
△
Sau sự việc, người phát ngôn của Đại học Cambridge tuyên bố với bên ngoài:
Dawn gặp sự cố kỹ thuật trong thời tiết nóng, khả năng làm mát đã hoàn toàn được khôi phục, dự kiến quyền truy cập sẽ được mở lại vào ngày 6 tháng 7.
Không nói rõ nguyên nhân cụ thể, nhưng tình hình là:
Từ ngày 27 tháng 6 đến ngày 6 tháng 7, Dawn đã "nguội lạnh" trong hơn một tuần.
Đối với một siêu máy tính mà mỗi giờ đều đốt tiền, mỗi giây đều thúc đẩy tiến độ nghiên cứu, thì một tuần ngừng hoạt động này thực sự đáng sợ.
Đây, những người bị ảnh hưởng sâu sắc nhất đã lộ diện.
Nhóm của Giáo sư Vendruscolo tại Đại học Cambridge, đang sử dụng Dawn để sàng lọc phân tử thuốc mới cho bệnh Parkinson.
Khả năng học máy của Dawn có thể sàng lọc hàng tỷ phân tử chỉ trong vài ngày, tìm kiếm các hợp chất có thể liên kết với các tập hợp protein liên quan đến Parkinson.
Nếu dùng phương pháp truyền thống? Mất ít nhất nửa năm, chi phí hàng triệu bảng Anh, và chỉ có thể bao phủ một phần nhỏ mà Dawn có thể quét xong trong vài giờ.
Ngừng hoạt động một tuần, có nghĩa là dây chuyền cứu mạng này đã dừng lại hoàn toàn.
Lennard Lee của Đại học Oxford, người phụ trách dự án AI và siêu máy tính vắc-xin ung thư tại Anh, nhóm của ông đã nhận được hạn ngạch điện toán 10000 giờ GPU từ Dawn, sử dụng AI để tăng tốc phát hiện mục tiêu cho vắc-xin ung thư cá nhân hóa.
Lee trước đây đã nói một câu:
Những khám phá trước đây cần vài năm để hoàn thành, giờ đây chỉ cần vài tuần.
Mặc dù sau đó Lee cho biết không có dữ liệu nào bị mất, cũng không cần làm lại công việc, nhưng sự may mắn trong lời nói của ông, bản thân nó đã nói lên mức độ nghiêm trọng của vấn đề.
Ngoài ra, Cục Khảo sát Nam Cực Anh sử dụng mô hình dự đoán băng biển IceNet được huấn luyện trên Dawn đã tạm dừng, dự án sàng lọc ung thư thận bằng AI do nghiên cứu sinh tiến sĩ Bill McGough của Cambridge huấn luyện trên Dawn cũng dừng lại...... Hơn 350 dự án đang chạy trên Dawn, hầu như không dự án nào thoát khỏi ảnh hưởng.
Và thứ tạo ra tất cả những điều này, chỉ là 37.7°C.
Được rồi, "thủ phạm" giờ đã bị bắt, vậy cuối cùng ai nên chịu trách nhiệm cụ thể đây?
Đi vòng một lượt, cái chảo này, dường như không ai muốn nhận.
Hệ thống làm mát của Dawn được cung cấp bởi USystems, thuộc tập đoàn Legrand của Pháp. Sau sự việc, USystems đã đưa ra một tuyên bố:
Thiết bị của chúng tôi hoạt động hoàn toàn theo thông số kỹ thuật thiết kế trong suốt sự kiện, biểu hiện bình thường.
Dịch lại: Hệ thống tản nhiệt sập, nhưng không phải lỗi của chúng tôi, thiết bị của chúng tôi vốn không được thiết kế cho nhiệt độ này.
Vậy là tiêu chuẩn thiết kế quá bảo thủ, hay biến đổi khí hậu quá nhanh?
Câu trả lời có thể là: cả hai.
Nhiệt độ cực đoan lịch sử vào tháng Sáu của Anh chỉ là 35.6°C, hệ thống làm mát của Dawn rất có thể được thiết kế theo mức độ này.
37.7°C, đã vượt quá tiêu chuẩn.
Và sự "vượt quá" này đến mà không có cảnh báo trước, bởi vì lần cuối cùng đạt kỷ lục này, là gần 50 năm trước.
Ngoài ra, Dawn cũng không phải là nạn nhân duy nhất.
Cùng tuần đó, tổ làm mát của Bệnh viện Queen Alexandra ở Portsmouth, Anh, gặp sự cố, tuyên bố tình trạng khẩn cấp.
Phòng phẫu thuật dừng, phòng thông tim dừng, khoa chẩn đoán hình ảnh dừng. Bệnh viện nói với bệnh nhân:
Xin hãy tự mang theo nhiều nước uống, vì bệnh viện rất nóng.
Bệnh viện Đại học Norfolk và Norwich (viết tắt là NNUH) còn tệ hơn:
Tất cả hệ thống làm mát của máy quét MRI đều hỏng do nhiệt độ cao và độ ẩm cao, ít nhất 254 ca khám ngoại trú bị hủy.
Vì vậy, ở một mức độ nào đó:
Không phải siêu máy tính mong manh, mà là toàn bộ cơ sở hạ tầng kiểm soát nhiệt độ của nước Anh, đều chưa sẵn sàng cho thời tiết kiểu này.
Hơn 30 độ sao có thể làm siêu máy tính tê liệt?
Việc Dawn bị nóng làm tê liệt, nếu nhìn trên dòng thời gian dài hơn, thì không có gì bất ngờ.
Tháng 7 năm 2022, nước Anh hứng chịu ngày nóng nhất lịch sử lúc đó (40.3°C).
Hệ thống làm mát của trung tâm dữ liệu London của Google "nhiều hệ thống dự phòng đồng thời hỏng", buộc phải tắt máy để bảo vệ phần cứng, dịch vụ khu vực London của Google Cloud gián đoạn hơn 18 giờ mới hoàn toàn khôi phục.
△
Trung tâm dữ liệu Nam London của Oracle cùng ngày cũng tê liệt, tuyên bố của Oracle sử dụng một từ khá thú vị: "nhiệt độ cao không theo mùa".
Từ 2022 đến 2026, 4 năm trôi qua, sự kiện tương tự lại tái diễn.
Tôi chỉ muốn hỏi, vấn đề này khó đến vậy, khó đến mức không thể phòng ngừa trước sao?
Thực tế, hơn 30 độ làm tê liệt một siêu máy tính, là có lý do của nó, trong đó nút thắt khó vượt qua nhất chính là tản nhiệt.
Đặc biệt đối với khu vực châu Âu, thiết bị phổ biến sử dụng làm mát tự nhiên, cách này vốn dĩ bị giới hạn bởi nhiệt độ tự nhiên ngoài trời.
Hiểu thế nào?
Tất cả các hệ thống tản nhiệt, dù tiên tiến đến đâu, cuối cùng đều phải truyền nhiệt ra không khí ngoài trời, nhiệt độ không khí ngoài trời là nút thắt cuối cùng của cả chuỗi.
Chuỗi liên kết này mở rộng ra như sau:
Chip truyền nhiệt cho bộ tản nhiệt, bộ tản nhiệt truyền cho chất làm mát hoặc không khí, chất làm mát truyền cho tháp giải nhiệt, tháp giải nhiệt truyền ra khí quyển.
Khí quyển là người cuối cùng nhận "gánh nặng".
Vì vậy, khi bản thân khí quyển đã 37°C, nó bắt đầu không chịu nổi nữa.
Cụ thể, khi nhiệt độ ngoài trời tăng từ 20°C lên 37°C, hiệu suất tản nhiệt của tháp giải nhiệt và thiết bị làm mát khô có thể giảm mạnh 40% đến 50%.
Bạn hỏi sao không bật điều hòa? Vì máy nén trong môi trường nhiệt độ cao hiệu suất giảm, dòng điện tăng, dễ quá nhiệt và nhảy cầu dao.
Báo cáo sự cố của Oracle năm 2022 nguyên văn là: Hai tổ làm mát đã hỏng khi được yêu cầu hoạt động vượt quá giới hạn thiết kế.
Tình huống của Dawn lần này, suy đoán hợp lý cũng có thể tương tự.
Máy chủ Dell PowerEdge XE9640 mà nó sử dụng được trang bị hệ thống làm mát trực tiếp bằng chất lỏng, đây là giải pháp tản nhiệt tiên tiến hơn nhiều so với làm mát bằng không khí truyền thống.
Chất làm mát chảy trực tiếp sát bề mặt chip, mang nhiệt đi với hiệu suất cao hơn nhiều so với thổi không khí.
Nhưng vẫn là câu nói đó, làm mát bằng chất lỏng chỉ giải quyết hiệu suất bên trong tủ rack. Nhiệt lượng được chất làm mát mang đi sau đó, vẫn phải thông qua đơn vị phân phối làm mát, đường ống nước lạnh của cơ sở, tháp giải nhiệt, truyền ra khí quyển ngoài trời. Vòng cuối cùng, vẫn bị giới hạn bởi nhiệt độ ngoài trời.
Và hệ thống làm mát một khi ngừng hoạt động, sau đó sẽ dẫn đến một loạt phản ứng dây chuyền.
Dữ liệu nghiên cứu cho thấy, hệ thống làm mát một khi ngừng hoạt động, trong vòng 5 phút nhiệt độ đầu vào máy chủ có thể tăng vọt từ 22°C lên trên 35°C.
Gặp tình huống này, chip sẽ khởi động tự bảo vệ:
Đầu tiên là giảm tần số (thermal throttling), chủ động giảm tốc độ hoạt động để giảm nhiệt, hiệu suất giảm mạnh; nếu nhiệt độ tiếp tục tăng, vượt quá ngưỡng an toàn, sẽ buộc tắt máy.
Lúc này, nhà điều hành chỉ có hai lựa chọn:
Để thiết bị tự ngắt điện, có thể làm hỏng dữ liệu;
Chủ động tắt máy có trật tự, bảo vệ phần cứng nhưng nghiệp vụ ngừng hoạt động.
Google, Oracle, Cambridge Dawn, đều chọn phương án sau.
AI Càng Mạnh, Càng Sợ Nóng
Còn đáng lo hơn nữa.
Cùng với sự "phình to" không ngừng của các trung tâm dữ liệu AI, ảnh hưởng của nhiệt độ đối với AI có thể ngày càng trở nên đáng kể.
Mấy ngày trước xem video của Xiao Lin trên Bilibili thực địa thăm trung tâm dữ liệu Huawei, có một so sánh gây ấn tượng sâu sắc:
Mật độ công suất của một tủ rack trong trung tâm dữ liệu truyền thống khoảng 5 đến 10 kilowatt, nhưng tủ rack huấn luyện AI đã đạt 30 đến 50 kilowatt, tủ rack GB200 NVL72 mới nhất của Nvidia thậm chí đạt 120 đến 132 kilowatt (thế hệ tiếp theo Rubin có thể lên đến 600 kilowatt).
Khái niệm gì? Lượng nhiệt tỏa ra 100 kilowatt của một tủ rack AI, tương đương với việc bật đồng thời 50 máy sưởi điện trong một không gian nhỏ bằng buồng điện thoại.
Hãy tưởng tượng những chiếc "mặt trời nhỏ" dùng vào mùa đông, rồi nhét tất cả chúng vào một tủ rack, đó chính là áp lực tản nhiệt mà cơ sở hạ tầng điện toán AI ngày nay đang phải đối mặt.
△
Phiền toái hơn nữa là, bản thân GPU đang ngày càng trở nên "nóng" hơn.
Nvidia V100 năm 2017 khoảng 300 watt, H100 năm 2023 nhảy lên 700 watt, B200 năm 2024 đạt 1000 watt, B300 và AMD MI355X năm 2025 đến 2026 trực tiếp kéo lên 1400 watt.
Bảy năm, nhiệt tỏa ra từ một con chip đã tăng gấp 3 đến 5 lần.
Vì vậy, bất kể là về số lượng hay từng con chip riêng lẻ, cùng với việc AI trở nên mạnh hơn, nó càng sợ nóng, càng cần tản nhiệt.
Đến đây, chúng ta có thể phát hiện ra hai đường cong đang va chạm:
Chip đang trở nên nóng theo cấp số nhân, Trái đất cũng đang nóng lên với tốc độ nhanh hơn.
Sự việc, bắt đầu trở nên khó xử hơn.
Google ngay từ năm 2011 đã chạy sang Phần Lan xây dựng trung tâm dữ liệu, Meta thì đến miền bắc Thụy Điển, chính là để sử dụng khí hậu lạnh giá làm tản nhiệt tự nhiên.
Elon Musk thậm chí còn nghĩ đến việc xây dựng trung tâm dữ liệu AI ngoài không gian.
Nhưng chính phủ Anh tháng 1 năm nay vừa rót 36 triệu bảng Anh để mở rộng cho Dawn, vẫn đang lên kế hoạch cho siêu máy tính quốc gia mới ở Edinburgh.
Thiết kế tản nhiệt của những cơ sở này, là tính toán dựa trên mùa hè nước Anh của thời đại trước, hay dựa trên trạng thái bình thường mới đang đến? Không ai dám chắc.
Nhưng có một điều là chắc chắn:
Siêu máy tính dùng để dự đoán biến đổi khí hậu, đã bị biến đổi khí hậu làm cho ngừng hoạt động vì nóng.
Đây không còn là một câu chuyện cười, mà là một vấn đề thực tế mà cơ sở hạ tầng trong thời đại AI đang phải đối mặt.
Tài liệu tham khảo:
[1]https://www.thetimes.com/uk/science/article/cambridge-ai-supercomputer-heatwave-shutdown-ns7rcmkgs
[2]https://www.datacenterdynamics.com/en/news/data-center-housing-uks-dawn-supercomputer-suffers-heatwave-related-outage-report/
[3]https://x.com/cashandcarrots/status/2074016783812505762
Bài viết này từ tài khoản WeChat công chúng "Quantum Bit", tác giả: Yishui
