Melampaui 'Tembok Memori', Revolusi Tingkat Wafer dan Rute Kekuatan Komputasi di Era Inferensi AI
Pada tahun 2026, titik balik global AI muncul: belanja modal *inference* penyedia awan melebihi *training*, menandai pergeseran dari "membuat" ke "menggunakan" model besar. Hambatan utama bergeser dari daya komputasi ke "dinding memori"—bottleneck dalam memindahkan data (seperti berat model dan KV Cache) antara DRAM dan GPU, yang menyebabkan konsumsi energi tinggi dan penundaan.
Arsitektur alternatif seperti Cerebras menawarkan solusi radikal melalui Wafer-Scale Engine (WSE). Daripada memotong wafer, Cerebras menggunakannya utuh sebagai satu chip raksasa (WSE-3), menampung 44GB SRAM *on-chip* dengan bandwidth 21 PB/detik—ribuan kali lebih cepat dari HBM tradisional. Ini memungkinkan aliran berat model dari memori eksternal (MemoryX) ke chip dengan latency sangat rendah, meningkatkan kecepatan *token* inferensi hingga 1,5–5x dibandingkan GPU seperti NVIDIA B200. Selain itu, daya interkoneksinya jauh lebih efisien (0,15 pJ/bit vs 10 pJ/bit GPU).
Namun, pendekatan ini menghadapi tantangan: skala SRAM terhambat batas fisik, memerlukan sistem pendingin khusus, bandwidth I/O eksternal terbatas, dan ekosistem perangkat lunaknya yang kurang umum. Sementara itu, raksasa teknologi merespons dengan tiga jalur: chip ASIC khusus inferensi (seperti Microsoft Maia), kemasan *wafer-scale* yang semakin umum (misal, TSMC SoW), serta eksplorasi interkoneksi optik. Tekanan komersial juga besar bagi Cerebras, yang kini harus membangun pusat data skala besar untuk memenuhi pesanan.
Intinya, tidak ada solusi sempurna. Cerebras mengoptimalkan latency ekstrem untuk beban kerja tertentu, sementara NVIDIA mempertahankan fleksibilitas untuk beban beragam. Pertarungan arsitektur ini masih terbuka dalam lanskap komputasi AI yang terus berubah.
marsbit06/05 11:11
