【Pengantar】Kecepatan penalaran GPT-5.6, ternyata mencapai 750 token/detik! Pakar mengungkap rahasia dalam: Ia akan berjalan menjangkau 100 wafer. AI beralih dari berpikir menjadi kilat, benarkah era kecerdasan real-time telah tiba?
Berdasarkan berbagai bocoran, GPT-5.6 segera akan dibuka untuk publik.
Belakangan ini, berbagai spekulasi tentang model ini sudah ramai di X.
Tanggal 26 Juni, OpenAI secara resmi mengumumkan keluarga generasi terbaru GPT-5.6.
Dan di blog resmi ada kalimat seperti ini: OpenAI berencana meluncurkan model terdepan baru — GPT-5.6 Sol — pada perangkat keras khusus raksasa chip Cerebras bulan ini, dengan kecepatan penalaran yang menggetarkan mencapai 750 Token per detik!
Artinya, operasi Agent kompleks yang sebelumnya membutuhkan waktu menit, sekarang dapat diselesaikan dalam sekejap mata.
Jelas, OpenAI telah mengambil langkah disruptif pertama dalam desain kolaboratif perangkat keras dan model.
Ditambah dengan baru-baru ini chip inferensi AI buatan sendiri pertama dalam sejarah, Jalapeño, yang resmi diungkap, kita bisa merasakan bahwa OpenAI sudah memiliki ambisi untuk menjadi kerajaan AI full-stack.
Dunia Persilatan Hanya Taklukan dengan Kecepatan: Serangan Dimensional 750 Token/detik
"750 Token per detik" itu konsep seperti apa?
Bagi manusia, ini setara dengan membaca dan mengeluarkan sekitar 500 hingga 600 karakter Mandarin dalam satu detik.
Teks di depan Anda ini, GPT-5.6 Sol hanya butuh kurang dari sepersekian detik untuk menghasilkannya.
Di X, pengembang terkenal Caleb Shepherd dengan penuh semangat menyatakan: "Ini hal yang paling saya nantikan, GPT-5.6 Sol berjalan di Cerebras. Bukan hanya karena kecepatan menulis kode menjadi lebih cepat, tetapi juga karena kecepatan penggunaan komputer mengalami perubahan kualitatif. Kita tidak perlu lagi menunggu dua menit dengan sabar hanya untuk menunggu AI mengklik sebuah tombol."
Selama ini, meskipun model besar menjadi semakin cerdas, "latensi inferensi" selalu menjadi hambatan terbesar dalam penerapan tugas-tugas Agent multi-langkah interaktif real-time.
Saat model menjadi sangat besar dengan parameter triliunan, cluster GPU tradisional sering menghadapi hambatan fisik pada komunikasi antar-node (interkoneksi NVLink).
Dan jawaban yang diberikan OpenAI adalah: Jangan paksa model beradaptasi dengan perangkat keras, biarkan perangkat keras dan model menyatu menjadi satu.
Berdasarkan informasi awal yang diungkapkan secara resmi, GPT-5.6 Sol akan dibuka dalam skala sangat terbatas untuk pelanggan tertentu pada bulan Juli, dan akan diperluas secara bertahap seiring peningkatan kapasitas produksi.
Seperti yang ditebak orang-orang di internet, ini pasti layanan yang sangat mahal, dikhususkan untuk perusahaan-perusahaan top yang bersedia membayar demi kecepatan.
Bagaimana Monster Raksasa 3 Triliun Parameter Dimasukkan ke dalam Chip?
Saat berita 750 Token/detik beredar, Peter Gostev, kepala LLM Arena, mengajukan pertanyaan yang membingungkan semua orang:
Apa yang terjadi dengan GPT-5.6 Sol di Cerebras? Sepengetahuan saya, ini tampaknya adalah model yang sama utuh (termasuk kemampuan multimodal seperti visual), bukan versi yang dikebiri seperti GPT-5.3-Codex-Spark sebelumnya yang telah dipotong visual dan konteksnya.
Tapi pemahaman saya adalah, chip tunggal Cerebras paling banyak hanya bisa memuat model dengan parameter 700 hingga 900 miliar. Jadi, apakah modelnya menjadi lebih kecil? Atau ada chip baru yang tidak saya ketahui? Atau teknologi baru semacam kolaborasi multi-chip?
Keraguan ini segera memicu diskusi di antara banyak netizen.
Ada yang bercanda, orang-orang sedang melakukan "audit chip forensik di tengah malam", dan menyatakan "jika ini benar-benar model utuh yang sama, itu seperti seseorang memaksa kapal pesiar super masuk ke dalam botol kaca, dan tidak memberi tahu caranya."
Dengan cepat, pakar teknologi senior Bleys Goodson memberikan analisis mendalam yang sangat meyakinkan —
GPT-5.6 Sol tidak dimasukkan ke dalam satu chip, tetapi menjangkau 70 hingga 100 chip wafer-level Cerebras!
Estetika Penyebaran yang Ekstrem: "Satu Wafer, Satu Lapisan Jaringan"
Para ahli industri memperkirakan, spesifikasi GPT-5.6 Sol sangat besar:
- Total Parameter: Sekitar 3 triliun
- Parameter Aktif: Sekitar 150 miliar
- Jumlah Lapisan Jaringan: Sekitar 70 hingga 90 lapisan
Untuk mendapatkan karakteristik layanan inferensi yang sehat, OpenAI dan Cerebras menggunakan metode penyebaran yang sangat mewah dan mengejutkan — menempatkan setiap lapisan jaringan saraf secara terpisah pada satu wafer Cerebras utuh.
Seperti yang ditunjukkan seorang netizen, dengan menambah tahapan pipeline, selama Anda memiliki cukup wafer untuk menghubungkannya, secara teori Anda dapat memperluas ke model ukuran berapa pun, ini tidak akan mempengaruhi kecepatan pembangkitan Token, hanya mungkin berdampak ringan pada waktu Token pertama TTFT.
Restrukturisasi Arsitektur yang Radikal — KV Cache yang Diringankan yang Terpaksa Muncul
Namun, memiliki banyak wafer saja tidak cukup. Salah satu karakteristik utama arsitektur chip Cerebras adalah memiliki SRAM (memori akses acak statis) on-chip yang sangat besar, sangat cepat, tetapi kapasitasnya sangat berharga.
Jika OpenAI seperti sebelumnya menggunakan KV Cache tradisional yang berat di GPT-5.6 Sol, bandwidth SRAM mahal ini akan habis dalam sekejap.
Ini mengarah pada perubahan strategis inti dalam kolaborasi ini: restrukturisasi model seputar perangkat keras tertentu.
Bleys Goodson mencatat, karena OpenAI terlibat mendalam dalam desain kolaboratif perangkat keras, mereka kemungkinan besar meninggalkan skema cache mekanisme perhatian tradisional, beralih ke desain ringan yang lebih mutakhir.
Skema yang paling mungkin meliputi:
Arsitektur mirip DeepSeekV4: Optimasi ekstrem terhadap penggunaan cache.
Desain SSM Hybrid: Menggabungkan model dengan kompleksitas waktu linier seperti Mamba dengan Transformer, sepenuhnya melepaskan beban historis KV Cache.
Selain itu, pengembang terkenal John Lam mengajukan tebakan yang menakjubkan — Pemisahan Perhatian dan FFN.
Dia menduga, OpenAI mungkin menggunakan GPU tradisional untuk menangani perhitungan perhatian, sementara menggunakan banyak wafer Cerebras untuk mendorong secara kuat perhitungan bagian jaringan feed-forward.
Ini bukan tanpa dasar. Netizen dengan cepat menemukan detail penyebaran Kimi K2.6 yang sebelumnya dibahas Cerebras di blog mereka:
Cerebras menyimpan bobot asli Kimi K2.6 dengan presisi 4-bit pada sistem CS-3, sambil menghitung dengan floating point 16-bit untuk menjaga akurasi. Bobot didistribusikan di beberapa wafer, nilai aktivasi ditransmisikan secara streaming antar wafer. Komunikasi interkoneksi penuh antar lapisan sepenuhnya mengandalkan struktur jaringan pada wafer, bandwidthnya lebih dari 200 kali lipat dari NVLink pada Nvidia NVL72! Dengan menggabungkan operator kustom dan decoding spekulatif, mereka dapat menjalankan model MoE dengan parameter triliunan dengan kecepatan mendekati 1000 token/detik.
Spesifikasi resmi menunjukkan, sistem revolusioner CS-3 tidak hanya tak tertandingi dalam kecepatan, tetapi juga dapat dengan mudah diperluas ke model dengan parameter 24 triliun pada satu perangkat logis tunggal!
Seperti yang dikagumi seseorang: "Jika ini benar-benar Sol versi lengkap yang berjalan di Cerebras, maka batas atas ukuran model yang diasumsikan semua orang, telah ditembus malam ini."
Kartu As yang Sesungguhnya — Chip Buatan OpenAI "Jalapeño" Perdana
Dan sebelumnya, OpenAI secara resmi meluncurkan chip buatan sendiri pertama dalam sejarah — Jalapeño.
Kemunculan chip ini secara langsung menjelaskan logika mendalam kolaborasi OpenAI dengan Cerebras: Melalui eksplorasi pada perangkat keras inferensi pihak ketiga yang terdepan, OpenAI benar-benar memahami kunci dan nilai arsitektur inferensi khusus, dan mengubahnya menjadi platform dasar yang dapat mereka kendalikan.
Jalapeño adalah varietas cabai Meksiko dengan tingkat kepedasan paling ringan. OpenAI menamainya demikian, jelas menunjukkan: Ini hanya makanan pembuka.
Chip ini adalah ASIC khusus yang dirancang untuk inferensi model besar. Sejak garis pertama digambar, setiap transistornya hanya dioptimalkan untuk satu hal: menjalankan model besar.
Yang mengejutkan, Jalapeño tidak hanya menjalankan model milik OpenAI sendiri, arsitekturnya juga kompatibel dengan LLM dari seluruh industri, menunjukkan ambisi platform yang sangat besar.
Dan, chip ini dirancang dan diproduksi hanya dalam waktu 9 bulan.
Di baliknya, ada aliansi industri yang sangat kuat:
Pemimpin Arsitektur: OpenAI sendiri yang mengendalikan desain arsitektur dasar.
Implementasi Chip dan Interkoneksi: Raksasa chip Broadcom menyediakan kemampuan implementasi yang kuat dan dukungan teknologi interkoneksi jaringan.
Integrasi Sistem: Celestica bertanggung jawab atas manufaktur board card akhir dan integrasi fisik tingkat rak.
Melahap Seluruh Rantai Industri, Ambisi Kerajaan Full-Stack OpenAI
Model dilatih sendiri, chip didesain sendiri, inferensi dioptimalkan sendiri, penyebaran dikendalikan sendiri.
Jelas, tujuan OpenAI adalah kerajaan AI full-stack yang sangat besar.
Tapi ambisi OpenAI lebih gila daripada Apple dan Google, mereka memiliki super-flywheel yang belum pernah ada sebelumnya: menggunakan AI untuk mempercepat pembangunan infrastruktur AI, kemudian menggunakan infrastruktur yang lebih kuat yang telah dibangun, untuk menjalankan AI yang lebih kuat lagi.
Menurut cetak biru megah yang diumumkan OpenAI, pusat data super berdaya GW pertama akan mulai disebarkan mulai akhir 2026, bersama mitra inti seperti Microsoft.
Konsumsi listrik seluruh kota ukuran sedang akan digunakan untuk menggerakkan rak inferensi Jalapeño dan chip cabai generasi berikutnya.
Bersiaplah, segera, kita akan menyambut GPT-5.6 Sol yang melesat dengan kecepatan 750 Token/detik di wafer Cerebras, menghancurkan kutukan fisik parameter dan kecepatan inferensi.
Referensi: https://x.com/bleysg/status/2073937651150029084
Artikel ini berasal dari akun WeChat "Xin Zhi Yuan", penulis: ASI Revelation; Editor: Aeneas
