AI Mulai Memperbesar Ketimpangan Informasi?
Pada dini hari 14 Agustus, OpenAI bersama dengan produsen chip AI Cerebras secara resmi mempratinjau lapisan layanan baru "Mode Super Cepat" (Ultrafast Mode) untuk model andalan mereka GPT-5.6 Sol.
Dalam mode ini, kecepatan keluaran GPT-5.6 Sol dapat mencapai hingga 750 tokens/detik, dibandingkan dengan baseline inferensi Mode Standar saat ini yang sekitar 53 tokens/detik, peningkatan kecepatan mencapai hingga 14 kali lipat, tanpa mengurangi kualitas apa pun. Secara perbandingan horizontal, GPT-5.6 Sol yang dipercepat 11 kali lebih cepat dari Fable 5, dan 5 kali lebih cepat dari Opus 4.8 dalam mode Cepat.
Mode Ultrafast akan diluncurkan terlebih dahulu di OpenAI API, dan saat ini telah dirilis dalam pratinjau terbatas untuk sebagian pelanggan.
Untuk itu, OpenAI dan Cerebras juga membuat tabel perbandingan kecepatan dan kecerdasan model AI besar mutakhir saat ini, di mana GPT-5.6 Sol Ultrafast berada di posisi yang sangat unggul:
Dalam blog Cerebras, para insinyur memperkenalkan tes yang dilakukan pada "Ujian Terakhir Manusia" (Humanity's Last Exam, HLE), di mana mereka membandingkan model yang telah di-Ultrafast-kan dengan pesaing langsungnya. Kita tahu, HLE adalah tolok ukur model yang menantang, berisi 2500 soal, yang biasanya hanya dapat dijawab oleh doktor di bidang kimia, ekonomi, dan sastra.
GPT-5.6 Sol dalam mode super cepat hanya membutuhkan 11 jam 11 menit untuk menjawab semua pertanyaan. Sedangkan Claude Fable 5 membutuhkan 78 jam 27 menit, yaitu lebih dari tiga hari komputasi berkelanjutan untuk mencapai kesimpulan yang sama. Mode super cepat GPT hanya membutuhkan satu hari kerja untuk menyelesaikan bidang pengetahuan manusia yang paling mutakhir, dengan akurasi yang serupa, kecepatannya hampir 7 kali lipat dari Claude Fable.
Seiring peningkatan kemampuan model, cakupan aplikasi inferensi cepat juga akan meluas. GPT-5.6 Sol adalah model terbaik OpenAI sejauh ini dalam dokumen hukum, model keuangan, dan laporan teknik. Pada GDP-Val (tolok ukur untuk mengukur tugas pekerjaan pengetahuan bernilai ekonomi), Ultrafast mencapai peningkatan kecepatan end-to-end 5,6 kali lipat tanpa penurunan kualitas, menunjukkan sepenuhnya bagaimana kecepatan inferensi yang lebih cepat dapat mempercepat pelaksanaan pekerjaan bernilai ekonomi.
Pemrosesan AI yang lebih cepat menambah banyak kemungkinan untuk alur kerja baru, orang sekarang dapat mengerahkan agen ke jalur kritis masalah. OpenAI mencantumkan beberapa skenario aplikasi untuk Anda:
- Respon dan Keandalan Insiden: Ketika sistem kritis mengalami kegagalan, AI menganalisis log aplikasi, perubahan kode terbaru, dan laporan insinyur untuk menentukan kemungkinan penyebab, dan membantu menyiapkan rencana perbaikan sementara kegagalan masih terjadi.
- Penelitian dan Keamanan Finansial: Menganalisis sinyal pasar, mengevaluasi perdagangan, dan mengidentifikasi aktivitas mencurigakan dalam situasi pasar yang berubah dengan cepat.
- Dukungan dan Suara Pelanggan: Menyelesaikan masalah pelanggan yang kompleks secara real-time, bahkan jika menemukan jawaban memerlukan banyak langkah atau sistem, tanpa mengganggu percakapan.
- Perdagangan: Menjawab pertanyaan produk, memeriksa persediaan, merekomendasikan personalisasi, dan menyelesaikan masalah checkout saat pembeli masih ragu-ragu, mencegah keraguan berkembang menjadi shopping cart yang ditinggalkan.
- Penelitian dan Eksperimen Real-Time: Mengubah penelitian yang sebelumnya memerlukan waktu semalam menjadi rapat kerja interaktif, memungkinkan tim menguji ide, memeriksa hasil, menyesuaikan metode, dan melakukan eksperimen lain tanpa mengganggu alur kerja.
Di internal OpenAI, pengembang menguji GPT-5.6 Sol dalam mode super cepat, respon insiden adalah contoh penggunaan Ultrafast. Saat alarm terpicu, insinyur perlu membangun gambaran insiden yang akurat sementara sistem dan bukti masih berubah. Dengan kecerdasan tingkat Sol, tim dapat membaca log dengan cepat, menganalisis jejak, merangkum percakapan, menentukan pemeriksaan selanjutnya, dan membantu menyiapkan atau memvalidasi rencana perbaikan. Mode Ultrafast memperpendek jeda antara mengamati sinyal, memvalidasi hipotesis, dan memilih tindakan selanjutnya, sementara insinyur tetap bertanggung jawab atas penilaian dan penerapan.
Dalam hal penelitian, tim OpenAI menggunakan Ultrafast untuk mencari basis pengetahuan dengan cepat, mengkueri data, dan mengumpulkan, menyusun, dan merangkum informasi dari berbagai alat dengan cepat. Alur kerja umum dalam penelitian sebelumnya adalah, anggota tim memulai sekumpulan eksperimen di malam hari, dan melihat hasilnya keesokan paginya. Dengan Ultrafast, proses penemuan dapat dipersingkat, sehingga mendukung banyak iterasi dalam satu hari kerja.
Terobosan mode Ultrafast terletak pada pemecahan hambatan bandwidth memori kluster GPU tradisional dalam tahap dekoding inferensi model besar, implementasinya terutama bergantung pada arsitektur hardware tingkat wafer Cerebras.
Di antara produsen chip AI, solusi Cerebras sangat unik: chip generasinya dibuat menggunakan wafer utuh, mengintegrasikan sejumlah besar inti komputasi dan jaringan interkoneksi berkecepatan sangat tinggi dalam satu chip.
GPU tradisional saat menjalankan dekoding autoregresif model besar untuk menghasilkan Token, dibatasi oleh bandwidth memori, perlu terus-menerus memindahkan bobot model yang besar antara HBM di luar chip dan inti komputasi; sementara pemisahan multi-kartu juga akan membawa penundaan komunikasi interkoneksi antar chip (PCIe/NVLink).
Sedangkan setiap chip tingkat wafer terbaru Cerebras (WSE-3) mengintegrasikan 4 triliun transistor, 125 petaflops daya komputasi AI, dan hingga 44 GB SRAM kecepatan tinggi di atas chip. Parameter model langsung tinggal di SRAM di atas chip dengan bandwidth sangat tinggi, menghindari waktu tunggu untuk memuat bobot berulang kali dari memori di luar chip.
Tentu saja, GPT-5.6 Sol sebagai model andalan mutakhir, jumlah parameter lengkapnya jelas jauh melebihi kapasitas chip. Cerebras juga memiliki mekanisme "Paralelisme Pipeline Multi-Wafer" (Pipelined across wafers), yang mendistribusikan setiap lapisan jaringan model ke beberapa wafer, parameter setiap lapisan tinggal di SRAM chip masing-masing, memungkinkan Token ditransmisikan dengan mulus antar wafer dalam pipeline.
Bagi banyak pengguna model besar, kecepatan 14 kali lipat model andalan berarti bahwa banyak tugas yang sebelumnya harus dialihkan ke model sekunder (seperti Luna dan Terra) sekarang dapat dijalankan dengan kekuatan penuh dengan percaya diri. Untuk tugas Agen yang memerlukan banyak panggilan alat, pembuatan kode dan debugging, serta pemikiran berantai yang kompleks, proses yang sebelumnya memerlukan beberapa jam dapat dikompresi menjadi beberapa menit.
Kecepatan yang lebih cepat mungkin juga berarti cara kita menggunakan AI berubah:
Di komunitas AI, orang sudah menantikan mode super cepat versi Luna dan Terra, hanya saja tidak tahu apakah chip Cerebras cukup tersedia.
Referensi:
https://openai.com/index/previewing-ultrafast/
https://www.cerebras.ai/blog/accelerating-gpt-5-6-sol-ultrafast-with-openai
Artikel ini dari akun WeChat "机器之心" (ID:almosthuman2014), penulis: 关注大模型的机器之心
