Bangun tidur, berita tentang OpenAI benar-benar membanjiri media.
Pertama-tama, pengguna X Leo@synthwavedd secara eksklusif mengklaim: OpenAI telah menyelesaikan pra-latihan baru, kode nama "Bel", dengan skala parameter diklaim lebih dari 10 triliun, mungkin menjadi penerus Doug, dan berpotensi menjadi model dasar untuk Astra /GPT-6...
Setelah mencari-cari, ternyata tidak ada informasi yang akurat. Namun yang pasti adalah, chip inferensi pertama buatan OpenAI sendiri telah menunjukkan hasil.
Baru saja, OpenAI merilis hasil tes terbaru dari chip inferensi pertama buatannya sendiri, Jalapeño: mencapai terobosan signifikan. Chip ini dirancang khusus untuk inferensi model bahasa besar, melalui desain arsitektur baru, mampu meningkatkan throughput sekaligus menurunkan latensi, mencapai keduanya sambil menjaga efisiensi energi tinggi. Dan dalam beberapa pengujian model, melebihi performa efisiensi sistem NVIDIA GB200 dan GB300.
Segera setelahnya, CEO OpenAI Sam Altman juga menyatakan di X: "Kami membuat sebuah chip, dan dia sangat cepat."
Perlu diperhatikan, sebagai chip inferensi pertama buatan OpenAI, Jalapeño bukanlah chip untuk melatih model GPT generasi berikutnya, melainkan dioptimalkan untuk tahap operasi setelah model diluncurkan.
Sederhananya: Tahap pelatihan adalah untuk membuat model mempelajari kemampuan, sedangkan tahap inferensi adalah untuk membuat model merespons permintaan pengguna dengan cepat. Jalapeño terutama menyelesaikan masalah kedua.
OpenAI menyatakan, sistem perangkat keras tradisional seringkali harus memilih di antara dua metrik:
- Throughput yang lebih tinggi: Memproses lebih banyak permintaan per satuan waktu;
- Latensi yang lebih rendah: Memberikan respons lebih cepat kepada pengguna.
Misalnya, pemrosesan batch skala besar dapat meningkatkan efisiensi keseluruhan, tetapi mungkin meningkatkan waktu tunggu permintaan tunggal; sementara mengejar latensi sangat rendah mungkin mengorbankan pemanfaatan sumber daya. Tujuan Jalapeño adalah mengoptimalkan keduanya sekaligus dalam satu arsitektur.
Dalam hal kinerja spesifik, OpenAI menyatakan, dalam beberapa pengujian inferensi model besar, Jalapeño lebih unggul daripada sistem NVIDIA GB200 dan GB300. Model yang diuji meliputi: OpenAI GPT-OSS 120B; DeepSeek R1 670B; Moonshot AI Kimi K2.5 1T.
Yang sangat menarik perhatian adalah munculnya DeepSeek R1 dan Kimi K2.5, ini sepertinya menunjukkan bahwa: Jalapeño tidak hanya dioptimalkan untuk model OpenAI sendiri, tetapi juga mampu menangani beban kerja berbagai model besar yang berbeda.
Menariknya, Jalapeño dapat diterjemahkan sebagai "Cabe Meksiko", dan begitu berita ini dirilis, langsung memicu gurauan dan diskusi hangat dari berbagai netizen.
"Kamu berencana memberi nama chipmu dengan nama cabai? Sudah tidak sabar untuk mencobanya."
Bagi OpenAI, peluncuran Jalapeño menunjukkan bahwa OpenAI sedang mencoba membangun seluruh jalur terintegrasi "model — perangkat lunak — chip — pusat data".
Hal lain yang patut dicatat, chip Jalapeño OpenAI kali ini, dalam hal perangkat keras, dikembangkan bekerja sama dengan Cerebras.
Tibo menulis: "Kemampuan ini berkat kerja sama mendalam yang kami jalin dengan Cerebras, serta arsitektur perangkat keras unik mereka. Di masa depan, kerja sama ini akan lebih lanjut mendorong batas-batas pengalaman 'super cepat'.
Saya sangat menantikan kedua belah pihak untuk terus bekerja sama, terus mendobrak batas di platform Cerebras, mengeksplorasi bagaimana menjalankan model kami yang paling kuat dengan kecepatan tercepat, dan menghadirkan pengalaman ini kepada pelanggan yang paling menuntut performa."
Sebenarnya, OpenAI bukan perusahaan AI pertama yang mengembangkan chip sendiri. Banyak perusahaan AI besar lainnya sebelumnya juga telah turun tangan membuat chip. Misalnya Google meluncurkan TPU; Amazon mengembangkan Trainium, Inferentia; Microsoft memajukan Maia; Meta juga membangun akselerator AI sendiri...
Logika di baliknya sangat mirip: GPU umum cukup fleksibel, tetapi tidak dioptimalkan untuk semua beban kerja AI. Bagi perusahaan yang menjalankan permintaan AI dalam jumlah besar setiap hari, jika dapat merancang chip sesuai dengan model, sistem perangkat lunak, dan cara layanan mereka sendiri, ada peluang untuk lebih lanjut mengurangi biaya...
Mari kita lihat lebih spesifik kemampuan Jalapeño.
Lebih Cepat, Lebih Hemat Daya
Keunggulan inti Jalapeño adalah menyelesaikan lebih banyak pekerjaan AI dengan daya yang sama, sambil mengembalikan respons lebih cepat. Sistem yang ada biasanya harus memilih antara throughput dan latensi, sedangkan Jalapeño berusaha mencapai throughput lebih tinggi dan latensi lebih rendah sekaligus dengan arsitektur yang sama.
OpenAI menekankan, keunggulan ini tidak hanya muncul pada model mereka sendiri, tetapi juga mencakup model yang dikembangkan eksternal, membuktikan Jalapeño adalah arsitektur inferensi yang lebih universal.
Pada tiga model publik GPT-OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 1T, Jalapeño mencapai 1.5~1.9 kali lipat pekerjaan AI per watt pada throughput puncak, latensi end-to-end turun menjadi 1/1.7~1/3.6 dari sistem pembanding; untuk beban kerja yang sangat interaktif, keunggulan performa mencapai 2.1~4.1 kali lipat.
Pada GPT-OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 1T, throughput per watt puncak Jalapeño masing-masing mencapai 1.9 kali, 1.7 kali, dan 1.5 kali dari sistem terbaik yang ada.
Di antaranya, pada Kimi K2.5 yang terbesar, peningkatan performa per watt puncak Jalapeño sekitar 1.5 kali lipat, latensi end-to-end berkurang sekitar 3.4 kali lipat.
Pada Kimi K2.5 1T, seiring dengan peningkatan kecepatan dekode pengguna tunggal, keunggulan throughput per watt Jalapeño dibandingkan GB300 meningkat dari 1.5 kali lipat pada puncak hingga maksimal 56.1 kali lipat.
OpenAI tidak hanya membandingkan performa puncak chip tunggal, tetapi lebih fokus pada satu metrik: dalam kondisi memenuhi persyaratan latensi pengguna dan Agen interaktif, berapa banyak pekerjaan AI yang berguna yang dapat diselesaikan per unit daya.
Alasannya juga terkait dengan Agen. Agen seringkali perlu menyelesaikan beberapa langkah berturut-turut, latensi yang tampaknya kecil dalam satu permintaan akan terus menumpuk selama pelaksanaan seluruh tugas.
Ini juga adalah area di mana Jalapeño paling menonjol dalam rentang latensi rendah. Mengambil contoh DeepSeek R1, dalam kondisi yang sesuai dengan TBT terbaik sebelumnya dari sistem pembanding, throughput per kilowatt Jalapeño mencapai 12,258 mixed TPS/kW, dibandingkan dengan 118 dari GB300, selisih sekitar 104.3 kali lipat.
Pada DeepSeek R1 670B, throughput per watt puncak Jalapeño sekitar 1.7 kali lipat dari GB300; pada kecepatan dekode yang sama, keunggulan diperbesar hingga 104.3 kali lipat.
OpenAI menggunakan patokan publik InferenceX dari SemiAnalysis untuk pengujian, dan membandingkannya dengan sistem komersial terkemuka saat ini. Dari layanan throughput tinggi hingga skenario sangat interaktif dengan latensi rendah, Jalapeño mencapai kombinasi performa per watt dan latensi yang lebih baik pada ketiga model publik, berada di Pareto frontier.
Pada berbagai titik operasi DeepSeek R1 670B, Jalapeño membentuk kombinasi yang lebih optimal antara throughput per watt dengan kecepatan interaksi dan latensi end-to-end, berada di Pareto frontier.
Daya pengenal Jalapeño adalah 700W, namun dalam beban kerja yang diuji kali ini, daya berkelanjutan aktual selalu dipertahankan pada 550W atau di bawahnya.
Dirancang untuk Agen
Jalapeño dari awal dirancang untuk model bahasa besar saat ini dan masa depan, terutama Agen interaktif.
Tahapan inferensi LLM yang berbeda memiliki hambatan yang berbeda: Prefill lebih bergantung pada kemampuan komputasi, Decode lebih dibatasi oleh bandwidth memori, pergerakan data antara inti dan chip juga akan menambah latensi.
Oleh karena itu, OpenAI mendesain bersama chip, memori, jaringan, perangkat lunak, dan sistem tingkat rak. Termasuk status model seperti KV Cache dapat ditempatkan secara eksplisit dan diupayakan tetap berada secara lokal, memungkinkan Jalapeño beradaptasi dengan Prefill dan Decode sekaligus, serta menyesuaikan diri dengan perubahan volume kerja keduanya.
OpenAI percaya, inilah karakteristik kunci dari beban kerja Agen.
Menariknya, AI bukan hanya objek yang akan dilayani Jalapeño, tetapi juga terlibat langsung dalam pengembangan chip ini.
Dengan bantuan model dari berbagai tahap, tim OpenAI hanya membutuhkan 9 bulan dari desain awal hingga Tape-out (finalisasi desain chip untuk produksi). Model digunakan untuk mengeksplorasi implementasi berbeda, memperpendek siklus desain, pengukuran, dan validasi, serta berpartisipasi dalam mengoptimalkan sirkuit aritmatika chip.
Jalapeño juga dirancang sebagai target pemrograman yang jelas dan dapat diprediksi, baik bagi manusia maupun model. Menggunakan Codex yang digerakkan oleh GPT-Astra, tim hanya membutuhkan 2 bulan untuk membuat tiga model berbobot terbuka yang awalnya tidak ada dalam rencana produksi awal Jalapeño berjalan dengan performa tinggi.
Dalam beberapa modul Attention dan MoE GPT-OSS, implementasi yang dihasilkan Codex bahkan 1.5~1.8 kali lebih cepat daripada versi tulisan tangan ahli manusia asli.
Diterapkan Akhir Tahun, Generasi Kedua dan Ketiga Sudah dalam Perjalanan
OpenAI berencana untuk mulai menerapkan Jalapeño ke infrastruktur komputasinya sendiri sebelum akhir tahun 2026. Saat ini tim masih melakukan validasi produksi, menyempurnakan perangkat lunak, mempersiapkan diri untuk operasi skala besar, dan terus memvalidasi kinerja pada lebih banyak model.
Produk lanjutan juga telah dimulai, Gen 2 telah memasuki tahap pengembangan mendalam, Gen 3 juga telah mulai terbentuk.
OpenAI merangkum perubahan efisiensi yang dibawa Jalapeño menjadi tiga tingkat: Mode Ultra-fast, dapat mencapai efisiensi yang sebelumnya hanya dimiliki oleh mode Fast; Mode Fast, dapat mencapai efisiensi yang sebelumnya hanya dimiliki oleh mode Batch; Mode Batch sendiri kemudian lebih lanjut meningkatkan efisiensi.
Namun, mengembangkan chip sendiri tidak berarti OpenAI bersiap melepaskan diri dari NVIDIA.
OpenAI dengan tegas menyatakan, memenuhi permintaan AI yang terus tumbuh membutuhkan lebih banyak daya komputasi dari semua sumber yang tersedia, perusahaan akan tetap melanjutkan penerapan akselerator NVIDIA dan mitra lainnya dalam skala besar, sambil mencakup beban kerja pelatihan dan inferensi.
Bagaimana pendapat Anda? Silakan tinggalkan komentar di kolom komentar dan berdiskusi!
Referensi:
https://x.com/OpenAI/status/2092300846675505602
https://x.com/sama/status/2092339694210040187
https://openai.com/index/jalapeno-first-results/
https://techcrunch.com/2026/08/25/openais-jalapeno-chip-is-built-for-fast-inference-at-scale-benchmarks-show/
Artikel ini berasal dari akun WeChat publik "机器之心" (ID:almosthuman2014), penulis: 关注AI的机器之心, editor: 山辉、Youli
