Peneliti DeepMind buka suara tengah malam: Makalah asli Scaling Law OpenAI ternyata punya bug fatal! AI global membuang sia-sia triliunan daya komputasi, GPT-3 sebenarnya sangat "gemuk tapi tak bertenaga".
OpenAI telah menyesatkan seluruh komunitas AI selama beberapa tahun!
Lima tahun terakhir, seluruh industri AI didorong maju oleh Scaling Law.
Keyakinan Sam Altman akan AGI bersumber dari kurva ini.
Sekarang, ada yang angkat bicara: Kurva ini, sejak awal sudah salah.
Bukan sok tahu setelah kejadian. Yang bilang ini, adalah peneliti Diogo Almeida yang dulu memang bekerja mengoptimasi model besar di OpenAI.
Baru saja, dia menerbitkan sebuah blog, dengan judul yang dingin menusuk – «Scaling Laws, Honestly».
Kalimat pembuka langsung menghantam: Versi awal scaling law itu salah, karena ada bug.
Pintu gerbang: https://www.completeskeptic.com/p/scaling-laws-honestly
Sander Dieleman dari DeepMind yang terkenal dengan model difusinya, langsung mengangkatnya di Twitter, menyebutnya sebagai bagian menarik dari sejarah LLM:
Scaling law asli salah karena sebuah bug, sangat mungkin membuat industri membuang-buang daya komputasi yang sangat besar pada banyak model yang "terlalu besar, kurang terlatih".
Satu bug, membakar dua tahun.
Saat bug terbongkar, yang kita lihat bukan hanya lubang hitam daya komputasi, tapi juga batas kecerdasan yang jauh lebih dalam dan terbentuk ulang oleh bahasa itu sendiri.
Scaling Law Ternyata adalah "Teori Geosentris" Versi LLM
Tahun 2020, OpenAI memberi kesimpulan: Dengan anggaran daya komputasi tetap, Anda harus memprioritaskan memperbesar model, bukan memberi lebih banyak data.
Dalam rumus, jumlah parameter optimal berbanding lurus dengan daya komputasi pangkat 0.73 – parameter, adalah variabel yang harus dikejar lebih kuat.
Kalimat ini langsung mendefinisikan wajah generasi GPT-3. Menumpuk parameter. Sampai mati. 175 miliar.
Ia memberi tahu pengembang di seluruh dunia: Jangan tanya, jawabannya adalah tumpuk parameter; selama Anda buat model cukup besar, keajaiban akan terjadi.
Dua tahun kemudian, DeepMind meluncurkan Chinchilla, membalikkan kesimpulan ini: Model dan data harus diperbesar bersama dengan kepentingan yang hampir setara, sekitar 20 token per parameter baru efisien.
Mereka melatih Chinchilla 70 miliar parameter, diberi 1,4 triliun token – ukurannya kurang dari setengah GPT-3, datanya lebih dari empat kalinya.
Hasilnya, dengan anggaran daya komputasi sama, secara keseluruhan mengungguli Gopher yang 280 miliar parameter, tapi hanya diberi 300 miliar token.
Diterjemahkan ke bahasa manusia: Dengan uang yang sama, satu melatihnya menjadi pria "gemuk tapi lemah", satunya melatihnya menjadi petinang yang ramping dan kuat.
Setelah terlambat tiga tahun, alumni Peking University Weng Li menyelidiki lebih dalam penjelasan utama perbedaan antara keduanya dalam penelitian lanjutan, yaitu perbedaan dalam cara mereka menghitung total parameter.
Dan belum selesai. Bahkan yang "benar" itu, Chinchilla sendiri, juga tidak bersih.
Tahun 2024, Besiroglu dkk. mengambil kembali titik data dari makalah asli Chinchilla dan menjalankannya ulang, menemukan bahwa dalam metode fitting-nya sendiri juga terdapat bug:
Skala loss dalam optimizer diatur terlalu tinggi, menghitung rata-rata (bukan jumlah) loss Huber per sampel, menyebabkan fitting berhenti terlalu dini.
Makalah yang mengoreksi bug, ternyata membawa bug lain sendiri.
Sampai di sini, kalimat "first principles" yang digantungkan banyak orang, tiba-tiba goyah.
Apa yang disebut Scaling Law, bukanlah hukum fisika yang pasti seperti tiga hukum Newton, ia hanyalah sebuah kurva yang dihasilkan dari fitting empiris.
Saat Diogo Almeida berpendapat kebenarannya tidak demikian, bukan karena metodenya berbeda, "tapi scaling law versi awal itu sendiri punya bug."
Tiga Trik OpenAI Menipu Rekan AI Global?
Untuk membuat kebohongan yang dipercayai AI global secara kolektif, hanya butuh tiga langkah.
Langkah pertama: Memenjarakan data.
Makalah OpenAI memberi semua model – entah itu model kecil yang masih belajar berjalan (model kecil), atau model yang sudah menjadi raksasa, "porsi makan" yang persis sama. Sekitar 130B token data.
Model kecil jadi "kenyang" bahkan "kebanyakan", sementara model besar yang benar-benar butuh data sangat banyak untuk mengisi kapasitasnya, malah kekurangan gizi parah di bawah anggaran token yang sama.
Makalah Chinchilla kemudian dengan tepat menunjuk: Mereka menggunakan "jumlah Token pelatihan tetap dan skema penjadwalan learning rate untuk semua model."
Ini seperti menyuruh anak TK dan doktor mengerjakan ujian yang sama, dengan waktu yang sama, lalu mengklaim "nilai hanya terkait bakat".
Langkah kedua: Decay LR yang menutup telinga.
Mereka menggunakan Cosine Learning Rate Decay, membuat learning rate mendekati nol dengan mulus saat pelatihan mendekati akhir.
Saat pelatihan hampir mencapai titik akhir yang ditentukan, learning rate secara perlahan ditekan ke nol, kemajuan model secara alami menjadi "datar".
Kurva yang mendatar, tampak seperti: Model ini sudah belajar sampai maksimal, diberi makan lagi juga percuma.
Para peneliti lalu menyimpulkan: "Menambah data tidak berguna lagi, model sudah jenuh."
Ini bukan batas model, ini learning rate yang memutus jalan pertumbuhan model secara artifisial. Ini menciptakan ilusi sempurna: Performa sudah mencapai plafon, tambah data pun percuma.
Tapi sekarang kita tahu, model-model besar itu belum sampai batasnya.
Langkah ketiga: Kesombongan otoritas.
Langkah ketiga, yang paling licik: Dalam makalah ditulis satu kalimat, bahwa hasilnya "pada dasarnya tidak terpengaruh oleh kurva learning rate".
Meski termasuk Diogo Almeida yang saat itu di OpenAI, banyak yang merasa ada yang tidak beres, tapi dalam batas token tetap, kesimpulan ini secara teknis benar.
Tapi ia justru tidak berlaku untuk dunia ideal "data tak terbatas" yang ingin digambarkan scaling law.
Mereka menganggap kebenaran lokal dalam kondisi terbatas, sebagai hukum universal alam semesta.
Tiga langkah bertumpuk, Anda mendapatkan hukum yang salah, dan sangat sulit untuk di-debug.
Diogo sendiri mengakui: Dulu dia juga melakukan optimasi di OpenAI, dan tidak melihat bug ini – kurva learning rate itu terlihat terlalu seperti "diatur dengan hati-hati", siapa yang akan meragukannya.
GPU Terbuang Percuma
Kesalahan Alokasi Daya Komputasi Serius
Dibimbing oleh rumus salah OpenAI, industri AI memasuki era "tenaga besar menghasilkan keajaiban".
Ini berarti dalam beberapa tahun terakhir, pikiran terpintar di dunia, daya komputasi paling langka, terbuang sia-sia pada ekspansi skala yang tidak efektif.
Ini bukan cuma soal uang, ini dalam perlombaan kecepatan menuju AGI (Kecerdasan Buatan Umum), umat manusia karena pengaturan learning rate, secara kolektif berlari ribuan kilometer di lintasan yang salah.
Jika penemuan Bug membuat sedih, maka refleksi mendalam yang muncul kemudian membuat bergidik.
Peneliti Adam Zachary Wasserman menunjukkan titik buta yang diabaikan semua orang: Bahkan jika rumus dikoreksi, Scaling Law saat ini hanyalah "Scaling Law Bahasa Inggris".
Dia melakukan eksperimen kontra-intuitif: Melatih model dengan arsitektur sama, daya komputasi sama.
Hasilnya, efisiensi model bahasa Prancis mencapai kemampuan tata bahasa tertentu, ternyata 50 sampai 100 kali lebih tinggi daripada model bahasa Inggris.
Mengapa? Karena bahasa Inggris adalah bahasa yang "miskin morfologi".
Ia terlalu bergantung pada pola distribusi, membutuhkan model menebak makna kata dari data sangat banyak; sementara bahasa seperti Prancis, Mandarin yang kaya morfologi atau berstruktur ketat, pada kosakata itu sendiri sudah membawa banyak informasi eksplisit.
Ini berarti, semua skema alokasi daya komputasi kita saat ini, didasarkan pada bahasa yang paling "rakus data", paling tidak efisien.
Saat Anda pikir Anda menjelajahi hukum fisika "kecerdasan umum", Anda sebenarnya hanya mengukur "seberapa borosnya daya komputasi bahasa Inggris".
Ini seperti Anda mencoba menetapkan standar nutrisi makhluk hidup di seluruh alam semesta dengan mempelajari nafsu makan seekor babi – ini bukan hanya bias, tapi juga keterbatasan kognitif.
Kita seharusnya bisa mencapai performa lebih kuat dengan model lebih kecil, data berkualitas lebih banyak.
Kita seharusnya bisa menghemat listrik dan panas dari puluhan ribu runtime H100.
Kita seharusnya bisa masuk ke era "AI Efisien" dua tahun lebih awal.
Referensi:
https://www.completeskeptic.com/p/scaling-laws-honestly
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
Artikel ini berasal dari akun WeChat publik "Xinzhiyuan", penulis: ASI Revelation, editor: David
