Tiga Tahun Menunda Pembaruan, Artikel Panjang Terbaru Alumni Peking University, Weng Li, Viral
Tiga tahun setelah menunda, mantan Wakil Presiden OpenAI Lilian Weng menerbitkan artikel panjang berjudul "Scaling Laws, Carefully" yang memicu perbincangan luas. Artikel tersebut mengkritisi dan menganalisis kelemahan mendasar dari Hukum Skala (Scaling Laws), yang selama lima tahun menjadi dasar investasi miliaran dolar di industri AI.
Inti artikel menyoroti beberapa poin krusial: pertama, terdapat perbedaan signifikan antara kesimpulan OpenAI dan DeepMind mengenai alokasi anggaran komputasi untuk model versus data, yang ternyata bersumber dari perbedaan metode penghitungan parameter dan skala eksperimen. Kedua, bahkan formula DeepMind yang dianggap lebih akurat ternyata mengandung bug dalam fungsi loss, di mana optimizer berhenti terlalu dini. Ketiga, Hukum Skala klasik mengasumsikan pasokan data tak terbatas, sementara kenyataannya data teks berkualitas tinggi akan segera habis, sehingga mendorong industri beralih ke pembelajaran penguatan, komputasi saat pengujian, dan data sintetis.
Weng juga menekankan bahwa ekstrapolasi kurva dari model kecil untuk memprediksi model besar sangat rentan kesalahan. Ia menyertakan simulator interaktif dalam blognya untuk menunjukkan betapa rapuhnya prediksi tersebut. Artikel ini menyimpulkan bahwa era ketergantungan semata pada "penskalaan buta" sudah berakhir, dan masa depan AI bergantung pada pemahaman dan penanganan detail yang lebih tepat terhadap prinsip-prinsip fundamental ini.
marsbit06/26 04:56