OpenAI Roboh, Skala Hukum Scaling Law Ternyata Bermasalah, Triliunan Daya Komputasi Terbuang Percuma
Sebuah analisis baru mengungkap potensi bug dalam makalah Scaling Law awal OpenAI, yang diklaim telah menyebabkan pemborosan komputasi masif di industri AI. Menurut Diogo Almeida, mantan peneliti OpenAI, metodologi dalam makalah 2020 membatasi semua model (besar dan kecil) dengan jumlah token pelatihan yang sama (sekitar 130B) dan menggunakan penjadwalan Cosine Decay untuk learning rate. Ini menyebabkan model besar kekurangan data dan proses pelatihan berhenti sebelum waktunya, menciptakan kesan bahwa kinerja telah jenuh. Kesimpulan awal yang mendorong ekspansi parameter (seperti GPT-3) mungkin salah, dan pendekatan Chinchilla DeepMind yang menyeimbangkan parameter dengan data mungkin lebih efisien. Lebih lanjut, ada kritik bahwa Scaling Law saat ini terlalu bias pada bahasa Inggris yang "miskin morfologi", sementara bahasa seperti Prancis atau Mandarin bisa mencapai performa serupa dengan data lebih sedikit. Intinya, industri mungkin telah menghabiskan bertahun-tahun dan daya komputasi triliunan untuk skalabilitas yang tidak optimal.
marsbit5j yang lalu
