Belakangan ini, sebuah postingan oleh pengguna X @MaxForAI telah memicu perbincangan hangat di kalangan netizen: "Ini gila — sekarang kamu bahkan bisa menyaksikan langsung bagaimana model raksasa 535B dilatih."
Ternyata Profesor Stanford dan pendiri Simile AI, Percy Liang @percyliang, mengumumkan bahwa Laboratorium Terbuka Marin telah memulai pelatihan model Marin 535B-A23B, dan seluruh proses pelatihan akan dilakukan secara terbuka dan transparan.
Marin memiliki total 535 miliar parameter, dengan 23 miliar parameter aktif. Untuk itu, Percy Liang dan timnya telah menyiapkan total 18.75 triliun token data pelatihan, dan menerapkan 11 sistem GB200 NVL72, setara dengan sekitar 792 GPU GB200.
Diperkirakan model akan dilatih secara terus-menerus selama sekitar 3 bulan, dengan total perhitungan pelatihan sekitar 2.7e24 FLOPs. Setelah pelatihan selesai, tim juga akan melanjutkan ke fase pasca-pelatihan (post-training).
Dengan kata lain: Dalam beberapa bulan ke depan, semua orang dapat menyaksikan bagaimana sebuah model canggih berkembang dari nol.
Selain itu, yang patut diperhatikan, Percy Liang menyatakan bahwa sebelum secara resmi memulai tugas pelatihan ini, tim telah lebih dulu melatih serangkaian Scaling Ladder (Tangga Perluasan Skala) yang terdiri dari 4 tahap, mulai dari 1.6B-A61M (48B tokens) hingga 27.7B-A1.2B (926B tokens).
"Hal ini dilakukan dengan dua tujuan, pertama, menggunakan eksperimen skala kecil ini untuk mengidentifikasi dan men-debug potensi masalah lebih awal; kedua, berdasarkan kinerja pelatihan model pada skala yang berbeda, untuk memprediksi 'pelatihan model utama' (hero run) kami."
Tentu saja, Percy Liang juga menambahkan, "Ini adalah pelatihan terbesar yang pernah kami lakukan sejauh ini, oleh karena itu, kami memang berharap akan muncul beberapa situasi di luar perkiraan selama prosesnya."
Saat ini, model utama telah mulai berjalan, dan semua orang dapat langsung melihat kurva pelatihan real-time. Selanjutnya, data pelatihan, log eksperimen, serta masalah teknikal juga akan terus dipublikasikan.
Misalnya, dari segi data, termasuk proporsi campuran data pelatihan, cara pengolahan data, serta bagaimana data dari berbagai domain masuk ke dalam model; dari segi teknikal, termasuk konfigurasi pelatihan, kode, serta desain eksperimen; dari proses pelatihan, termasuk perubahan loss secara real-time, status model, serta hasil prediksi pada tahap yang berbeda.
Secara bersamaan, Percy Liang juga membagikan saluran untuk menyaksikan proses ini.
Lihat komposisi data: https://storage.googleapis.com/marin-public/held/harrier-k40-cluster-overview/2026.08.18/index.html?revision=uniform-sampling
Saksikan proses pelatihan secara real-time di Weights & Biases (wandb): https://wandb.ai/marin-community/marin_moe/reports/535B-A23B-18T-Token-Hero-Run-Scaling-Ladder--VmlldzoxNzc2MDM5Ng
Lihat semua detail informasi di GitHub: https://github.com/marin-community/marin/issues/8435
Setelah memahami lebih lanjut, tidak sulit melihat mengapa langkah Percy Liang ini dapat menarik perhatian banyak orang. Karena sebelumnya, untuk model seperti GPT-4, Claude, Gemini, kita sama sekali tidak tahu bagaimana proses pelatihannya secara spesifik, seperti sebuah 'kotak hitam'.
Orang hanya bisa melihat kemampuan akhir model, skor benchmark, sedikit deskripsi dalam makalah, dll. Sedangkan untuk proporsi data, apa yang gagal dalam pelatihan, hyperparameter mana yang efektif, bagaimana perubahan loss, apakah Scaling law diprediksi dengan akurat, semuanya tidak diketahui.
Marin berusaha mengubah hal ini. Mungkin, pelatihan model juga bisa seperti makalah penelitian atau perangkat lunak sumber terbuka: dapat diamati, didiskusikan, dan dikerjakan bersama.
Dan sejak pengumuman ini disebarkan, antusiasme netizen terus meningkat.
Beberapa netizen berpikir, inilah semangat sumber terbuka yang sebenarnya, "bahkan jika proses pelatihan menghadapi masalah atau menyimpang dari harapan, itu tidak disembunyikan sama sekali."
Ada juga netizen yang berkomentar, meskipun model yang dilatih itu sendiri sudah sangat besar, yang benar-benar mengejutkan adalah, sekarang semua orang bisa melalui platform WandB menyaksikan secara real-time bagaimana proses pelatihan model besar bernilai miliaran dolar bertumbuh langkah demi langkah?
"Ini seperti 'ruang gelap' yang sebelumnya tertutup rapat di dalam laboratorium AI top tiba-tiba dibuka, dan semua orang bisa melihat apa yang sedang terjadi di dalamnya."
Dan dalam tiga bulan ke depan, mungkin yang paling dinanti bukanlah kemampuan akhir model itu seperti apa, melainkan mengamati berapa kali model ini akan mengalami 'ledakan', crash, dan situasi tak terduga selama proses pelatihan......
Selain itu, ada juga netizen yang berpendapat, langkah ini tidak hanya menyediakan perspektif untuk menyaksikan keseluruhan proses pelatihan model, tetapi bahkan memberikan platform untuk belajar dan berdiskusi.
Netizen James Thewlis @jdthewlis terus mengikuti proses pelatihan secara real-time, di mana dia tidak mengerti "mengapa sekitar step ke-500, norms (norma parameter) menunjukkan sebuah puncak?"
Setelah menemukan jawabannya sendiri, dia kemudian bertanya dan menjawab sendiri di kolom komentar: "Puncak ini sepenuhnya disebabkan oleh router_bias (bias router). Ini bukan parameter yang diperoleh melalui pelatihan gradien, melainkan bagian dari mekanisme penyeimbangan token (token balancing heuristic) dalam MoE (Model Ahli Campuran), oleh karena itu ia memiliki dinamika perubahan yang berbeda dari parameter model biasa."
Banyak kasus serupa lainnya.
Selain itu, yang patut disebut, Percy Liang sebagai profesor Stanford, selain praktik langsung ini, juga memiliki mata kuliah teori: "CS336: Language Models From Scratch" (Model Bahasa dari Nol), yang bertujuan agar mahasiswa memahami sepenuhnya bagaimana sebuah model bahasa besar dibangun.
Sepertinya, Percy Liang benar-benar ingin mengajarkan semua orang cara 'membuat' model besar. Netizen yang tertarik bisa mempelajarinya.
Tautan kursus: https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Lalu, bagaimana pendapatmu? Bagaimana tanggapanmu tentang siaran langsung yang benar-benar menampilkan pelatihan model besar di depan umum ini? Silakan tinggalkan komentar di kolom komentar!
Referensi:
https://x.com/MaxForAI/status/2091270116067750089
https://x.com/percyliang/status/2090918065634684997
https://x.com/CopyRebeldia/status/2091231950774112412?s=20
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Artikel ini dari akun WeChat "机器之心" (ID:almosthuman2014), penulis: 关注AI的
