Usia 69 tahun justru usia yang tepat untuk 'berkreasi'!
Pendiri pembelajaran penguatan, penerima Turing Award 2024, Richard Sutton mengumumkan bahwa dirinya dan muridnya Khurram Javed telah meninggalkan Keen Technologies yang didirikan oleh John Carmack, untuk mendirikan Oak Lab.
Richard Sutton dapat disebut sebagai perintis pembelajaran penguatan modern:
Ia mengambil S1 Psikologi di Stanford, S3 dibimbing oleh pelopor pembelajaran penguatan Andrew Barto, dan di awal karirnya bekerja di GTE Labs dan AT&T Labs.
Ia mengusulkan algoritma temporal difference, dan buku yang ditulis bersama pembimbingnya Andrew Barto, Reinforcement Learning: An Introduction (Pengantar Pembelajaran Penguatan) menjadi buku ajar standar global di bidang ini;
Sejak 2003, Sutton menjadi profesor tetap di University of Alberta, mendirikan laboratorium pembelajaran penguatan RLAI di universitas tersebut;
2017‐2023 menjabat sebagai Distinguished Research Scientist di DeepMind, memimpin pembentukan tim penelitian DeepMind Edmonton.
Selain itu, selama lebih dari empat puluh tahun Sutton telah mencetak sejumlah besar talenta terkemuka di industri AI.
Di antaranya termasuk perancang inti AlphaGo David Silver, kepala DeepMind Montreal Doina Precup, ahli AI permainan Michael Bowling, serta Khurram Javed yang ikut mendirikan startup ini.
Dari cuitannya, alasan Sutton kali ini memilih untuk mandiri cukup langsung:
Menurutnya, metode pembelajaran mendalam saat ini lemah dan tidak efisien, yang dibutuhkan bukanlah perbaikan tambal sulam, melainkan pemikiran dasar yang benar-benar baru dan rekonstruksi total.
Dengan kata lain, Sutton merasa jalur AI yang ada saat ini sulit untuk melangkah lebih jauh menuju kecerdasan umum yang lebih tinggi.
Sedangkan tujuan akhir Oak Lab adalah:
Membangun agen cerdas dengan skala triliunan parameter, dapat belajar secara real-time, merencanakan secara real-time, dengan konsumsi daya total hanya 20 watt.
20 watt, tepat setara dengan tingkat konsumsi energi otak manusia.
Saat seluruh industri AI masih menumpuk GPU dan memperluas pusat data, bapak pembelajaran penguatan ini bersiap untuk mendefinisikan ulang apa itu kecerdasan.
Berpisah dengan Carmack
Untuk memahami mengapa Sutton pergi, harus dijelaskan dulu dari mana dia pergi.
Pendiri Keen Technologies, John Carmack, adalah pencipta Doom dan Quake, mantan CTO Oculus, legenda di kalangan programmer yang dijuluki 'Carmack'.
2022 ia keluar dari Meta dan sepenuhnya fokus pada startup AI, dengan arah yang juga adalah pembelajaran penguatan.
September 2023, Sutton memilih bergabung dengan Keen, pemicunya adalah penutupan laboratorium yang ia bangun bersama di Edmonton, Kanada oleh Google DeepMind.
Waktu itu kerja sama keduanya bisa disebut sebagai kombinasi impian:
Satu adalah legenda dalam rekayasa sistem dasar, satu lagi adalah pendiri teori pembelajaran penguatan, berencana membangun sistem prototipe yang menunjukkan 'tanda-tanda kehidupan AGI' sebelum tahun 2030.
Kini, belum sampai tiga tahun bekerja sama, Sutton memilih menarik diri.
Tapi di cuitannya, ia sengaja memberikan kalimat pertama untuk Carmack:
Tentang John Carmack dan Keen Technologies, pujian saya tidak akan pernah cukup.
Maksudnya adalah: pergi bukan karena Carmack tidak baik, tapi karena mereka berbeda pendapat tentang bagaimana mencapai tujuan akhir.
Di mata Sutton, seluruh jalur perkembangan pembelajaran mendalam saat ini tidak akan berhasil.
Model tidak perlu iterasi dan penyetelan halus tanpa henti, seluruh industri mendesak untuk menyelesaikan pembangunan ulang di tingkat paradigma.
Apa yang akan dilakukan Oak Lab
Inti dari taruhan startup Sutton kali ini dapat diringkas dalam satu kalimat:
Kecerdasan berasal dari pengalaman yang terus dihasilkan selama runtime.
Mode kerja model besar arus utama saat ini pada dasarnya adalah menghabiskan waktu berbulan-bulan, menginvestasikan biaya besar, menyelesaikan pelatihan awal secara offline dengan mengandalkan data teks yang sangat banyak;
Setelah pelatihan selesai, parameter model pada dasarnya tetap, kemudian diluncurkan untuk digunakan.
Tapi meskipun setiap hari berdialog dengan miliaran pengguna, sebagian besar konten percakapan tidak dapat diubah menjadi kemampuan baru bagi dirinya sendiri.
Model hanya dapat menggunakan kembali pengetahuan yang dipelajari pada fase pelatihan, atau mengingat informasi sementara dalam konteks percakapan, tetapi tidak dapat seperti manusia dan hewan, memperbarui diri dalam proses merasakan dunia luar secara terus-menerus.
Tapi agen cerdas yang ingin dibangun Oak Lab berbeda.
Ia harus merasakan lingkungan sekitarnya, mengambil tindakan yang sesuai, lalu menyesuaikan perilakunya berdasarkan hasil;
Selama menghasilkan pengalaman baru, proses belajar berlangsung bersamaan, tidak perlu menunggu lama lagi untuk melaksanakan pelatihan baru secara terpusat.
Seperti yang dikatakan Sutton sendiri:
Setiap saat AI berjalan, seharusnya adalah proses belajar.
Saat ini, Oak Lab telah merilis garis penelitian intinya, berpusat pada satu set arsitektur bernama OaK.
OaK adalah singkatan dari Options and Knowledge, yaitu keterampilan dan pengetahuan.
Tujuan arsitektur ini adalah agar agen cerdas dapat menemukan struktur abstrak yang memiliki rentang waktu dari pengalamannya sendiri, dan mengubahnya menjadi keterampilan yang dapat divalidasi, direncanakan, dan dipanggil berulang kali.
Contohnya, pertama kali robot pergi ke dapur untuk mengambil air, seluruh proses mencakup serangkaian tindakan seperti mengenali ruangan, menghindari rintangan, mengambil gelas, membuka keran air.
AI tradisional akan menganggap semua langkah sebagai tugas keputusan tunggal;
Arsitektur OaK akan membuat agen cerdas memecah keterampilan tingkat tinggi seperti 'pergi ke dapur', 'mengambil gelas', 'mengambil air' dari praktiknya.
Saat menghadapi tujuan serupa di kemudian hari, agen cerdas langsung mengambil keterampilan yang sudah ada, lalu menyesuaikan rencana secara fleksibel dengan lingkungan saat ini.
Cara menyederhanakan pengalaman masa lalu sepanjang dimensi waktu ini disebut abstraksi temporal, memungkinkan AI meniru manusia, mengendapkan serangkaian tindakan terpisah menjadi keterampilan matang, mengandalkan kombinasi keterampilan untuk menyelesaikan tugas yang lebih kompleks.
Selain itu, arsitektur Oak juga memiliki tujuan desain yang sangat berbeda dengan pembelajaran mendalam saat ini:
Fase belajar tidak menyimpan data historis, juga tidak akan memutar ulang pengalaman masa lalu.
Pembelajaran penguatan mendalam saat ini seringkali menempatkan banyak pengalaman historis ke dalam buffer, dan melatihnya dengan pengambilan sampel berulang.
Oak Lab membayangkan menggunakan metode pembelajaran real-time dengan batch size 1, setiap mendapatkan satu pengalaman baru, segera menyelesaikan satu pembaruan.
Tim berpendapat, jika algoritma semacam ini digabungkan dengan jaringan saraf yang digerakkan oleh peristiwa, kebutuhan komputasi dan konsumsi energi sistem berpeluang turun beberapa orde magnitudo, sehingga membuat pembelajaran terus-menerus dan real-time menjadi benar-benar layak.
Maka muncullah tujuan jangka panjang itu: triliunan parameter, belajar real-time, perencanaan real-time, konsumsi daya 20 watt.
Tentu saja, saat ini ini masih hanya sebuah konsep.
Di balik Oak Lab juga ada landasan teori, berasal dari Hipotesis Dunia Besar yang diajukan bersama oleh Sutton dan Javed.
Inti pandangannya adalah: dunia nyata selalu lebih kompleks daripada AI. Bahkan jika model menjadi semakin kuat, volume data lingkungan luar juga akan meledak mengikutinya.
Model yang dilatih dengan data yang sudah disiapkan sebelumnya, tidak dapat mengikuti perubahan realitas.
AI harus belajar mengingat secara selektif konten yang berguna, melupakan informasi yang sudah ketinggalan zaman pada waktunya, belajar secara online terus-menerus, baru bisa beradaptasi dengan dunia nyata.
Dari 'Pelajaran Pahit' Menuju Startup
Bagi yang mengenal Sutton, pandangan di atas seharusnya tidak mengejutkan.
2019, ia menulis esai pendek yang tersebar luas di bidang AI Pelajaran Pahit (The Bitter Lesson).
Artikel tersebut meninjau perkembangan catur, Go, pengenalan suara, dan penglihatan komputer, menarik kesimpulan:
Metode pembelajaran dan pencarian umum yang dapat diskalakan sesuai dengan skala komputasi, dalam jangka panjang pada akhirnya akan mengungguli sistem yang bergantung pada pengetahuan manual manusia.
Di era model besar, jalur ini sepertinya mendapatkan verifikasi yang sangat kuat, model yang lebih besar, data yang lebih banyak, komputasi yang lebih kuat, mendorong kemampuan AI melonjak.
Tapi Sutton tetap tidak puas dengan pembelajaran mendalam arus utama hari ini.
Menurutnya, sistem saat ini masih sangat bergantung pada data yang diproduksi, disaring, dan diatur oleh manusia.
Konten yang dipelajari model, terutama adalah hal-hal yang sudah ditulis, difoto, atau diberi label oleh manusia di masa lalu.
Agen cerdas yang sesungguhnya, perlu menghasilkan pengalaman baru melalui tindakannya sendiri, dan menggunakan pengalaman ini untuk mengejar tujuan jangka panjang.
Ini juga menjelaskan mengapa ia melangkah lebih jauh dari 'Pelajaran Pahit' menuju 'Era Pengalaman'.
2025, bersama David Silver, tokoh inti AlphaGo, ia mengusulkan bahwa AI akan secara bertahap beralih dari mengandalkan data manusia ke bergantung pada pengalaman yang dihasilkan dari interaksi agen cerdas dengan lingkungan.
Oak Lab, adalah implementasi kewirausahaan dari proposisi penelitian ini.
Empat puluh tahun yang lalu, ketika Sutton menulis 'penugasan kredit temporal dalam pembelajaran penguatan' di disertasinya, pembelajaran penguatan masih merupakan ilmu yang tidak populer.
Empat puluh tahun kemudian, ketika seluruh dunia mengejar gelombang komersialisasi model besar, ia masih mempertanyakan hal yang sama—
Dari mana sebenarnya kecerdasan berasal?
One More Thing
Perhentian pertama sang legenda setelah membuka startup, WAIC Shanghai.
Di Forum Pemikir WAIC, Sutton akan membawakan presentasi bertema Prinsip Pertama Pembelajaran Penguatan: Memelihara Kecerdasan Super dari Pengalaman.
Referensi: https://x.com/RichardSSutton/status/2076663628301058329
Artikel ini berasal dari akun WeChat publik "量子位", penulis: Fokus pada Teknologi Terdepan
