Eh, sudah dengar kabarnya?
Hari-hari indah peneliti manusia, hitungan pas, mungkin hanya tersisa dua tahun lagi.
Dua tahun lagi, manusia yang meneliti AI, akan seperti manusia bermain catur hari ini.
Kamu tentu masih bisa bermain, tapi sama sekali tidak ada yang peduli bagaimana permainanmu.
Ini adalah pernyataan mengejutkan terbaru yang dilontarkan mantan kepala utama model reasoning OpenAI, Jerry Tworek.
Dia bergabung dengan OpenAI pada 2019, bertahan selama tujuh tahun. Dulu reinforcement learning susah payah tidak bisa ditingkatkan skalanya, dialah yang gigih menggigitnya dan mendorongnya maju, o1 dan o3, dua senjata mematikan ini, adalah hasil kerja kerasnya yang memimpin tim.
"Kami ingin menciptakan AGI." Ini adalah seluruh peta jalan yang diberikan Ilya dalam rapat seluruh staf ketika dia baru bergabung dengan OpenAI pada 2019. Tujuh tahun kemudian, dia sendiri keluar dan merintis usaha sendiri.
Yang lebih menyeramkan adalah, ini bukan hanya dia yang mengatakannya. Sekarang lelucon internal paling populer di antara peneliti AI adalah seperti ini —
Kita hanya tinggal beberapa hari kerja lagi, selagi masih bisa bekerja, kerjakanlah cepat-cepat, setelah selesai kita pensiun dan istirahat bersama.
Semua orang saling bercanda dengan lelucon hitam ini. Tapi setiap orang yang bercanda tahu persis di hati mereka.
Lelucon ini, delapan puluh persennya adalah kenyataan.
Dan ini baru saja pembuka. Dalam seluruh wawancara, kata-kata keras seperti ini dia ucapkan satu demi satu:
- Agent memang punya kreativitas, tapi itu adalah kreativitas yang sangat rendah kualitasnya, ditumpuk-tumpuk dalam jumlah besar, ide-idenya beraneka ragam, tapi juga kebanyakan sangat jelek
- Di seluruh dunia, orang yang benar-benar memahami dari pelatihan hingga penerapan sebuah model terdepan, mungkin hanya tiga puluh sampai lima puluh orang, sisanya semua orang hanya membantu mereka
- Menganggap Transformer sebagai solusi optimal, asumsi ini hampir pasti tidak benar
- Dalam tujuh tahun di OpenAI itu, jumlah kali yang benar-benar serius mencoba mengganti arsitektur dasarnya, hanya tiga sampai empat kali
- Dunia harus bergantung pada kita bekerja agar bisa berputar, premis ini sebenarnya tidak perlu ada
Berikut adalah versi yang telah dirapikan, Enjoy.
Setengah Pekerjaan, Sudah Tidak Dilakukan Manusia
Angka dua tahun ini, tidak ada hubungannya dengan skor tes, juga tidak dengan daya komputasi.
Dia menghitung, dalam hal penelitian ini, berapa banyak pekerjaan yang masih dilakukan manusia.
Dan pekerjaan ini sudah lama terbelah dua.
Satu bagian adalah memberikan ide, memikirkan dengan jelas ke arah mana harus melangkah. Bagian lainnya adalah mengerjakan, mengubah ide menjadi kode yang bisa dijalankan lalu mengambil datanya kembali.
Dan bagian yang mengerjakan itu, sudah hampir seluruhnya diambil alih oleh Agent.
Tworek membuka perusahaan bernama Core Automation pada April tahun ini, slogan mereka adalah menciptakan laboratorium AI paling otomatis di dunia.
Di sana, siklus lengkap satu percobaan, langsung dipangkas dari satu bulan menjadi satu hari. Efisiensi meningkat tiga puluh kali lipat!
Tapi bagian memberikan ide ini, Agent untuk sementara belum bisa mengambil alih. Alasannya adalah —
Mereka jelas termasuk spesies yang sangat kreatif.
Tapi mereka menghamburkan kreativitas dengan cara yang sangat rendah kualitas, dengan tumpukan besar. Idenya memang beraneka ragam, tapi idenya juga kebanyakan sangat jelek.
Di Seluruh Dunia Hanya Tiga Puluh sampai Lima Puluh Orang
Mendengar begitu, bagian memberikan ide ini sepertinya masih aman.
Tapi orang yang benar-benar bisa memberikan ide, sebenarnya juga sudah tidak tersisa banyak.
Dalam wawancara, host mengungkapkan, ada seorang peneliti internal OpenAI yang memberitahunya —
Di seluruh dunia, orang yang benar-benar memahami dari ujung ke ujung cara melatih dan menerapkan model terdepan, mungkin hanya tiga puluh sampai lima puluh orang.
Sisanya semua orang hanya membantu beberapa puluh otak ini, termasuk sebagian besar karyawan tetap di perusahaan paling hebat itu.
Tworek tidak menyanggah.
Dia juga merasa, tim papan atas mana pun bekerja seperti ini. Beberapa orang menentukan arah, di belakangnya menarik seluruh mesin eksekusi yang menderu.
Perlu diketahui, betapa dicari-carinya beberapa puluh orang ini, lihat saja daftar rekrutannya sendiri.
Pendiri bersama Core Automation, Rohan Anil, berasal dari Anthropic, sebelumnya dari Google DeepMind.
Anmol Gulati yang pernah mengerjakan Gemini di DeepMind juga direkrut. Bahkan kepala SDM OpenAI sebelumnya, Julia Villagra, ikut bergabung.
Semua laboratorium mengambil orang dari kolam yang sama. Dan kolam ini, totalnya hanya beberapa puluh ikan.
Jadi angka dua tahun ini, tidak ada hubungannya dengan seluruh umat manusia.
Yang dimaksud adalah, berapa lama lagi beberapa puluh orang ini bisa bertahan.
Tujuh Tahun, Arsitektur Hanya Pernah Serius Diganggu Tiga Empat Kali
Jika manusia hanya tinggal beberapa puluh orang, lalu apa tembok terakhir yang menghalangi AI?
Jawaban Tworek hanya satu kata, Transformer.
Menurutnya, benda ini hampir pasti bukan solusi optimal.
Pertama, model tidak bisa terus belajar setelah diterapkan. Kamu ngobrol sebanyak apa pun dengannya, dia tidak akan menjadi lebih kuat, percakapan berikutnya dia tetap yang dulu. Jendela konteks juga tidak tahan, dia bilang menggunakan Codex selama dua puluh menit, harus mengompres sekali.
Kedua, jika ingin mengandalkan fine-tuning berkelanjutan untuk menutupi, akan ditemukan tidak hanya efisiensinya sangat rendah, tapi juga melupakan secara katastropik, belajar yang baru lalu lupa yang lama.
Jadi sebagian besar pekerjaan yang dilakukan industri ini di sekitar Transformer dalam beberapa tahun terakhir, sebenarnya adalah membuatnya lebih murah, sangat sedikit yang benar-benar membuatnya lebih kuat.
Dan hal yang benar-benar diinginkan Tworek, sebenarnya juga bukan pada arsitektur itu sendiri.
Dia menginginkan model yang bisa terus belajar pada saat tes, model yang bisa terus tumbuh dari interaksi pengguna, dari data pengguna. Mengganti arsitektur hanyalah sarana menuju benda itu.
Prinsip-prinsip ini tidak ada yang tidak dimengerti di kalangan industri. Tapi setelah bertahun-tahun, mengapa Transformer masih kokoh berdiri di sana?
Alasan di baliknya sederhana sampai agak konyol — sama sekali hampir tidak pernah dicoba.
Dalam tujuh tahun di OpenAI, jumlah kali yang benar-benar serius mencoba mengganti arsitektur dasar, hanya tiga sampai empat kali.
Alurnya seperti ini.
Peneliti pertama menulis eksperimen verifikasi skala kecil, setelah selesai setidaknya dijalankan tiga bulan. Hasilnya terlihat baik, baru berani diperbesar.
Dan yang disebut memperbesar, adalah kamu harus meyakinkan sekitar sepuluh orang yang memegang hak hidup mati dengan lidahmu, lalu sepuluh orang ini membuang tiga sampai enam bulan ke dalam lubang tanpa dasarmu ini.
Akhirnya, entah hancur oleh momentum Transformer yang sudah lama seperti bola salju, atau sebagian diserap, menjadi sekrup kecil di tubuhnya.
Tujuh tahun, tiga empat kali. Inilah seluruh kapasitas produksi laboratorium AI terkuat di dunia, dalam hal inovasi arsitektur.
"Jare, daya komputasi ini untuk dibakar"
Dia sendiri pernah menabrak jalan buntu yang persis sama di OpenAI. Dan yang membukanya, adalah satu kalimat.
Saat itu, kumpulan eksperimen setengah mati itu, berjuang mengeluarkan sedikit "tanda kehidupan". Bukan berarti bagus, tapi akhirnya ada tunasnya.
Tepat di titik genting ini, Jakub Pachocki yang kemudian menduduki posisi Kepala Ilmuwan OpenAI menemukannya.
"Jare, semua GPU ini diberikan padamu, lihat apakah kamu bisa membuat hasil yang ada di tanganmu sedikit lebih besar, sedikit lebih keras."
"Sekarang kamu memiliki GPU ini di tanganmu." Dia mengulang kalimat ini saat o1 belum memiliki nama
Kalimat ini menariknya keluar dari sebuah paradoks —
Kamu harus menunjukkan hasil terlebih dahulu, baru berhak meminta daya komputasi.
Tapi jelas kamu harus memiliki daya komputasi itu terlebih dahulu, baru bisa menghasilkannya.
Tworek berkata, sebagian besar arah terdepan terjebak dalam paradoks ini. Pertarungan gelap di laboratorium untuk memperebutkan daya komputasi yang berdarah-darah, pada akhirnya adalah mencari jalan keluar.
Dan jalan keluar, terkadang hanyalah sedikit kepercayaan dari pimpinan.
Asalkan ada orang dari atas yang bersabda, saya berharap kamu memiliki kuota daya komputasi yang layak untuk mengerjakannya dengan keras. Ini sudah cukup.
Sekali pintu dibuka, tidak bisa dikendalikan lagi.
Reinforcement learning mulai dari titik ini, melampaui beberapa orde besaran.
Kemudian o1 menetas keluar, jalan reasoning model yang pernah dihukum mati oleh banyak orang, berhasil dia jalani.
Seratus Ribu Dolar, Menyamai Seorang Ahli
Dan kali ini, dia tidak perlu menunggu siapa pun yang bersabda lagi.
Tautan paling mahal di seluruh rantai, adalah menerjemahkan ide abstrak menjadi kode yang benar-benar bisa dijalankan. Dan ini justru adalah pekerjaan yang paling cemerlang dilakukan oleh Agent saat ini.
Misalnya, Core Automation pernah menggunakan taktik ini untuk menggerogoti inti GPU.
Secara spesifik, mereka melemparkan kernel dekomposisi QR ke programming Agent selama empat minggu, membakar biaya panggilan sekitar seratus ribu dolar, pada akhirnya kecepatan kernel ini didorong menjadi enam puluh kali lipat dari sebelumnya.
Pekerjaan ini termasuk rekayasa kinerja tingkat rendah, mengutak-atik bagaimana sebuah operasi matriks berjalan lebih cepat di kartu grafis, biasanya harus disesuaikan baris demi baris oleh sedikit ahli.
Dan ahli seperti ini, di seluruh dunia juga tidak banyak.
Sekarang seratus ribu dolar bisa menyamai seorang ahli. Dia tidak perlu dibujuk, juga tidak memerlukan waktu tiga sampai enam bulan.
Gerbang yang tersumbat selama tujuh tahun, terbuka dengan cara ini.
Lalu Apa Lagi yang Bisa Kita Lakukan Nanti?
Bahkan arsitektur yang paling sulit digerogoti pun sudah mulai goyah, berarti kemudi di tangan beberapa puluh orang itu, tidak akan bertahan lama lagi.
Di akhir wawancara, host menanyakan hal ini dengan jelas padanya, ketika hari ini benar-benar tiba, apa lagi yang bisa dilakukan manusia.
Untuk ini, Tworek menggambarkan dua gambaran.
Gambar pertama adalah Yunani Kuno.
Semua orang bertemu di alun-alun, ngobrol santai sepanjang hari tentang filsafat, lalu pergi berolahraga, makan zaitun, minum anggur.
Dia sendiri tertawa setelah menggambarkannya, mengakui ini mungkin hanya proyeksi keinginannya sendiri.
"Kami bertemu di alun-alun, lalu ngobrol." Ucapannya yang asli saat menggambarkan kehidupan sehari-hari manusia era pasca-AGI, dia sendiri tertawa setelah mengatakannya
Gambar kedua adalah SMA, atau kuliah.
Dia merasa manusia harus mempertahankan pencarian terhadap "keunggulan" itu sendiri. Terus belajar hal baru dengan rakus, melatih tubuh dan otak sampai mati-matian.
Ini agak mirip olahraga profesional, tidak ada alasan ekonomi apa pun yang memaksa kamu berkeringat darah, tapi kebanggaan dalam hati manusia, adalah untuk meraih sesuatu yang disebut "kehebatan".
Kita harus menemukan berbagai cara untuk melakukan hal ini.
Karena di dunia berikutnya, tidak akan ada lagi hal-hal seperti "jika kamu tidak melakukannya, dunia akan runtuh". Dunia akan terus berjalan sendiri di atas infrastruktur yang sudah kita bangun.
"Kita harus terus belajar." Dia mengatakan hal ini seperti kewajiban, bukan hiburan
Kemudian dia dengan tenang membuka kartunya.
Kita harus bekerja, dunia ini baru bisa berputar. Asumsi ini, sama sekali tidak perlu ada.
"Banyak orang mendapatkan nilai diri dari pekerjaan." Dia mengakui ini adalah hambatan paling sulit untuk dilewati, termasuk bagi dirinya sendiri
Dia Sendiri Juga Ada di Daftar Ini
Jujur saja, setelah mendengarkan semuanya, yang paling membuat hati merinding bukanlah angka dua tahun itu.
Adalah dia sendiri juga tahu, dia sedang menginjak gas pada hitungan mundur ini.
Hal yang ingin dia ciptakan itu, definisinya adalah bisa belajar sendiri, menjadi kuat sendiri, tidak perlu lagi orang menjaga di sampingnya untuk memberi makan. Jika berhasil, posisi beberapa puluh orang itu akan hilang lebih cepat.
Dan dia masih memiliki satu kalimat yang lebih keras, yang pertama menghakimi dirinya sendiri.
Jika kamu bukan laboratorium yang cadangan daya komputasinya paling menakutkan, yang paling besar skala, kamu akan mati dengan susah payah.
Saat mengatakan ini, Core Automation baru berumur empat bulan, pendapatan di buku besar adalah nol.
Dia bilang sejak memulai usaha, hampir setiap minggu ada orang yang datang dan berkata padanya, Jare, sudah terlambat, tangga ke langit itu sudah lama ditarik ke atas.
Tanggapannya hanya satu kalimat mantra mereka sendiri.
Orang di perusahaan kami paling suka mengatakan, semua adalah masalah skill.
Diterjemahkan, jika gagal sampai akhir jangan salahkan lingkungan, semua salah sendiri karena keterampilanmu terlalu payah.
Hei, jangan bilang, kalimat ini di dalam wawancara ini, benar-benar ada rasanya itu.
Sekali lagi melihat ke belakang lelucon populer di awal itu.
Kita hanya tinggal beberapa hari kerja lagi, selagi masih bisa bekerja, kerjakanlah cepat-cepat.
Apakah nada suara itu adalah kegembiraan, atau kesedihan? Kita tidak bisa mengetahuinya.
Karena bagi orang yang mengatakan itu, kedua emosi itu sebenarnya adalah satu hal yang sama.
Tworek berkata, irama di bidang ini sangat menguras tenaga, setelah bekerja selama bertahun-tahun, benar-benar sangat sangat lelah.
"Tapi jika kita benar-benar percaya, ini adalah periode terpenting dalam seluruh karier kita."
"Kurasa, sangat berharga, bukan?"
Referensi:
https://x.com/MTSlive/status/2092387349623935322
Artikel ini berasal dari akun WeChat "新智元", penulis: ASI启示录, editor: 摩西
