Dalam wawancara terbaru, Sam Altman memberikan penilaian yang langka:
"Dia mungkin adalah peneliti terpenting dalam sejarah AI, tapi tidak terlalu dikenal publik."
Orang itu adalah Alec Radford, sang "Bapak GPT" yang sebenarnya.
Kamu mungkin belum pernah mendengar namanya, tapi kemungkinan besar pernah menggunakan ciptaannya.
Dia adalah penulis pertama (first author) di makalah GPT-1, GPT-2, CLIP, dan Whisper.
Selain itu, dia juga terlibat dalam serangkaian pekerjaan kunci seperti GPT-3, DALL·E, Scaling Law, GPT-4, dan GPT-4o.
Anehnya, meski memiliki rekam jejak yang hampir merentangi setiap perubahan kunci dalam model besar, dia tidak memiliki gelar doktor dan sangat jarang menerima wawancara.
Saat ChatGPT meraih popularitas global, nyaris tidak ada sorotan yang menimpanya.
Tapi jika menelusuri makalah AI satu dekade terakhir, akan ditemukan fenomena yang lebih aneh:
Setiap kali model mulai memperoleh kemampuan umum yang sebelumnya tidak dimiliki, nama Alec Radford, seringkali sudah lebih dulu muncul di kolom penulis.
OpenAI Benar-benar Lepas Landas, Sejak Merekrut Alec
Dalam episode terbaru podcast "Invest Like The Best", pembawa acara bertanya kepada Sam Altman:
"Dalam perjalanan perusahaan ini, siapa pahlawan di belakang layar yang paling Anda kagumi?"
Sam Altman langsung menjawab, Alec Radford.
Pekerjaan yang dilakukan Alec, kemudian benar-benar berkembang menjadi seri GPT.
Selain itu, dia juga terus menginspirasi dan mengarahkan orang-orang di sekitarnya, mendorong penelitian ke arah-arah yang kemudian terbukti sangat penting.
Majalah Wired juga pernah memberikan penilaian yang sangat berbobot:
Kebangkitan OpenAI, benar-benar dimulai ketika mereka merekrut Alec Radford yang saat itu masih belum dikenal.
Pada 2016, Alec bergabung dengan OpenAI. Saat itu usianya baru 23 tahun.
Dia masih seorang pemuda yang makan pizza nanas-bawang di tengah malam, ikut kompetisi Kaggle bersama teman sekelas, dan mendirikan perusahaan AI kecil bernama Indico di asrama Boston.
Setelah menerima undangan bergabung dengan OpenAI, Alec tidak merasa terlalu penting, malah merasa pekerjaan ini "agak mirip kuliah pascasarjana".
Tidak banyak tekanan jangka pendek, juga tidak ada produk yang harus segera diselesaikan. Dia bebas mencari sebuah pertanyaan yang saat itu belum diketahui jawabannya: Apa sebenarnya yang bisa dilakukan oleh model bahasa?
Percobaan pertamanya adalah melatih model bahasa dengan 2 miliar komentar Reddit. Skala datanya tidak kecil, tapi hasilnya kurang berguna.
Eksperimen ini, seperti banyak eksplorasi awal OpenAI lainnya, gagal.
Tapi OpenAI membiarkannya terus bekerja. Greg Brockman, yang saat itu menjabat CTO, mengenang:
"Kami saat itu merasa, Alec sangat hebat, biarkan dia melakukan apa yang ingin dia lakukan."
Dengan demikian, pemuda ini bisa melanjutkan eksperimennya. Namun, dia segera terbentur keterbatasan daya komputasi OpenAI.
Karena tidak bisa menjalankan eksperimen yang lebih besar, Alec pun mempersempit ruang lingkup. Dia mengumpulkan sekitar 100 juta ulasan produk Amazon, dan meminta model melakukan hal yang sederhana hingga hampir membosankan: memprediksi karakter berikutnya berdasarkan teks sebelumnya.
Dalam proses ini, sebuah kejutan tak terduga muncul.
Meski tidak ada yang mengajari model apa itu ulasan positif dan negatif, ada sebuah neuron di dalam model yang mulai aktif membedakan sentimen positif dan negatif dari ulasan.
Saat diarahkan ke satu sisi, model lebih mudah menghasilkan ulasan positif; saat diarahkan ke sisi lain, ia mulai mengkritik produk.
OpenAI kemudian menyebutnya "unsupervised sentiment neuron" (neuron sentimen tanpa pengawasan).
Eksperimen ini untuk pertama kalinya memberikan jawaban yang sebenarnya dicari Alec:
Saat model diminta menyelesaikan tugas prediksi pada data yang cukup banyak, ia mungkin mempelajari sendiri beberapa kemampuan yang tidak pernah ditulis secara eksplisit dalam target pelatihan.
Ilya Sutskever bahkan mendorongnya untuk keluar dari ulasan Amazon, dan membiarkan model mempelajari teks dengan skala lebih besar dan lebih beragam, bahkan seluruh internet.
Masalahnya, dengan arsitektur jaringan saraf saat itu, memproses data sebesar itu mungkin memerlukan waktu bertahun-tahun.
Tapi tak lama kemudian, OpenAI mendapat keberuntungan. Karena pada 2017, makalah Google yang mengubah perjalanan AI, "Attention Is All You Need", muncul ke permukaan.
Ilya langsung tertarik pada arsitektur Transformer. Reaksi pertamanya: "Inilah yang selama ini kita tunggu!"
Alec segera menghubungkan Transformer dengan jalur eksperimen sebelumnya. Dia mengambil dataset BooksCorpus, yang berisi lebih dari 7000 buku berbahasa Inggris yang belum diterbitkan secara resmi, dengan tema yang mencakup cinta, petualangan, dan fantasi.
Dibandingkan dengan banyak dataset yang kalimat-kalimatnya terpencar, buku-buku ini mempertahankan narasi berkelanjutan yang panjang, lebih cocok untuk model mempelajari hubungan jarak jauh antara konteks.
Dia tidak menggunakan Transformer untuk terjemahan mesin seperti yang dilakukan Google, melainkan memakainya untuk memprediksi kata berikutnya yang paling mungkin muncul.
Mesin pun bereaksi: satu kata, diikuti kata lain, dan kata lain lagi — setiap kata baru disimpulkan dari pola tersembunyi di dalam tujuh ribu buku itu.
Bagi Alec, "Kemajuan yang dicapai dalam dua minggu ini, lebih banyak daripada dua tahun sebelumnya digabungkan". Rangkaian eksperimen ini akhirnya menjadi dasar pra-pelatihan untuk GPT-1.
Dia dan rekan-rekannya mulai membicarakan arah bernama "Big Transformer": jangan mendesain lebih banyak aturan rumit untuk model, langsung besarkan skala model, data, dan komputasi, lihat apa lagi yang bisa dipelajarinya.
Pada 2018, jalur ini mendapat nama resmi:
Generative Pre-trained Transformer, disingkat GPT.
Makalah GPT pertama memiliki empat penulis, dan yang berada di posisi pertama adalah Alec Radford.
GPT-1 tidak langsung menggemparkan dunia, tapi ia memberi OpenAI sesuatu yang lebih penting: arah.
Setelah Alec meraih terobosan, manajemen OpenAI membuat serangkaian keputusan kunci. Mereka mulai menarik sumber daya penelitian dari proyek-proyek tersebar seperti robotika, dan memusatkannya pada model bahasa.
Daripada terus mendesain struktur baru yang rumit, tim lebih memilih mengumpulkan lebih banyak data, menginvestasikan lebih banyak daya komputasi, dan terus memperbesar metode yang sudah menunjukkan potensi.
Setahun kemudian, GPT-2 dirilis.
Parameter model meningkat dari 117 juta di GPT-1 menjadi 1,5 miliar, dan data latihannya juga berkembang dari 7000 buku menjadi sekitar 8 juta halaman web.
Makalah GPT-2 memiliki 6 penulis, Alec masih berada di posisi pertama, bersama Jeffrey Wu sebagai penulis pertama bersama.
Kali ini, model tidak perlu dilatih ulang untuk setiap tugas. Hanya dengan memprediksi kata berikutnya, ia sudah bisa mencoba terjemahan, tanya jawab, dan ringkasan, bahkan mencapai hasil yang cukup baik dalam beberapa tes zero-shot.
Awal 2020, OpenAI menulis hubungan ini ke dalam makalah "Scaling Laws for Neural Language Models".
Alec juga termasuk dalam 10 penulisnya. Penilaian yang sebelumnya mengandalkan akumulasi eksperimen satu per satu, mulai dideskripsikan menjadi hukum matematika yang dapat diprediksi.
Pada Mei tahun yang sama, OpenAI memperbesar model lebih lanjut hingga 175 miliar parameter, dan membuat GPT-3.
Saat itu, jumlah penulis makalah telah meningkat dari 4 orang di GPT-1 menjadi 31 orang.
Penulis pertama menjadi Tom Brown, Alec berada di posisi ke-29, hanya berada di atas Ilya Sutskever dan Dario Amodei.
Perubahan posisi penandatanganan ini juga mengisyaratkan perubahan sifat proyek GPT.
Itu bukan lagi eksperimen kecil yang dipimpin oleh Alec, melainkan proyek besar yang diselesaikan bersama oleh penelitian, teknik, dan daya komputasi OpenAI.
Jalur yang pertama kali didorong oleh Alec telah menjadi strategi teknis terpenting perusahaan ini.
Tapi justru ketika GPT mulai dikenal dunia dan akan memberikan dampak besar, Alec sudah mengalihkan pandangannya ke tempat lain.
Selain Bahasa, Dia Juga Berhasil Bertaruh pada Gambar dan Suara
Setelah rilis GPT-3, Alec kembali ke bidang lamanya: gambar.
Jauh sebelum bergabung dengan OpenAI, karyanya yang paling berpengaruh adalah DCGAN.
Dia, bersama Luke Metz dan Soumith Chintala, memperkenalkan convolutional network ke dalam GAN, menyelesaikan masalah sulitnya melatih model semacam ini dengan stabil.
Mereka juga menemukan, saat model belajar membuat gambar kamar tidur, ia akan membentuk representasi visual tentang tempat tidur, jendela, dan struktur adegan secara mandiri.
Intuisi yang berulang kali muncul dalam penelitian Alec di kemudian hari, saat itu sudah menunjukkan tanda-tandanya:
Selama menemukan tugas pelatihan yang cukup umum, model mungkin belajar sendiri lebih banyak kemampuan dalam proses menyelesaikan tugas tersebut.
Sebenarnya, ada gosip di sini.
Pada 2016, Jensen Huang (Huang Renxun) menunjukkan gambar yang dihasilkan DCGAN di konferensi Nvidia, tapi mengaitkan sebagian besar kreditnya dengan lab Facebook yang dipimpin Yann LeCun saat itu.
Alec dan beberapa rekan duduk di kantor Boston menonton siaran langsung, merasa sangat tersakiti.
Tidak lama kemudian, Alec meninggalkan Boston dan bergabung dengan OpenAI.
Teman Alec, Victoroff, bahkan mengira ketidakpedulian ini adalah salah satu alasan penting Alec memutuskan pergi ke OpenAI.
Beberapa tahun kemudian, dia kembali ke bidang gambar, membawa serta GPT.
Pada 2020, OpenAI merilis Image GPT: membentangkan gambar menjadi rangkaian piksel, lalu seperti memprediksi kata berikutnya, memprediksi piksel berikutnya.
Alec berada di posisi kedua penulis makalah.
Ini membuktikan, GPT tidak secara alami hanya untuk bahasa. Selama data dapat direpresentasikan sebagai urutan, metode yang sama juga dapat digunakan untuk mempelajari gambar.
Hanya saja menghasilkan piksel satu per satu terlalu lambat. Setengah tahun kemudian, DALL·E mengompresi gambar menjadi Token visual, lalu menempatkan teks dan gambar ke dalam urutan Transformer yang sama.
"Kursi berlengan berbentuk alpukat", "Bayi wortel yang sedang berjalan-jalan dengan anjing", kombinasi yang belum pernah ada ini untuk pertama kalinya dilukis oleh model.
Dirilis di hari yang sama dengan DALL·E, adalah CLIP.
Kali ini, Alec kembali ke posisi penulis pertama bersama.
OpenAI mengeluarkan 400 juta pasangan gambar-teks yang dikumpulkan dari internet, meminta model hanya melakukan satu pilihan ganda: teks mana dan gambar mana yang merupakan pasangan?
Tidak ada kategori tetap, juga tidak ada pelatihan khusus untuk setiap tugas.
Akhirnya, CLIP, tanpa menggunakan set pelatihan ImageNet, akurasi pengenalan zero-shot-nya sudah setara dengan ResNet-50 yang dilatih secara supervised lebih awal.
Selain gambar, dia juga mencoba suara.
Jukebox pada 2020 mengompresi audio menjadi kode diskrit, lalu membiarkan Transformer menghasilkan musik seperti menghasilkan teks.
Dua tahun kemudian, jalur yang sama menuju ke Whisper yang lebih praktis.
Alec kembali berada di posisi pertama penulis makalah.
OpenAI mengumpulkan 680 ribu jam audio dan teksnya dari internet, datanya tidak sempurna, tapi mencakup bahasa, aksen, kebisingan, dan skenario penggunaan yang berbeda.
Whisper tidak dioptimalkan khusus untuk suatu peringkat tertentu, tetapi ketika diuji zero-shot pada beberapa dataset dari sumber berbeda, ia menunjukkan kinerja yang lebih stabil, lebih mampu menghadapi aksen, noise latar belakang, dan kosa kata khusus di dunia nyata.
Pekerjaan-pekerjaan ini tampaknya merentangi gambar, bahasa, multimodal, dan suara, tetapi sebenarnya berasal dari penilaian yang sama oleh Alec:
Kurangi peraturan, berikan lebih banyak data dan daya komputasi, kemampuan umum mungkin muncul dengan sendirinya.
Dia tampaknya selalu bisa satu langkah lebih dulu dari konsensus industri, menemukan tugas sederhana berikutnya yang layak diperbesar.
Pria Paling Misterius di OpenAI
Masa lalu gemilang sang bigshot sudah tak terhitung jumlahnya, perkenalan di sini berakhir.
Kembali ke dirinya sendiri, hampir bisa dibilang "pernah" menjadi pria paling misterius di OpenAI.
Dibandingkan dengan pengaruh makalahnya, Alec hampir tidak membangun merek pribadi.
Meski punya akun X dengan 70 ribu pengikut, dia jarang memposting tentang dirinya sendiri, sebagian besar adalah retweet.
Yang masih dipasang di atas, hingga saat ini adalah pesan saat merilis GPT-1 pada 2018.
"Ini yang saya lakukan selama setahun terakhir."
Dia pertama-tama menyebutkan tiga sumber inspirasi: CoVe, ELMo, dan ULMFiT, lalu memperkenalkan hasilnya dengan kalimat yang cukup sederhana:
"Sebuah model bahasa Transformer, hanya dengan sedikit penyesuaian, dapat ditransfer ke berbagai tugas pemrosesan bahasa alami."
Siapa sangka, pekerjaan ini mengisyaratkan era baru yang sama sekali berbeda?
Wawancara panjang publik tentang Alec sangat sedikit; dan situs web pribadinya juga sederhana hingga hampir kosong.
Hanya ada nama, "Latest Posts", dan tombol halaman, hampir tidak ada konten lain.
(Bahkan foto yang digunakan selalu sama, bigshot terlalu rendah hati)
Ini membentuk kontras aneh dengan posisinya di industri.
Publik membicarakan OpenAI dan GPT, yang pertama terpikir adalah Sam Altman dan Ilya Sutskever; tetapi peneliti membicarakan makalah kunci satu dekade terakhir, sulit melewati Alec Radford.
Sam Altman dalam wawancara terbarunya menggambarkan, jika bertanya kepada orang-orang yang pernah bekerja sama dengan Alec, tentu mereka akan berkata:
Ini adalah "jenius yang muncul sekali dalam beberapa dekade", pemikir yang sangat kreatif, memiliki pemahaman yang sangat mendalam tentang penelitiannya sendiri.
Tapi sebelum selesai bicara, setiap orang akan menambahkan kalimat lain:
Dia juga salah satu orang paling baik dan paling baik hati yang pernah mereka ajak bekerja sama.
One More Thing
Tapi, sang "Bapak GPT" dengan penilaian super tinggi ini, dalam penelitian memang cukup tidak biasa...
Pada Desember 2024, Alec meninggalkan OpenAI setelah bekerja hampir sembilan tahun, untuk melakukan penelitian independen.
Tapi ketika semua orang berharap dia membuat GPT berikutnya —
Alec malah membuat "AI kuno".
April tahun ini, dia bersama Nick Levine dan David Duvenaud meluncurkan Talkie.
Ini adalah "model bahasa kuno" dengan 13 miliar parameter, model dasarnya dilatih menggunakan 260 miliar Token.
Korpus pra-pelatihannya memiliki satu aturan keras:
Materi berbahasa Inggris yang diterbitkan setelah 1 Januari 1931, sama sekali tidak boleh dimasukkan!
Jadi, ia telah membaca tentang mesin uap, pesawat terbang, dan Perang Dunia I, tetapi tidak tahu apa yang terjadi kemudian dengan televisi, internet, dan Perang Dunia II.
Apalagi mengetahui Python.
Tapi benda antik ini, setelah peneliti memberinya beberapa contoh program Python, lalu memintanya menyelesaikan soal pemrograman HumanEval.
Ia benar-benar menulis beberapa kode sederhana.
Eksperimen ini benar-benar menguji: seberapa cepat sebuah basis model bahasa yang tidak pernah menyentuh komputer modern, setelah mendapatkan sedikit contoh baru dan pelatihan lanjutan, dapat menyerap keterampilan yang sama sekali asing?
Apa? Jadi ketika seluruh jaringan masih gencar Scaling, mencari cara agar model membaca lebih banyak...
Bapak GPT malah membalikkannya dan "memutuskan internet" selama hampir seratus tahun??
Jika model tidak pernah melihat jawabannya, tetapi masih bisa belajar dan langsung digunakan, apakah itu mengandalkan ingatan, atau pembelajaran?
Entahlah, kali ini sang bigshot, sebenarnya bertaruh pada apa...
Tapi sesuai kebiasaannya, ketika dunia luar akhirnya memahami soal ini, dia sendiri kemungkinan besar sudah beralih mengerjakan soal berikutnya~
Referensi:
[1]https://x.com/InvestLikeBest/status/2086849947119333878?s=20
[2]https://www.wired.com/story/what-openai-really-wants/
[3]https://www.bostonglobe.com/2023/06/10/business/how-couple-olin-college-students-helped-spark-ai-chatbot-revolution/
[4]https://www.newyorker.com/books/under-review/can-sam-altman-be-trusted-with-the-future
Artikel ini berasal dari akun WeChat publik "量子位", penulis: 关注前沿科技
