1 Juli sore, sebuah tweet menggemparkan kalangan akademik Silicon Valley.
Jelani Nelson, kepala departemen Ilmu Komputer EECS UC Berkeley dan profesor Ilmu Komputer Teoretis, meletakkan sementara kunci kantornya, dan pergi ke Anthropic.
Dia memposting di X:
Saya telah bergabung dengan Anthropic, dan mengambil cuti dari universitas. Sangat senang bisa bekerja bersama banyak orang berbakat dan memiliki misi, untuk meneliti teknologi penentu zaman kita.
Hanya dua kalimat, namun sarat informasi: orangnya sudah masuk, jabatan akademik dipertahankan, dengan cara cuti. Mengenai posisi, tim, atau arah kerja, tidak disebutkan sama sekali.
Bio Nelson di X telah diperbarui: Anggota Staf Teknis (Member of Technical Staff) Anthropic, menjadi rekan kerja Karpathy yang baru bergabung bulan Mei lalu.
Jelani Nelson, Ketua Departemen Ilmu Komputer, Jurusan Teknik Elektro dan Ilmu Komputer (EECS), University of California, Berkeley
Orang yang memegang tampuk departemen ilmu komputer tier-1 di AS, pergi begitu saja.
Perusahaan AI telah berebut talenta selama tiga tahun, dari bidang teknik ke produk, dari alignment ke multimodal.
Kali ini, tangan mereka meraih puncak menara ilmu komputer teoretis.
Dari MIT sampai Berkeley, Orang yang Membuat "Menghitung" Menjadi Optimal di Dunia
Riwayat hidup Nelson hampir merupakan standar lengkap ilmu komputer teoretis.
Dia belajar HTML secara mandiri di SMP untuk membuat website, belajar pemrograman di SMA, dan saat kuliah membuktikan kemampuannya menulis kode bebas bug tercepat melalui kompetisi.
Menempuh S1, S2, hingga S3 semua di MIT, meraih gelar doktor ilmu komputer tahun 2011, dengan fokus pada algoritma efisien untuk data masif.
Dia menggambarkan daya tarik bidang ini baginya "hampir religius": ini adalah masalah fondasi paling inti dari pemikiran manusia, sekaligus sangat relevan dengan dunia nyata.
Setelah doktor, dia berturut-turut menjadi postdoc di Berkeley, Princeton University, dan Institute for Advanced Study (IAS) Princeton, lalu mengajar di Harvard mulai 2013.
2019, Nelson meninggalkan Harvard, pindah ke UC Berkeley.
Koran Harvard langsung menuliskan penyesalan di judul: kepergiannya meninggalkan kekosongan besar (Big Hole) di departemen komputer.
Di Berkeley, dia seperti ikan mendapat air, langsung menyelami lingkaran teori di Simons Institute for the Theory of Computing.
Musim gugur 2024, Nelson mengambil alih posisi Ketua Departemen Ilmu Komputer EECS, memimpin salah satu departemen CS paling top di dunia.
Fokus penelitiannya adalah algoritma streaming (streaming algorithms), reduksi dimensi (dimensionality reduction), algoritma acak (randomized algorithms).
Diterjemahkan ke bahasa awam, Nelson memikirkan hal serupa: bagaimana menghitung ketika data terlalu besar untuk disimpan.
Beberapa tahun lalu, dia mengincar masalah yang agak mirip soal SD: membuat komputer belajar menghitung.
Ini terlihat sederhana, tetapi ketika angkanya begitu besar hingga ponsel dan server tidak bisa mengingat "sudah menghitung sampai mana", biaya penyimpanan dan kecepatan menjadi tak terkendali.
Timnya memberikan formula matematika, membuktikan bahwa algoritma apa pun yang memecahkan masalah ini setidaknya membutuhkan memori sebanyak ini.
Makalah tim Nelson, membuktikan batas bawah memori untuk masalah perkiraan penghitungan. https://arxiv.org/pdf/2010.02116
Insinyur membuat program berjalan lebih cepat, Nelson membuktikan seberapa cepat program bisa berjalan maksimal. Inilah pekerjaan ilmuwan komputer teoretis: menetapkan batas bawah fisik bagi komputasi.
Kontribusi Nelson di kalangan akademik jauh lebih dari sekadar "menghitung".
Pertama, bersama Kasper Green Larsen, membuktikan optimalitas Johnson-Lindenstrauss lemma.
Ini adalah batu fondasi di bidang reduksi dimensi, batas bawah teoretis ditancapkan olehnya. Sebelumnya, bersama Daniel Kane, dia juga mengusulkan sparse JL transform.
Kedua, bersama Kane dan David Woodruff, memberikan algoritma asimtotik optimal untuk masalah count-distinct (berapa banyak elemen berbeda dalam sebuah aliran data).
Baginya, bahkan hal seperti "menghitung" yang bisa dilakukan semua orang, menyimpan solusi optimal teoretis di baliknya.
Karya-karya ini membawanya segudang penghargaan: Sloan Research Fellowship, Presidential Early Career Award for Scientists and Engineers (PECASE), semuanya diraih.
Di luar akademik, Nelson memiliki sisi lain.
2011, saat masih S3 di MIT, dia pergi ke Ethiopia, mendirikan kamp pemrograman gratis AddisCoder.
Empat belas tahun kemudian, hampir 700 alumni telah lahir dari sini, sebagian masuk Harvard, MIT, Stanford untuk S3.
Kemudian bintang reggae Jamaica Chronixx secara aktif mendatangi dan menyumbang, melahirkan proyek saudari JamCoders.
Kamp pemrograman gratis AddisCoder yang didirikan Nelson tahun 2011, telah melatih hampir 700 peserta. (Sumber: Situs web AddisCoder)
Nelson juga termasuk penentang paling keras reformasi kurikulum matematika California, alasannya sederhana: kakeknya berasal dari keluarga miskin, berkat pendidikan publik yang berkualitas menjadi seorang dokter, mengubah nasib seluruh keluarga.
Oleh karena itu, baginya, mengambil pelajaran matematika ketat dari sekolah umum sama dengan mencabut tangga mobilitas sosial bagi generasi berikutnya.
"Pekerjaan" di luar akademik ini kemudian juga memenangkannya ACM Eugene L. Lawler Award for Humanitarian Contributions within Computer Science and Informatics.
Untuk Apa Anthropic Membutuhkan Seorang Teoretisi?
Apa hubungannya seorang profesor algoritma streaming dengan perusahaan model besar?
Arah penelitian Nelson (algoritma streaming, reduksi dimensi, algoritma acak), sebenarnya mempelajari hal yang sama: bagaimana memproses data terbesar dengan memori dan komputasi paling sedikit.
Di sisi model besar, ini tepatnya hal-hal yang paling boros biaya: efisiensi pelatihan, kompresi data, kompleksitas komputasi.
Ambil JL lemma yang disebutkan tadi yang disempurnakannya. Ini menjawab pertanyaan yang polos hingga mendekati akal sehat: seberapa kecil data dimensi tinggi bisa ditekan tanpa kehilangan informasi.
Pencarian vektor dan kompresi embedding yang berjalan di seluruh dunia saat ini, intuisi dasarnya dibangun di atas lemma ini.
Melatih model mutakhir, pada dasarnya adalah melakukan kompresi dan seleksi pada aliran data angka astronomis; di sisi inferensi, memori GPU, cache, konteks jendela, semuanya bergulat dengan memori dan kompleksitas.
Dan inilah domain masalah yang telah digali Nelson selama dua puluh tahun.
Ketika skala model menabrak batas komputasi dan data, nilai "penghematan" mulai melebihi "penumpukan", pusat gravitasi persaingan AI sedang bergeser dari "model siapa yang lebih kuat" ke "algoritma dasar siapa yang lebih hemat".
Dan perangkat algoritma streaming dan acak ini, secara alami cocok dengan masalah "mendekati solusi optimal dengan sumber daya terbatas", yang kebetulan menyentuh kecemasan bersama semua lab mutakhir saat ini.
Dari sudut pandang ini, Anthropic merekrut seorang ilmuwan komputer teoretis lebih seperti menutup kekurangan: di luar model, teknik, alignment, memperdalam lagi fondasi teori.
Profesor Top Masuk Perusahaan AI, Sekarang Trennya Tidak Mengundurkan Diri
Mengenai bergabung dengan Anthropic, kata-kata asli Nelson adalah "taken leave from the university", cuti dari universitas (leave of absence).
Cuti berbeda dengan mengundurkan diri: jabatan akademik dipertahankan, bisa kembali kapan saja.
Ini adalah sistem matang di dunia akademik AS, profesor meninggalkan kampus untuk sementara waktu dengan atau tanpa gaji, ke industri, berwirausaha, melakukan hal apa pun.
Jalan ini sudah dibuktikan orang sebelumnya.
2017, Fei-Fei Li menggunakan cuti akademik untuk menjabat sebagai Wakil Presiden Google dan Kepala Ilmuwan AI Cloud, kembali ke Stanford dua tahun kemudian.
Kini, pintu putar antara akademisi dan industri berputar semakin cepat, "bergabung dengan cuti" sedang menjadi mode utama.
Bagi akademisi, ini adalah tiket jaminan, apalagi dunia industri memiliki daya komputasi, data, dan masalah nyata yang tidak bisa didapatkan di akademisi.
Bagi perusahaan AI, ini adalah jalur perekrutan dengan gesekan rendah. Yang lebih menguntungkan, merekrut seorang akademisi tidak pernah hanya satu orang, tetapi juga murid-murid, rekan sejawat, dan seluruh jaringan akademik di belakangnya.
Jalur tunggal tradisional "mendapatkan jabatan tetap (tenure), bekerja hingga pensiun" sedang digantikan oleh mode cuti "setengah kaki masuk industri".
Bagi universitas, begitu celah ini terbuka, sulit untuk ditutup.
Usai Merebut Rekan, Raksasa AI Mulai Merebut Universitas
Bulan Juni yang baru lewat, pasar talenta AI gila sampai seberapa?
18 Juni, penulis makalah Transformer, co-lead Gemini, Noam Shazeer mengumumkan meninggalkan Google, ke OpenAI.
Perlu diketahui, Google tahun 2024 baru membelinya dari Character.AI dengan transaksi $2,7 miliar, hasilnya kurang dari dua tahun, orangnya pergi lagi.
19 Juni, peraih Hadiah Nobel Kimia 2024 berkat AlphaFold, John Jumper mengumumkan secara resmi: meninggalkan DeepMind yang dilayaninya hampir sembilan tahun, bergabung dengan Anthropic.
Terikat klausul non-kompetisi eksekutif DeepMind, dia mungkin baru bisa masuk secara resmi tahun depan.
24 Juni, Bloomberg membocorkan: Peneliti inti Gemini Jonas Adler dan Alexander Pritzel juga akan mengikuti bergabung dengan Anthropic. Keduanya adalah kolaborator pekerjaan struktur protein Jumper.
Harga saham Alphabet langsung turun, investor mulai mempertanyakan secara terbuka apakah Google masih bisa mempertahankan orang.
Sampai di sini, medan perang masih di antara perusahaan AI. Tak lama, api perang membakar universitas.
25 Juni, cendekiawan keamanan AI yang mengajar di Berkeley selama 19 tahun, Dawn Song, mengumumkan bergabung dengan Superintelligence Lab Meta, menjabat Wakil Presiden Penelitian AI.
1 Juli, Nelson.
Hanya dua minggu: satu peraih Nobel, dua peneliti inti Gemini, seorang profesor senior, ditambah satu ketua departemen petahana.
Dari antara mereka, Jumper, Adler, Pritzel, Nelson, semuanya mengalir ke Anthropic.
Latar belakang arus talenta gila ini juga tidak sulit ditebak.
OpenAI telah mengajukan dokumen IPO secara rahasia, Anthropic juga diarahkan oleh beberapa sumber mendekati IPO. Bagi peneliti top, masuk sekarang berarti ekuitas sebelum IPO, harga yang tidak bisa diberikan raksasa.
Peran Berkeley dalam migrasi ini sangat mencolok.
Simons Institute for the Theory of Computing terletak di sini, EECS tier-1 AS terletak di sini — tiga jalur teori, sistem pembelajaran mesin, keamanan AI, terus menerus mentransfusikan darah ke Anthropic, OpenAI, DeepMind.
Raksasa AI putaran sebelumnya merebut orang yang bisa melatih model, putaran ini merebut orang yang tahu batas model ada di mana.
Ketika akademisi top membanjiri masuk, perusahaan AI faktanya sedang tumbuh menjadi satu set "sistem institusi penelitian kedua".
Jika teoretisi terbaik semua "cuti" di perusahaan, apa yang tersisa di universitas? Tidak ada yang tahu.
Satu-satunya hal yang pasti adalah, fokus perebutan perlombaan AI telah turun dari kemampuan model ke lapisan fondasi teori algoritma.
Referensi:
https://x.com/minilek/status/2072322757908664728?s=20
https://www2.eecs.berkeley.edu/Faculty/Homepages/minilek.html
https://vcresearch.berkeley.edu/news/jelani-nelson-considers-human-thought-computer-science-tools
https://arxiv.org/pdf/2010.02116
Artikel ini berasal dari akun WeChat "新智元", penulis: ASI启示录
