Ilmuwan Kepala OpenAI sebelumnya Ilya kira-kira adalah perwakilan khas dari "sang legenda telah tiada di dunia, tetapi dunia dipenuhi cerita tentangnya".
Dia yang menciptakan era pembelajaran mendalam, telah meninggalkan OpenAI lebih dari dua tahun. Perusahaan yang dia dirikan, SSI, tidak merilis model, tidak membuat produk, hampir menghilang dari panggung.
Namun, komunitas AI masih terus mempertanyakan hal yang sama setiap beberapa saat: Apa yang sedang dilakukan Ilya?
Sekarang, pertanyaan itu tiba-tiba memiliki jawaban.
Baru saja, pengguna X "Tiga Strawberi" membocorkan bahwa SSI sedang mengeksplorasi sebuah mesin inferensi kecil berbasis TTT (Test-Time Training, pelatihan saat pengujian).
Menurut deskripsinya, model ini akan menggunakan data yang dikhususkan untuk mempelajari "bagaimana cara belajar", kemudian memperbarui sebagian bobot selama proses penyelesaian masalah.
Bahkan dengan skala model yang tidak besar, sudah cukup untuk bersaing dengan model yang dilatih dengan skala lebih besar.
Lebih lanjut, dia juga menyatakan di kolom komentar bahwa versi saat ini SSI sudah siap, tim sedang memperluas skala versi generasi berikutnya langsung 10 kali lipat.
Yang paling penting adalah, ini mungkin bukan "janji masa depan".
Menurut pernyataannya, versi saat ini kemungkinan besar akan muncul pada Agustus ini, dan awalnya akan dibuka untuk sejumlah kecil pengguna.
Artinya, jika bocoran ini benar. Pedang pertama yang SSI sembunyikan selama dua tahun, mungkin benar-benar akan dihunus.
Setelah berita ini keluar, banyak netizen sudah mencium perubahan arah angin.
Ada yang langsung berseru, ini baru mulai terlihat seperti kecerdasan sejati;
Ada juga yang menilai, selama jalur ini dapat diperluas dengan lancar, perusahaan lain akan sulit mengejar SSI.
Tapi tepat ketika semua orang bersiap menyambut "Ilya sang Raja Kembali", ada kabar lain yang menyebutkan:
Bulan ini mungkin tidak dirilis lagi.
Benar atau palsu, palsu atau benar~
Kali ini, apakah pedang Ilya benar-benar akan dihunus?
Sebuah Pedang yang Mengubah Jurus Saat Digunakan
Jujur saja, setelah Ilya meninggalkan OpenAI dan mendirikan perusahaan sendiri, rumor seputar SSI sudah bertebaran di mana-mana.
Ada yang mempertanyakan kontribusi nyata Ilya dalam sejarah pembelajaran mendalam, ayah sebenarnya GPT adalah Alec Radford;
Ada juga yang mengatakan dia seperti Liang Wenfeng, beralih mempelajari kuantisasi.
Tapi bocoran kali ini bisa meledak dengan cepat, bukan hanya karena tiga kata "Ilya" membawa trafik sendiri.
Tapi karena memang menyentuh beberapa petunjuk yang sudah terbuka, setelah ditelusuri setidaknya ada tiga:
Pertama, pembelajaran berkelanjutan setelah penyebaran, sangat konsisten dengan pandangan yang diungkapkan Ilya dalam podcast Dwarkesh Patel November lalu.
Saat itu Ilya menyatakan: Dua kata "AGI" dan "pra-pelatihan" telah menyesatkan industri.
Karena manusia tidak dilahirkan dengan kecerdasan umum yang menguasai semua pekerjaan, manusia benar-benar mengandalkan pembelajaran berkelanjutan.
Kecerdasan super yang dia bayangkan, lebih seperti seorang remaja 15 tahun yang sangat cerdas dan haus akan pengetahuan.
Pengetahuannya tidak banyak, tetapi dapat belajar pemrograman, kedokteran, dan berbagai pekerjaan setelah penyebaran, terus tumbuh dalam setiap percobaan.
Menurut Ilya, yang akan dibangun SSI bukanlah mesin yang mengetahui segalanya saat keluar pabrik (setelah pra-pelatihan selesai), tetapi sebuah pikiran yang mampu mempelajari pekerjaan apa pun.
Tujuan ini memiliki warna meta-learning yang jelas: apa yang perlu dikuasai model bukan hanya keterampilan tertentu, tetapi juga metode untuk mempelajari keterampilan baru.
Ilya meskipun saat itu tidak menyebutkan TTT, tetapi mereka menunjuk pada masalah yang sama:
Bisakah model terus mengubah dirinya sendiri setelah penyebaran?
Petunjuk kedua berasal dari Nvidia.
Pada 27 Juli tahun ini, Nvidia dan SSI mengumumkan kerja sama strategis jangka panjang, sekaligus berinvestasi di SSI, dan menyediakan sistem Vera Rubin generasi berikutnya untuknya.
Daya komputasi SSI akan bertambah satu tingkat besaran, yaitu sekitar 10 kali lipat, dan menurut bocoran Reuters, jumlah investasinya mencapai 50 miliar dolar.
Kuncinya, uang dan GPU bukan bagian terpenting.
Nvidia secara khusus menulis dalam pengumumannya, selama dua tahun terakhir SSI diam-diam memajukan sebuah jalur penelitian baru.
Setelah Nvidia jarang mengakses penelitian yang sangat rahasia ini, mereka memutuskan untuk mendorongnya ke tahap berikutnya.
Dengan kata lain, Huang sudah memeriksa kartunya. Tentang apa kartu itu, dia tidak mengatakan.
Pernyataan Ilya sendiri juga menarik: Sudah waktunya memperluas SSI!
Kalau begitu... perluasan skala ini, sangat menarik.
Ilya, apa yang sebenarnya kamu lihat dengan kedua matamu ini?
Petunjuk ketiga, adalah kemajuan TTT sendiri dalam dua tahun terakhir.
Belakangan ini, semakin banyak peneliti mulai mencoba melewati jalur "memperluas konteks terus-menerus", mencari paradigma yang lebih dekat dengan pembelajaran berkelanjutan.
Alasannya juga sederhana. Karena manusia tidak belajar dengan membuat contekan semakin panjang, apalagi seperti tokoh utama dalam "Memento", menato setiap hal yang ditemui di tubuhnya.
Setelah mengalami sesuatu, otak akan menyesuaikan koneksi internalnya. Ketika menghadapi masalah serupa lagi, manusia bukanlah dirinya yang sebelumnya, ini juga tempat yang benar-benar menarik dari jalur TTT ini.
Secara singkat, TTT (Test-Time Training) adalah pelatihan saat pengujian, membuat model tidak lagi benar-benar memisahkan "pelatihan" dan "inferensi", tetapi saat benar-benar menyelesaikan masalah, menggunakan data di depan mata untuk terus melatih dirinya sendiri, kemudian berdasarkan kesalahan antara hasil prediksi dan target, menyesuaikan keadaan internal, bahkan langsung memperbarui sebagian parameter.
Dalam bocorannya, "Tiga Strawberi" juga secara khusus menyebutkan sebuah makalah terkait——
End-to-End Test-Time Training for Long Context.
Secara singkat, makalah ini memahami kembali masalah konteks panjang sebagai masalah pembelajaran berkelanjutan.
Model konteks panjang tradisional akan menyimpan teks sebelumnya dalam jendela konteks, setiap kali menghasilkan konten baru, akan mencari kembali informasi yang dibutuhkan.
TTT-E2E yang diusulkan makalah ini menggunakan seluruh konteks sebagai data pelatihan, membuat model terus melakukan prediksi Token berikutnya selama membaca, dan memasukkan informasi yang dibaca ke dalam bobotnya sendiri.
Dengan demikian, konteks tidak lagi hanya menjadi contekan yang dapat dibuka kapan saja, tetapi mulai menjadi bahan pembelajaran yang benar-benar mengubah model itu sendiri.
Dan perlu ditambahkan bahwa TTT pada dasarnya berbeda dengan Agent Harness, Context Engineering yang baru-baru ini populer.
Keduanya mengandalkan konteks eksternal untuk membangun perancah, membuat model melihat lebih banyak informasi, menggunakan lebih banyak alat, tetapi model itu sendiri tidak berubah.
TTT selangkah lebih maju, tidak hanya membuat model melihat lebih banyak, menggunakan lebih banyak, tetapi membuat model langsung mengubah dirinya sendiri selama proses menyelesaikan masalah.
Kalau begitu, pertanyaannya muncul kembali.
Mengingat TTT bukanlah hal baru, dan sangat hebat, mengapa tidak digunakan lebih awal? Alasannya juga tidak sulit ditebak:
Karena begitu model dapat memodifikasi dirinya sendiri setelah penyebaran, mungkin belajar salah, menyimpang, bahkan melupakan kemampuan aslinya.
Pada 2016, chatbot Microsoft Tay tidak sampai 24 jam online, sudah mulai mengeluarkan konten ofensif di bawah pengaruh netizen, akhirnya diturunkan darurat.
Tay dan TTT bukan teknologi yang sama, tetapi sangat awal mengungkapkan tantangan yang sama:
Keamanan.
Jadi, secara alami ada netizen yang menanyakan masalah ini, kemudian Tiga Strawberi menyatakan Ilya sudah menyelesaikannya.
Tentu saja, pernyataan ini jauh dari bukti, bahkan lebih seperti desas-desus ringan di dunia maya.
Tapi kebetulan, ini kembali ke huruf S dalam nama SSI (Safe Superintelligence):
Safe (Aman).
Jika Ilya benar-benar ingin menciptakan kecerdasan super yang terus tumbuh setelah penyebaran, maka "membuatnya belajar cara belajar" sebenarnya hanya menyelesaikan setengah masalah.
Setengah sisanya bahkan lebih sulit: membuatnya tahu, apa yang tidak boleh dipelajari.
Mengapa Semua Orang Menunggunya
Sampai di sini, masih ada satu pertanyaan terakhir:
Mengapa sebuah bocoran anonim yang bahkan keasliannya tidak dapat dikonfirmasi, bisa membuat begitu banyak orang bersemangat?
Hanya karena orang yang berdiri di balik pintu gerbang itu, adalah Ilya Sutskever.
Dia adalah pendiri bersama OpenAI, mantan ilmuwan kepala, juga salah satu peneliti pembelajaran mendalam paling berpengaruh dalam sepuluh tahun terakhir.
Dari AlexNet, Sequence-to-Sequence, AlphaGo hingga seri GPT, semuanya dapat dilihat namanya.
Nvidia dalam pengumuman kerja sama ini juga secara khusus menyebutkan, Ilya kemudian juga memimpin penelitian yang akhirnya mengarah ke model inferensi seperti OpenAI o1.
Dengan kata lain, hal yang paling menakutkan tentang dirinya bukanlah banyak merilis model.
Tapi dalam kariernya, beberapa kali sebelum rute teknologi benar-benar menjadi konsensus, dia sudah berdiri di jalan itu.
Karena itu juga, setelah meninggalkan OpenAI pada Mei 2024, langkah berikutnya yang akan dilakukan Ilya, selalu menjadi salah satu misteri terbesar di komunitas AI.
Dan SSI yang didirikan sebulan setelah kepergiannya, bahkan mengukir misteri dalam tulangnya.
Selain target kecerdasan super yang aman, selama dua tahun berikutnya, SSI tidak merilis model, tidak membuat produk, tidak mempublikasikan makalah, bahkan tidak diketahui apa yang sebenarnya mereka teliti.
Ilya meskipun sesekali muncul, hanya berulang kali membahas generalisasi, pembelajaran berkelanjutan, serta era pra-pelatihan mungkin sedang menuju akhir.
Hingga Juli tahun ini, setelah Nvidia melihat penelitian SSI yang sangat rahasia memutuskan untuk menambah taruhan, dan membantu meningkatkan daya komputasinya satu tingkat besaran, SSI baru kembali ke perhatian publik.
Dengan demikian, kita melihat bocoran TTT hari ini, rasanya berbeda.
Ilya selalu mengatakan, kecerdasan super sejati harus mampu terus belajar setelah penyebaran;
Sekarang ada orang yang membocorkan, SSI sedang membuat model yang akan terus memperbarui dirinya sendiri selama proses inferensi.
Tentu, masih belum ada bukti nyata. Tapi jika kedua garis ini akhirnya benar-benar cocok——
Maka yang diasah Ilya selama dua tahun tertutup, mungkin benar-benar bukan GPT yang lebih besar lagi.
Tapi sebuah pedang yang akan mengubah jurusnya sendiri saat dihunus.
Bersiaplah!
Tautan referensi[1]https://x.com/i/trending/2087551605553901958[2]https://www.youtube.com/watch?v=aR20FWCCjAs
Artikel ini dari akun WeChat publik "Quantum Bit", penulis: Perhatian pada teknologi depan
