【Intisari New Zhiyuan】 Makalah paling berbahaya tahun ini telah diterbitkan! Nvidia memecahkan segel 20 tahun, membiarkan AI menciptakan 'penguji' yang lebih kejam untuk menyaring dirinya sendiri. Begitu evolusi diri tanpa henti dimulai, kedatangan ASI pada 2028 bukanlah lelucon.
Anthropic benar-benar 'RSI terobsesi'!
Pendiri bersama Jack Clark melontarkan prediksi mengejutkan, bahwa pada akhir 2028, sebuah AI yang berevolusi secara mandiri dan sangat otonom akan lahir.
Probabilitasnya adalah 60%!
Saat orang-orang masih memperdebatkan 'Apakah RSI 2028 dapat diwujudkan', Universitas Cambridge, Nvidia, dan institusi lain bergabung, meluncurkan sebuah makalah penting——
"Red Queen Gödel Machine" (Mesin Gödel Ratu Merah)
Cara kerjanya bagaikan permainan bertahan hidup AI yang kejam:
AI menulis sendiri algoritma pembelajaran baru, dan mengujinya di sandbox. Yang gagal langsung dihapus, yang berhasil dipertahankan.
Kemudian, para penyintas memulai evolusi dan reproduksi diri mereka di babak berikutnya.
Alamat makalah: https://arxiv.org/pdf/2606.26294
Tapi yang benar-benar membuat bulu kuduk merinding adalah 'pencerahan' yang kemudian ditunjukkan AI: Ia menyadari bahwa untuk terus menjadi lebih kuat, ia harus menghadapi ujian yang lebih ketat.
Jadi, AI mulai secara aktif 'mengevolusikan' pengujinya sendiri.
Ia menciptakan dengan tangannya sendiri wasit yang lebih ketat, untuk menilai kode yang lebih maju yang ia tulis.
Mekanisme ini mengunci AI dalam RSI yang tak berujung dan gila, berulang-ulang secara mandiri.
Setelah membaca 37 halaman makalah ini, banyak orang menarik napas dalam-dalam, "Ini pasti makalah AI paling berbahaya tahun ini!"
RSI 2028 Berevolusi Mandiri
Mengubah Ramalan Menjadi Kode
Pada tahun 2003, ilmuwan Jerman Jürgen Schmidhuber pernah membayangkan sebuah mesin bernama "Gödel Machine".
Pengaturannya hampir sempurna: sebuah mesin yang dapat membuktikan bahwa perbaikannya menguntungkan, lalu menulis ulang kodenya sendiri.
Begitu dibuat, ia dapat terus meningkatkan dirinya sendiri, semakin kuat tanpa batas atas.
Namun, 'Gödel Machine' memiliki 'ambang batas' yang fatal——
Sebelum mengeksekusi baris kode modifikasi diri apa pun, ia harus terlebih dahulu secara matematis membuktikan dengan ketat: bahwa perubahan ini pasti menguntungkan.
Tapi dalam kenyataan, ini hampir merupakan tugas yang mustahil, daya komputasi yang dibutuhkan bisa disebut 'lubang hitam'.
Jadi, selama 20 tahun penuh setelahnya, Gödel Machine hanya bisa terbaring di dalam makalah, menjadi langit-langit teoretis, eksperimen pikiran yang tak terjangkau siapa pun.
Beberapa tahun terakhir, dunia akademik menghindari hambatan pembuktian ini.
Darwin Gödel Machine (DGM) dan Huxley Gödel Machine (HGM) sama sekali meninggalkan pembuktian matematis, beralih menggunakan evolusi——
Membiarkan AI 'bereproduksi' menghasilkan banyak varian kode dengan mutasi, melemparkannya ke dalam sandbox untuk dijalankan dan dinilai, yang gagal dieliminasi, yang berhasil dipertahankan, dan para penyintas melanjutkan reproduksi.
AI melangkahi langkah terakhir, mulai secara harfiah 'berevolusi' sendiri.
Tapi semua metode ini masih memiliki satu titik buta yang sama—penguji mereka mati.
Tidak peduli bagaimana AI berevolusi, standar penilaian, benchmark, validator yang memberikannya nilai, selalu terpaku di luar loop, tidak bergerak sama sekali.
Ini justru melanggar salah satu hukum inti evolusi:
Spesies tidak pernah mengoptimalkan diri dalam lingkungan yang diam, tetapi berubah bersama lingkungan yang terus berubah.
Red Queen Gödel Machine (RQGM), bertujuan untuk memecahkan titik buta ini.
Jurus Pembunuh Sejati 'Ratu Merah': Membiarkan AI Menciptakan Penguji
Nama 'Ratu Merah' berasal dari 'Hipotesis Ratu Merah' yang diusulkan oleh ahli biologi Van Valen pada 1973——
Anda harus berlari sekuat tenaga, hanya untuk tetap berada di tempat, karena lawan Anda juga berevolusi.
Apa yang dilakukan RQGM, adalah menuliskan kalimat ini menjadi algoritma: membiarkan penguji (evaluator) dan peserta (agen tugas) berevolusi bersama.
Ini adalah bagian paling membuat bulu kuduk merinding di seluruh makalah.
Mekanisme yang canggih ini disebut 'controlled utility evolution' (evolusi utilitas terkontrol):
Seluruh pencarian dipotong menjadi beberapa epoch;
Di dalam setiap epoch, evaluator (penguji) dibekukan, memberi nilai pada semua peserta, memastikan sinyal stabil;
Hanya di batas epoch, penguji baru diizinkan diganti, dan penguji baru harus mengalahkan penguji lama secara statistik pada data 'anchor kebenaran dasar' yang disisihkan, baru bisa naik jabatan;
Begitu berganti, sistem segera menjalankan 'selective erasure': hanya membuang nilai yang diberikan oleh penguji yang diganti, semua bukti lainnya dipertahankan seluruhnya.
Dengan kata lain, ia harus ber-evolusi dengan cepat, tetapi setiap langkahnya harus dapat dipertanggungjawabkan.
Benar-benar Berhasil, AI Mengubah Kodenya Sendiri
Hanya membicarakan mekanisme terlalu abstrak, lebih baik langsung melihat prestasinya.
Pertempuran pertama, menulis kode (Polyglot).
RQGM memberi Agen penulis kode seorang 'pengulas kode' sebagai partner latihan.
Hasilnya, pada kumpulan tes yang disisihkan, tingkat kelulusan meningkat dari 69.9% SOTA sebelumnya menjadi 71.7%.
Yang lebih hebat lagi, ia mencapai skor ini dengan membakar token 1.35 hingga 1.72 kali lebih sedikit daripada lawannya. Karena pengulas itu hanya perlu memeriksa sekali, jauh lebih murah daripada menjalankan tes berulang kali dalam banyak putaran.
Pertempuran kedua, menulis makalah ilmiah.
Ini adalah bidang tanpa jawaban standar, kualitas makalah tidak bisa dinilai secara otomatis oleh mesin.
RQGM membiarkan penulis dan pengulasnya berevolusi bersama, hasilnya tingkat penerimaan makalah oleh panel pengulas tetap, melonjak dari 21.8% SOTA sebelumnya menjadi 40.5%.
Pertempuran ketiga, pembuktian matematika tingkat Olimpiade.
Grader yang di-evolusikannya, lebih akurat daripada baseline statis, dan biaya pencariannya 3 kali lebih rendah;
Peserta pembuktian yang di-evolusikan, meraih nilai rata-rata tertinggi.
Tapi goresan paling legendaris di seluruh makalah adalah menyembuhkan kebiasaan lama AI. LLM sebagai wasit, memiliki kelemahan terkenal: menyukai konten yang dihasilkan AI.
Probabilitas penerimaan makalah yang ditulis AI oleh pengulas baseline terkuat dalam makalah itu, 1.91 kali lebih tinggi daripada penerimaan makalah manusia tertinggi.
Bagaimana RQGM mengobatinya? Di batas epoch, ia mengambil makalah AI yang sebelumnya lolos oleh pengulas tetap, membentuk 'kumpulan sampel adversarial', lalu secara khusus memberi penghargaan kepada pengulas baru yang mampu menyaring dan menolak makalah AI ini.
Setelah beberapa putaran evolusi, pengulas akhir memperlakukan AI dan manusia secara setara, dan tetap mempertahankan akurasi kebenaran 80%.
Saat AI Belajar Menilai Dirinya Sendiri
Di musim panas yang sama, pendiri bersama Anthropic Jack Clark memasang taruhan besar: probabilitas 60%, sebelum akhir 2028, AI akan mampu menciptakan dengan tangannya sendiri versi dirinya yang lebih kuat.
Tembok tinggi yang mengurung 'Gödel Machine' selama 20 tahun itu, bernama 'pembuktian'.
Dan 'Red Queen Machine' membangunkannya, hanya dengan satu jurus paling kejam: reproduksi, eliminasi, dan reproduksi lagi tanpa henti.
Saat sebuah AI mulai mendesain sendiri penguji paling ketat untuk dirinya sendiri, mendorong dirinya ke batas dalam rekursi yang gila, apa yang kita hadapi akan menjadi spesies baru yang mulai mendefinisikan sendiri 'apa itu kecerdasan'.
Saat hari itu tiba, ASI tidak akan mengetuk pintu untuk mengumumkan.
Ia hanya akan diam-diam menciptakan satu-satunya wasit yang berhak menilainya, lalu, dengan tenang masuk ke ruang ujian.
Ramalan hanya bertugas menunjukkan titik akhir, kodelah yang bertugas mencapainya.
Dan sekarang, jarak yang menyesakkan napas ini, sedang dipersingkat oleh AI sendiri, dalam tingkat pertumbuhan geometris.
Referensi:
https://x.com/HowToPrompt__/status/2070824205663273175?s=20
https://x.com/kimmonismus/status/2070968241548120168
Artikel ini berasal dari akun WeChat "New Zhiyuan", editor: Taozi
