Algoritma yang Melatih Semua AI, Dijatuhi "Hukuman Mati" oleh AI Sendiri?
Baru-baru ini, dua peneliti dari Universitas Tsinghua dan Wharton School, University of Pennsylvania, mempublikasikan makalah baru yang memberikan kesimpulan yang ditunggu komunitas teori optimasi selama 40 tahun —
Untuk mencapai kecepatan maksimal, gradient descent tidak cukup hanya dengan mengatur ukuran langkah (stepsize).
Ini adalah pertama kalinya dalam sejarah ada yang membuktikan, untuk gradient descent yang hanya mengandalkan desain urutan ukuran langkah, ada batas matematis yang tidak dapat dilewati.
Dan yang menyelesaikan pembuktian intinya bukan manusia, melainkan GPT-5.6 Sol Pro.
GPT-5.6 Menyelesaikan Masalah yang Tak Terjawab Selama 40 Tahun
Ceritanya begini.
Gradient descent semua orang tahu, dari GPT, Stable Diffusion, hingga mobil otonom, semuanya menjalankannya. Kecepatan konvergensi gradient descent standar adalah O(1/T), menjalankan T langkah, kesalahan berkurang sekitar sebesar 1/T.
Tahun 1983, Nesterov menambahkan momentum ke gradient descent, langsung mendorongnya ke O(1/T²). Dengan menjalankan 1000 langkah yang sama, kesalahan berubah dari seperseribu menjadi seperseratus juta, berbeda tiga orde magnitudo. Hingga kini tetap optimal secara teori.
Pertanyaan yang sangat wajar pun muncul: Tanpa momentum, tanpa mengubah struktur, murni dengan merancang ukuran langkah setiap tahap dengan cermat, bisakah mengejar Nesterov?
Pertanyaan ini menggantung selama 40 tahun penuh. Hingga 2023, Altschuler dan Parrilo dari MIT menciptakan silver stepsize.
Urutan ukuran langkah ini tidak menurun bertahap seperti tradisional, tetapi besar-kecil bergantian, membentuk struktur fraktal self-similar. Dengannya, gradient descent didorong ke O(T^{-1.2716}).
Lalu, apakah angka 1.2716 ini adalah titik akhir murni penjadwalan ukuran langkah, atau hanya langkah awal?
Baru-baru ini, sepasang guru-murid keturunan Tionghoa mengambil masalah ini.
Jianhao Ma baru saja bergabung dengan Departemen Teknik Industri Universitas Tsinghua bulan Juli lalu, doktor dari University of Michigan, mendapat posisi akademik setelah menyelesaikan postdoc di UPenn dan kembali ke Tiongkok.
Mentor postdoc-nya, Yuxin Chen, adalah profesor bergelar di Wharton School, doktor Stanford, pindah dari Princeton ke UPenn, pernah memenangkan SIAM Best Paper Prize.
Sebelumnya, semua orang melakukan penambahan, merancang urutan ukuran langkah yang lebih cerdas, melihat kecepatan bisa ditingkatkan seberapa tinggi.
Gagasan Ma dan Chen justru sebaliknya: membuktikan ada sebuah garis yang tidak mungkin dilewati, tidak peduli bagaimana ukuran langkah dirancang.
Mencari satu set ukuran langkah yang bagus, Anda hanya perlu satu contoh yang berhasil. Tetapi membuktikan "semua kemungkinan urutan ukuran langkah tidak bisa" adalah mengatakan "tidak" terhadap tak terhingga banyaknya kemungkinan.
Setelah merenung sejenak, keduanya langsung melempar masalah ini kepada GPT-5.6 Sol Pro, meminta AI mencoba.
Secara spesifik, mereka memberikan dua hal kepada GPT.
Pertama adalah tujuan penelitian: membuktikan penjadwalan ukuran langkah murni tidak dapat mencapai O(1/T²). Yang kedua adalah strategi tingkat tinggi, disebut "resisting oracle" (oracle penentang).
Prinsipnya adalah, pertama-tama membangun lintasan penentang yang membuat gradient descent berjalan paling lambat, kemudian menemukan fungsi konveks mulus nyata, di mana lintasan yang ditempuh gradient descent pada fungsi ini tepat sama dengan jalan lambat itu.
Setelah arah ditetapkan, GPT-5.6 Sol Pro mulai bekerja.
Solusi inti yang akhirnya diberikan adalah sebuah konstruksi geometris.
Diberikan sebarang urutan ukuran langkah, pertama-tama pilih "langkah panjang", yaitu langkah-langkah dengan ukuran langkah melebihi nilai aman standar 1/L. Kemudian letakkan sekumpulan titik jangkar yang saling tegak lurus dalam ruang berdimensi tinggi, setiap langkah panjang sesuai dengan satu titik.
Gradient descent dipaksa berjalan searah antara dua langkah panjang, saat bertemu langkah panjang melompat ke arah yang sepenuhnya tegak lurus berikutnya. Seluruh lintasan direalisasikan secara tepat oleh fungsi konveks mulus yang disebut Moreau envelope, setara secara ketat.
Kunci konstruksi ini adalah, ia dibuat sesuai dengan urutan ukuran langkah Anda. Bagaimanapun Anda merancang ukuran langkah, ia bisa membuat fungsi yang sesuai untuk menghambat Anda.
Tapi pembuktian di sini belum selesai.
Batas bawah akhir tidak boleh bergantung pada urutan kemunculan langkah panjang, jika tidak, urutan ukuran langkah yang sama dengan permutasi berbeda mungkin lolos.
GPT-5.6 menemukan teknik pencocokan lagi, mengurutkan langkah panjang berdasarkan ukurannya, membangun sebuah jalur, membaginya menjadi dua kelompok ganjil-genap yang cocok, sepenuhnya menghilangkan ketergantungan pada urutan waktu. Kemudian memperkenalkan fungsi potensial Lyapunov untuk mengontrol pertumbuhan global, dikombinasikan dengan argumen pemotongan, mengumpulkan batasan lokal menjadi batas bawah keseluruhan.
Rangkaian argumen ini dibentuk utuh setelah Ma dan Chen berulang kali berinteraksi dengan GPT-5.6 Sol Pro, menunjuk kesalahan dalam deduksi, GPT memperbaiki dan melanjutkan, melalui beberapa iterasi.
Menurut perkataan Ma sendiri, tidak ada komponen matematika non-trivial dalam pembuktian inti yang berasal dari manusia.
Dalam seluruh pembuktian, ada satu parameter kunci, dibatasi secara bersamaan oleh dua kondisi, batas pencocokan memberikan batas bawah, kontrol pertumbuhan memberikan batas atas.
Saat indeks konvergensi p turun, kedua batasan semakin ketat. Pada p = √(2+√3) ≈ 1.9319, kedua garis bertemu, ruang gerak parameter menjadi nol. Jika didorong lebih rendah, pembuktian tidak akan berjalan.
Kesimpulan akhir yang diberikan GPT-5.6 Sol Pro adalah, untuk sebarang urutan ukuran langkah non-negatif yang ditentukan sebelumnya, batas bawah laju konvergensi gradient descent adalah Ω(T^{-1.9319}).
Gradient descent yang hanya mengatur ukuran langkah, tidak peduli seberapa canggih urutan ukuran langkah dirancang, tidak akan pernah melampaui garis ini.
Dengan kata lain, untuk mendapatkan kecepatan konvergensi tercepat, struktur algoritma harus diubah.
Tinjauan Akhir Lean 4: Nol Sorry, Nol Admit
Pembuktian yang ditulis AI, bagaimana memastikannya bukan halusinasi?
Ma dan Chen menggunakan alat verifikasi paling ketat dalam matematika, pembuktian teorema Lean 4.
Mereka menggunakan Codex untuk menerjemahkan langkah demi langkah pembuktian bahasa alami GPT-5.6 Sol Pro menjadi kode Lean 4.
Sistem verifikasi formal ini akan memeriksa setiap langkah deduksi baris demi baris, setiap lompatan logika atau kurangnya dasar, kompilasi langsung error.
Jika suatu langkah benar-benar tidak bisa dibuktikan, bisa disisipkan sorry atau admit untuk dilewati sementara — artinya "langkah ini belum saya buktikan".
Laporan akhir: nol sorry, nol admit. Tidak ada satu langkah pun yang dilewati.
Kode dipublikasikan di GitHub, dilengkapi TRACEABILITY.md, mencocokkan baris demi baris setiap teorema dalam makalah dengan pembuktian terkait dalam kode Lean. Siapa pun yang ingin memeriksa bisa mengompilasi sendiri.
Alamat proyek: https://github.com/jianhaoma/gd-lower-bound-lean
Seluruh rantai verifikasi adalah estafet tiga tahap. GPT-5.6 Sol Pro membangun pembuktian, Codex menerjemahkan ke Lean 4, kompiler meninjau akhir baris demi baris. Manusia mengawasi sepanjang proses.
Anda tidak perlu "mempercayai" AI, biarkan sistem formal yang menilai.
Cerita Belum Selesai
Jangkauan yang bisa dikonfirmasi saat ini adalah: silver stepsize telah mendorong gradient descent ke T^{-1.2716}, Ma dan Chen membuktikan tidak mungkin melebihi T^{-1.9319}.
Di tengah masih selisih 0.66. Di manakah batas sebenarnya?
Ilmuwan optimasi Ben Grimmer yang telah lama meneliti masalah ini, setelah membaca makalah, menyatakan ia "sangat percaya" 1.2716 adalah batas sebenarnya.
Jika dia benar, maka silver stepsize sudah merupakan ujung dari penjadwalan ukuran langkah murni, batas bawah Ma dan Chen masih memiliki ruang untuk diperketat.
Tapi tidak peduli di mana batas sebenarnya berada, makalah ini telah menyelesaikan langkah paling inti: Hanya dengan mengatur ukuran langkah, gradient descent tidak bisa mencapai nilai sempurna. Hal ini berubah dari dugaan menjadi teorema.
Dan yang menghasilkan hasil ini, hanya dua orang. Tanpa tim matematika, tanpa ahli Lean, tanpa anggaran komputasi khusus, menggunakan GPT-5.6 Sol Pro versi komersial yang bisa diakses semua orang.
Jika model ini bisa direplikasi, peneliti mana pun di dunia yang memiliki pertanyaan bagus, bisa meminta AI menjalankan pembuktian untuk mereka.
Referensi:
https://arxiv.org/abs/2608.10418
Artikel ini berasal dari akun WeChat publik "Xin Zhi Yuan", penulis: ASI Revelation, editor: Moses
