Wong Li, mantan Wakil Presiden Keamanan OpenAI dan salah satu pendiri Thinking Machines Lab, kembali menerbitkan blog barunya.
Kali ini membahas evolusi diri AI, dia mengusulkan jalur yang realistis:
Tidak harus langsung mulai dari model yang menulis ulang bobotnya sendiri, melainkan bisa dimulai dari Harness terlebih dahulu.
Blog ini berjudul "Harness Engineering for Self-Improvement".
Di sini, Harness dapat dipahami secara sederhana sebagai sistem operasi eksternal model, yang menentukan bagaimana model memanggil alat, mengelola konteks, membaca dan menulis file, membagi tugas, memanggil sub-Agent, memvalidasi hasil, serta merefleksikan kegagalan.
Peneliti DeepSeek Cui Tianyi juga segera membagikannya, dan memberikan poin penting:
Evolusi diri di bidang Harness, sama seperti evolusi diri di bidang model, adalah arah yang sangat mungkin menghasilkan hasil.
Dia juga mengusulkan bahwa Skill adalah bentuk yang relatif awal dari evolusi diri Harness: evolusi diri pada tingkat prompt.
Artikel asli blog ini mengandung informasi yang sangat banyak, silakan siapkan mental~
Evolusi Diri Mungkin Terjadi Duluan di Lapisan Harness
Konsep inti yang dibahas Wong Li dalam blog ini adalah RSI (Recursive Self-Improvement), peningkatan diri rekursif.
Konsep ini awalnya memiliki nuansa AGI yang kuat, merujuk pada sistem cerdas yang mampu meningkatkan mekanisme yang menghasilkan kecerdasannya sendiri, sehingga menghasilkan sistem penerus yang lebih kuat.
Tapi Wong Li dalam blog ini memecah masalah ini dengan lebih terarah ke rekayasa.
Dalam sistem AI saat ini, peningkatan diri belum tentu hanya berarti model secara langsung menulis ulang bobotnya sendiri.
Bisa juga berarti, model meningkatkan alur pelatihan, alur penelitian, dan sistem penyebaran, yang pada gilirannya membantu sistem generasi berikutnya tampil lebih baik dalam tugas-tugas nyata.
△
Dan Harness, adalah lapisan kunci dalam sistem penyebaran.
Dulu, ketika membahas Agent, ungkapan umumnya adalah "LLM + memori + alat + perencanaan + aksi".
Tapi menurut Wong Li, Harness sekarang bukan hanya beberapa modul dalam kerangka Agent awal, melainkan lebih mendekati desain sistem perangkat lunak dan runtime.
Harness menentukan bagaimana model mengamati lingkungan, bagaimana bertindak, bagaimana mengelola konteks, bagaimana menyimpan status, bagaimana mengevaluasi hasil, dan juga menentukan apakah model dapat terus beriterasi dalam tugas yang panjang.
Jadi penilaiannya adalah: jalur evolusi diri yang lebih layak dalam waktu dekat, mungkin bukan model langsung menulis ulang otaknya sendiri, melainkan model mulai mengoptimalkan cara dia memperoleh jawaban.
Dari Context Engineering ke Self-Harness, Optimasi Bertahap Maju
Wong Li menyusun sejumlah penelitian terbaru yang relevan, dan terlihat tren yang cukup jelas:
Objek yang dioptimalkan sedang bergerak dari konteks, alur kerja, selangkah demi selangkah, hingga ke Harness itu sendiri.
Rantai kemajuannya adalah: prompt → structured context → workflow → harness code → optimizer code.
Seiring model semakin kuat, objek yang bisa dioptimalkan juga menjadi lebih abstrak dan lebih universal.
Lapisan pertama adalah Context Engineering.
Masalah paling dasar: Saat Agent mengerjakan tugas panjang, konteks yang dimasukkan semakin banyak, dan dengan cepat akan menjadi tidak terkendali.
Wong Li menyebutkan dua karya perwakilan di sini: ACE dan MCE.
ACE (Agentic Context Engineering), memperlakukan konteks sebagai "buku panduan operasional" yang terus diperbarui, bukan sepotong prompt yang semakin panjang menumpuk.
ACE mengandalkan kerja sama tiga peran: Generator bertanggung jawab menghasilkan lintasan tugas, Reflector menyaring poin-poin penting dari lintasan yang berhasil dan gagal, Curator mengatur poin-poin ini menjadi entri terstruktur dan memperbaruinya secara bertahap ke dalam buku panduan.
MCE (Meta Context Engineering), melangkah lebih jauh lagi.
Metode ini memisahkan "bagaimana mengelola konteks" dan "apa yang spesifik dimasukkan ke dalam konteks" menjadi dua lapisan optimasi: lapisan luar mengembangkan keterampilan mengelola konteks, lapisan dalam kemudian menggunakan keterampilan ini untuk mengoptimalkan konteks tugas spesifik.
Menurut Wong Li, dibandingkan ACE yang masih memerlukan desain manual aturan pembaruan, MCE telah selangkah lebih maju menuju "memori yang mengelola diri sendiri".
Lapisan kedua adalah Workflow Design, yang memecahkan "bagaimana model harus bekerja".
Wong Li memberikan beberapa contoh:
AI Scientist membangun alur penelitian lengkap mulai dari mengajukan ide, menulis kode, menjalankan eksperimen, menganalisis hasil, hingga menulis makalah, dan peer review.
ADAS melangkah lebih jauh, memperlakukan "merancang alur kerja Agent" itu sendiri sebagai masalah optimasi yang dapat dicari, membiarkan sebuah meta-agen terus mengusulkan desain alur kerja baru dan menerima evaluasi.
AFlow merepresentasikan alur kerja sebagai sebuah graf, menggunakan pencarian Monte Carlo Tree Search untuk menemukan struktur graf yang lebih optimal.
Kemajuan garis ini terletak pada: awalnya manusia merekayasa alur tugas, kemudian model berpartisipasi dalam merancang alur, dan selanjutnya, struktur alur itu sendiri juga memasuki ruang pencarian.
Artinya, objek yang dioptimalkan tidak lagi hanya prompt tunggal, tetapi bagaimana keseluruhan Agent mengorganisir tindakannya.
Lapisan ketiga adalah Self-Improving Harness.
Di lapisan ini, model tidak hanya menggunakan Harness untuk menyelesaikan tugas, tetapi mulai menganalisis di mana kelemahan Harness, dan mengusulkan modifikasi untuk Harness tersebut.
Wong Li secara khusus menyebutkan karya seperti Self-Harness, siklusnya sangat jelas.
Langkah pertama adalah Weakness Mining (Penambangan Kelemahan).
Sistem pertama-tama mengumpulkan lintasan yang ditinggalkan Agent saat menjalankan tugas, termasuk panggilan alat, log kesalahan, hasil kegagalan, umpan balik validator, dll. Kemudian menggali pola kegagalan yang berulang muncul darinya.
Misalnya, model selalu melewatkan file dalam jenis tugas tertentu, selalu mengulangi percobaan perbaikan yang tidak efektif setelah kegagalan tes tertentu, atau selalu kehilangan batasan kunci ketika konteks menjadi panjang.
Langkah kedua adalah Harness Proposal (Proposal Harness).
Model mengusulkan modifikasi kecil pada Harness berdasarkan pola kegagalan ini.
Poin pentingnya adalah "skala kecil" dan "dapat diverifikasi".
Informasi yang dapat dilihat model mencakup: bagian mana dalam Harness saat ini yang dapat diubah, pola kegagalan spesifik, "perilaku benar" mana yang harus dipertahankan, serta catatan modifikasi yang telah dicoba sebelumnya.
Proposal harus sedapat mungkin fokus pada masalah yang dapat diselesaikan dengan modifikasi skala kecil, yang dapat direproduksi, dan harus menjaga diferensiasi antara proposal yang berbeda.
Langkah ketiga adalah Proposal Validation (Validasi Proposal).
Kandidat modifikasi tidak dapat langsung digabungkan, tetapi harus melalui pengujian validasi. Hanya setelah dikonfirmasi bahwa modifikasi tersebut memang meningkatkan kinerja, dan tidak menimbulkan regresi yang signifikan, barulah menjadi bagian dari Harness versi berikutnya.
Wong Li menyebutkan bahwa saat menjalankan proses ini pada model berbeda seperti MiniMax M2.5, Qwen3.5, GLM-5 di Terminal-Bench-2, memang dipelajari konfigurasi Harness yang berbeda-beda, masing-masing menargetkan titik lemah model yang berbeda.
Tapi dia juga langsung menunjukkan bahayanya: begitu program diizinkan memodifikasi kode lapisan sistemnya sendiri, batas abstraksi berisiko dilanggar, kontrol izin dan lapisan keamanan harus tetap berada di luar siklus ini, masalah lama reward hacking masih ada.
Selain itu, Wong Li juga lebih lanjut menyebutkan Evolutionary Search (Pencarian Evolusioner).
Jika Self-Harness lebih mirip memperbaiki sistem kerjanya sendiri dari kegagalan, maka pencarian evolusioner adalah menjadikan Harness secara langsung sebagai objek yang dapat dicari.
Logikanya lebih seperti seleksi alam:
Pertama-tama menghasilkan beberapa kandidat Harness, membiarkan model memodifikasi berdasarkan versi yang ada, kemudian mengevaluasi kinerja menggunakan benchmark atau validator, mempertahankan versi yang lebih baik, mengeliminasi versi yang lebih buruk, lalu melanjutkan ke putaran berikutnya.
Dia juga secara khusus menyebutkan DGM (Darwin Gödel Machine): secara langsung membiarkan coding agent memodifikasi repositori kode Harness-nya sendiri.
Dalam eksperimen, menggunakan model dasar Claude 3.5 Sonnet, dimulai dari konfigurasi awal yang sederhana, agent yang dievolusikan oleh DGM menunjukkan efek yang menakjubkan:
Kinerja pada SWE-bench Verified meningkat dari 20% menjadi 50%;
Pada Polyglot meningkat dari 14,2% menjadi 30,7%;
Mencapai bahkan melampaui agent yang dirancang secara manual.
Ini menunjukkan bahwa bahkan tanpa mengubah bobot model, Harness itu sendiri sudah dapat menjadi ruang pencarian untuk peningkatan kemampuan.
Tetapi, metode semacam ini lebih cocok untuk tugas yang dapat dievaluasi secara otomatis seperti kode, algoritma, kernel GPU, dll.
Jika tugas melibatkan selera penelitian, kualitas produk jangka panjang, kolaborasi organisasi yang kompleks, evaluasi akan menjadi jauh lebih lambat dan lebih kabur.
Harness Akan Menjadi Lebih Kuat, Tapi Tetap Memiliki Batas
Wong Li tidak menganggap Harness sebagai jalur pengganti pelatihan model, penilaiannya lebih mirip keduanya saling memperkuat.
Harness yang cukup matang dapat membuat siklus penelitian peningkatan diri model berjalan; dan model yang lebih cerdas dapat mencegah Harness didesain berlebihan, menjaga keberlanjutan sistem.
Dalam jangka panjang, banyak peningkatan Harness pada akhirnya mungkin "diinternalisasikan" ke dalam perilaku model itu sendiri — seperti teknik manual prompt engineering, yang secara bertahap menjadi kurang penting seiring kemampuan mengikuti instruksi dan penalaran model menjadi lebih kuat.
Tapi tindakan "menjelaskan target, batasan, konteks, standar evaluasi" itu sendiri, tidak pernah hilang.
Tapi, dia juga tidak menghindar, ada kemacetan yang saat ini ada di jalan menuju RSI:
Evaluator terlalu lemah dan kabur. Yang bisa berjalan lancar dalam siklus peningkatan diri sekarang, kebanyakan adalah tugas-tugas seperti menulis kode, memecahkan masalah matematika, yang memiliki umpan balik yang jelas, cepat, dan objektif. Sementara selera penelitian, inovasi, nilai penelitian jangka panjang, hampir tidak dapat diukur.
Masalah siklus hidup konteks dan memori. Semakin otonom dan independen tugasnya, semakin banyak memori yang perlu dikelola. Wong Li berpikir hal ini di masa depan mungkin menjadi bagian dari kecerdasan itu sendiri, tidak hanya tinggal di tingkat sistem perangkat lunak.
△
Hasil negatif mudah diabaikan. Peneliti secara alami lebih bersedia mempublikasikan hasil yang sukses. Model dilatih pada data besar yang sebagian besar berisi kasus sukses, mungkin tidak terlalu mahir menilai kapan harus meninggalkan sebuah hipotesis, kapan harus melaporkan kegagalan secara jujur.
Keruntuhan keragaman. Siklus evolusi dan pembelajaran penguatan mudah berulang kali memanfaatkan pola imbalan tinggi yang sudah diketahui. Tanpa mekanisme tambahan untuk mencegahnya, populasi akan secara bertahap runtuh menjadi varian dari skema yang sama.
Reward hacking. Siklus peningkatan diri akan mengoptimalkan sinyal apa pun yang diberikan — jika hadiah berasal dari uji unit, model mungkin hanya menyesuaikan diri dengan uji; jika berasal dari model juri, mungkin belajar secara spesifik "membujuk" juri; jika berasal dari skor papan peringkat, mungkin memanfaatkan kelemahan papan peringkat itu sendiri.
Kontradiksi antara kesehatan jangka panjang dan kesuksesan jangka pendek. Ambil contoh coding agent, mereka sudah dapat secara nyata meningkatkan produktivitas sehari-hari rekayasa perangkat lunak, tetapi tujuan optimasi kebanyakan masih jangka pendek — apakah tugas saat ini dapat diselesaikan, bukan apakah dapat melindungi kesehatan jangka panjang basis kode yang dikelola bersama oleh ratusan hingga ribuan insinyur.
Kemampuan pemeliharaan, batasan tanggung jawab dan wewenang, biaya migrasi, beban debugging di masa depan, standar-standar ini pada dasarnya masih belum dapat diperhatikan dalam pelatihan sandbox.
Peran manusia. Menurut Wong Li: manusia tidak akan ditendang keluar dari siklus, melainkan harus bergerak ke "luar lingkaran" — memberikan pengawasan pada saat yang tepat, pada tingkat abstraksi yang tepat, dan ini juga merupakan masalah yang perlu dipertimbangkan dengan jelas dalam desain sistem.
Dulu, persaingan model besar terutama melihat parameter, data, daya komputasi, dan kemampuan penalaran.
Tapi sekarang, variabel lain yang semakin sulit diabaikan: Harness.
Model yang sama, dimasukkan ke dalam Harness yang berbeda, dapat menunjukkan kemampuan yang sama sekali berbeda — hal ini telah beralih dari pengamatan segelintir orang menjadi konsensus industri.
Dari blog Wong Li ini juga dapat dilihat, "Apa pintu masuk rekayasa yang lebih realistis untuk evolusi diri AI", akan menjadi fokus diskusi tahap berikutnya.
Artikel blog asli: https://lilianweng.github.io/posts/2026-07-04-harness/
Tautan referensi: https://x.com/tianyi/status/2074475185957380379
Artikel ini berasal dari akun WeChat "量子位", penulis: 听雨
