Wang Yunhe, setelah memulai usahanya, untuk pertama kalinya menyerahkan hasil kerja model besar.
Menurut informasi yang diperoleh Quantum Bit, Wang Yunhe, mantan Direktur Laboratorium Noah's Ark Huawei dan penanggung jawab model besar PanGu, mendirikan Ji Yuan Lv Dong, merilis model pertama mereka yang berorientasi pada Agen, NeoHorse.
Model ini didukung oleh infrastruktur dasar dan kemampuan teknologi optimasi Infra dari Wu Wen Xin Qiong, dengan tim dari Universitas Tsinghua dan Universitas Peking berpartisipasi dalam penelitian algoritma dan metode pelatihan, bersama-sama mengeksplorasi peningkatan efisiensi pemanfaatan data dan efektivitas pelatihan pasca-Agen.
NeoHorse-1 mencakup dua versi, 4B dan 9B, yang secara khusus difokuskan pada seperangkat kemampuan yang dibutuhkan oleh Agen selama proses bekerja, termasuk memanggil alat, membaca umpan balik lingkungan, menemukan kesalahan, menyesuaikan jalur, dan akhirnya menyelesaikan tugas.
Dalam 10 penilaian yang mencakup Harness Agent, penggunaan alat, kode, dan kepatuhan terhadap instruksi, setelah melalui Pelatihan Pascacara-Agen, kinerja keseluruhan model 4B sudah mencapai/melampaui sedikit model dasar 9B.
Mengapa sebuah perusahaan yang selalu menekankan kolaborasi multi-model mulai melatih modelnya sendiri? Apakah Ji Yuan Lv Dong bersiap untuk bergabung di meja permainan model dasar?
Dilihat dari jawaban yang diberikan NeoHorse, arahnya tidak mengalami perubahan seperti itu.
Model ini lebih mirip pengalaman eksekusi multi-model yang telah dikumpulkan Ji Yuan Lv Dong sebelumnya, untuk pertama kalinya dimasukkan ke dalam parameter model.
Perusahaan yang Membantu Agen Memilih Model, Juga Mulai Melatih Model
Selama ini, skor sering kali menjadi dasar utama untuk membandingkan model.
Tetapi ketika model mulai dimasukkan ke dalam sistem Agen dan menangani tugas lengkap, daya penjelas dari skor tunggal akan berkurang.
Dalam satu tugas, model tidak hanya harus memberikan jawaban yang tampak masuk akal, tetapi juga harus terus membaca umpan balik lingkungan selama eksekusi, menangani kesalahan, dan menyesuaikan jalur berikutnya berdasarkan kemajuan aktual; persyaratan kemampuan model pada setiap tahap juga berbeda.
Dari sini, tim Ji Yuan Lv Dong membentuk sebuah penilaian.
Model yang tidak tersatukan akan menjadi struktur jangka panjang dalam industri AI.
Semakin banyak model, semakin spesialis pembagian kerjanya, semakin jelas perbedaan harga dan kemampuan, maka semakin dibutuhkan sebuah sistem untuk menjawab beberapa pertanyaan—
Model mana yang harus digunakan pada langkah ini? Tahap mana yang dapat diserahkan pada model dengan biaya lebih rendah? Kapan perlu meningkatkan ke model dengan kemampuan penalaran dan eksekusi yang lebih kuat? Ketika satu jalur eksekusi terhambat, siapa yang harus mengambil alih? Bisakah beberapa model memberikan solusi secara paralel, kemudian mengagregasi hasilnya?
Tim Wang Yunhe menyebut sistem lapisan ini sebagai Routing Harness (proyek open-source terkait mereka, OpenSquilla, telah terhubung dengan beberapa model, melalui antarmuka yang seragam, melakukan perutean granular, pergantian model, dan kolaborasi multi-model selama proses berjalannya Agen).
Dengan pemikiran yang sama, tampaknya Ji Yuan Lv Dong tidak memiliki alasan yang terlalu kuat untuk melatih modelnya sendiri. Pasokan model di pasar sudah cukup beragam, memanggil sesuai kebutuhan tampaknya lebih fleksibel.
Seiring dengan sistem penjadwalan yang terus berjalan, jenis aset lain mulai terakumulasi, seperti "tugas apa membutuhkan kemampuan apa", "model mudah gagal pada langkah mana", "jalur perbaikan seperti apa yang efektif", "hasil seperti apa yang dapat divalidasi oleh lingkungan".
Informasi ini di satu sisi dapat meningkatkan penilaian perutean, di sisi lain mulai memiliki nilai pelatihan.
Ini sedikit mirip dengan sebuah platform yang menghubungkan banyak merek dengan konsumen. Kebutuhan, penilaian, dan umpan balik penggunaan yang terakumulasi selama proses transaksi dapat membantu produk menemukan pengguna yang lebih tepat, dan juga dapat lebih lanjut diumpan balik ke pengembangan produk.
Proses platform melayani pasar dengan demikian menjadi sumber data untuk perbaikan produk berikutnya.
NeoHorse berperan dalam mengubah sebagian pengalaman eksekusi yang telah dikumpulkan Ji Yuan Lv Dong dalam Harness, menjadi kemampuan model.
Memasukkan Jalan yang Dilalui Multi-Model, ke Dalam Model yang Berorientasi pada Agen
Sumber data NeoHorse perlu disebutkan.
Korpus intinya adalah menggabungkan sinyal eksekusi Agen yang dihasilkan oleh Routing Harness dengan data publik, membangun sistem data yang berorientasi pada pelatihan pasca-Agen.
Agen menyelesaikan satu tugas dalam Harness, akan meninggalkan catatan eksekusi lengkap.
- Memasukkan tugas → Router menilai kemampuan apa yang dibutuhkan
- → Memilih model tertentu
- → Model melakukan penalaran dan pemanggilan alat
- → Lingkungan mengembalikan hasil
- → Model melanjutkan eksekusi atau mengalami kesalahan
- → Sistem mengganti model atau menyesuaikan jalur
- → Tugas akhirnya selesai atau gagal
Data tanya jawab umum sering kali terkonsentrasi pada dua ujung "pertanyaan" dan "jawaban".
Data Routing Harness juga mengandung beberapa lapisan informasi lain: kemampuan apa yang dibutuhkan tugas, keputusan eksekusi apa yang dibuat sistem, dan umpan balik apa yang akhirnya diberikan lingkungan.
Misalnya, router awalnya menilai suatu tugas hanya memerlukan model biasa, tetapi dalam proses eksekusi mengalami kegagalan beruntun, kemudian ditingkatkan ke model dengan kemampuan lebih kuat, dan tugas baru dapat diselesaikan.
Jejak ini mengandung informasi jauh lebih banyak daripada sekadar satu kegagalan.
Sistem dapat mengetahui bahwa penilaian kemampuan awal mungkin terlalu rendah, model bermasalah pada langkah mana, strategi apa yang digunakan model yang lebih kuat, jalur eksekusi mana yang akhirnya divalidasi oleh lingkungan, serta berapa banyak Token dan waktu tambahan yang dikonsumsi untuk menyelesaikan tugas.
Yang lebih penting adalah, yang diamati Ji Yuan Lv Dong bukanlah penilaian kemampuan model tertentu terhadap dirinya sendiri, melainkan kinerja horizontal yang ditinggalkan oleh beberapa model saat menghadapi tugas serupa.
Di dalamnya terdapat jalur keberhasilan, serta catatan eksekusi yang gagal di tengah jalan dan kemudian diambil alih oleh model lain.
Dari sudut pandang pelatihan, jejak kegagalan bahkan mungkin memberikan lebih banyak informasi.
Jawaban akhir dapat memberi tahu model tentang satu jalur yang layak, sedangkan proses kegagalan dan perbaikan melengkapi dua jenis pengetahuan lain: di mana kesalahan mudah terjadi, dan bagaimana menyesuaikan setelah terjadi kesalahan.
"Yang dipelajari selain hasil yang diberikan oleh beberapa model, juga jalur aktual yang dilalui beberapa model dalam lingkungan tugas", ini juga merupakan salah satu aspek NeoHorse yang cukup memiliki identitas.
Bagaimana Log Kerja Agen Berubah Menjadi Kemampuan Model?
Memasukkan semua log ke dalam pelatihan tidak secara otomatis menghasilkan model Agen yang lebih kuat.
Jejak Agen biasanya sangat panjang, tercampur dengan petunjuk sistem, permintaan pengguna, parameter alat, hasil eksekusi, percobaan berulang, informasi kesalahan, serta banyak keluaran antara.
Beberapa langkah memiliki nilai pelatihan, beberapa lebih mendekati noise. Ada juga jejak dengan alur lengkap, tetapi hasilnya sendiri tidak benar.
Ji Yuan Lv Dong pertama-tama perlu menyelesaikan masalah "data mana yang layak dipelajari model".
Menurut laporan teknis, setiap jejak akan melalui pemeriksaan struktur, memastikan bahwa permintaan, balasan model, pemanggilan alat, dan hasil lingkungan dapat saling berkorespondensi.
Kemudian, sistem akan mengevaluasi kualitas eksekusi dari enam dimensi, termasuk apakah tujuan pengguna terpenuhi, apakah instruksi dipatuhi, apakah penggunaan alat wajar, apakah kesimpulan didukung bukti, apakah dapat pulih setelah terjadi kesalahan, dan apakah model menghentikan tugas pada waktu yang tepat.
Di sini juga menyangkut masalah yang mudah tercampur dalam pelatihan Agen.
Akhir tugas tidak berarti tujuan pengguna telah terpenuhi — keluaran model "tugas telah selesai" hanya menunjukkan bahwa proses eksekusi berhenti, tidak dapat membuktikan bahwa hasil yang diserahkan sesuai dengan persyaratan pengguna.
Oleh karena itu, status penyelesaian, tingkat pemenuhan tujuan, bukti lingkungan, dan umpan balik pengguna, perlu dicatat sebagai sinyal yang berbeda.
Setelah data selesai disaring, sinyal perutean mulai memainkan peran lain.
Router akan memperkirakan kemampuan yang dibutuhkan tugas, dan membentuk sinyal tingkat kemampuan yang berbeda. NeoHorse dalam proses pelatihan mengatur urutan sampel berdasarkan ini, mempelajari terlebih dahulu tugas dengan kebutuhan kemampuan lebih rendah, kemudian secara bertahap menambah jejak eksekusi yang lebih kompleks, sambil mempertahankan cakupan tugas dasar.
Metode ini disebut Routing-Guided Curriculum, yaitu pembelajaran kurikulum yang dipandu perutean.
Secara lebih sederhana, sinyal perutean secara online menentukan kepada siapa tugas diserahkan, pada tahap pelatihan juga dapat memberi tahu model, tugas mana yang lebih cocok untuk dipelajari terlebih dahulu, mana yang cocok untuk dipelajari kemudian.
Selain penyetelan halus supervisi biasa, NeoHorse juga menggunakan On-Policy Distillation.
Dapat dipahami sebagai membiarkan siswa menyelesaikan soal sesuai caranya sendiri terlebih dahulu, kemudian guru memberikan bimbingan berdasarkan langkah-langkah aktual yang ditempuh siswa.
Dengan demikian, model guru menangani masalah yang akan dihadapi model siswa di bawah distribusi saat ini, bukan sekumpulan kesalahan standar yang disiapkan sebelumnya.
Setelah melalui berbagai tahap ini, pengalaman yang terakumulasi dari tugas eksekusi jangka panjang multi-model, mulai digunakan untuk pelatihan pasca-NeoHorse.
Setelah Pelatihan Pasca, Apa yang Ditingkatkan?
Dari hasil yang diberikan dalam laporan teknis saat ini, Agentic Post-Training membawa peningkatan stabil pada kedua skala 4B dan 9B.
Di antaranya, kinerja keseluruhan NeoHorse-1-4B (skor rata-rata makro meningkat dari 58.94 menjadi 64.87) telah mencapai SOTA dengan skala yang sama — melampaui model dasarnya Qwen3.5-4B pada semua tolok ukur yang dapat dibandingkan, dan memimpin secara keseluruhan di antara model perbandingan dengan skala 4B yang sama.
Tetapi SOTA tidak berarti kemampuan tersebar secara merata.
Dengan membagi hasil lebih lanjut, dapat dilihat bahwa peningkatan model 4B terutama terkonsentrasi pada satu jenis tugas.
Tugas semacam ini biasanya memiliki alur kerja yang relatif jelas, umpan balik lingkungan dapat diamati, keberhasilan dan kegagalan dapat divalidasi, serta standar penyerahan akhir juga cukup jelas.
Misalnya, dalam tugas penjadwalan proyek, model dasar meskipun menemukan file di direktori kerja, tidak melanjutkan membaca email yang berisi batasan ketergantungan terbaru.
Akibatnya, ia menghasilkan rencana berdasarkan informasi yang sudah kedaluwarsa, dan menulis file ke lokasi yang salah.
Model yang telah melalui pelatihan pasca akan terus membaca bukti tambahan, menemukan batasan telah berubah, menghitung ulang penjadwalan, memvalidasi hasil, lalu menyimpan hasil penyerahan ke lokasi yang benar.
Perbedaan keduanya tercermin dalam rantai eksekusi Agen.
Satu model kurang lebih tahu bagaimana tugas harus dilakukan, model lain sudah mampu merangkai pengambilan bukti, pembaruan batasan, eksekusi, validasi, dan penyerahan menjadi alur kerja yang cukup lengkap.
Mencapai SOTA dengan skala yang sama, tidak berarti harus menyerahkan semua tugas kepada NeoHorse-1-4B. Ji Yuan Lv Dong lebih memperhatikan bagaimana membagi batas kemampuan model yang berbeda secara halus.
Tugas yang dapat diselesaikan dengan stabil oleh 4B, dapat mengurangi pemanggilan model dengan skala lebih besar; tugas yang dapat diselesaikan oleh model yang lebih kuat, juga tidak perlu terus ditingkatkan ke model unggulan dengan harga tertinggi; ketika kesulitan terus meningkat, baru diserahkan ke model dengan kemampuan lebih kuat dalam kumpulan model.
Di sini tepat terhubung dengan hubungan antara Routing Harness dan model yang dikembangkan sendiri.
Model terus memperluas rentang biaya tugas yang dapat ditanggung ke luar, sistem perutean kemudian menempatkan kemampuan yang berbeda pada posisi yang sesuai berdasarkan tingkat kesulitan tugas dan situasi eksekusi.
Selain Biaya Panggilan API, Apa Nilai dari Model Ini?
Sampai di sini, hubungan antara beberapa lini produk Ji Yuan Lv Dong juga semakin jelas.
Lapisan pertama adalah OpenSquilla versi open-source.
Melalui produk gratis, open-source, penerapan lokal, dan desktop, Ji Yuan Lv Dong menurunkan ambang batas bagi pengembang untuk menggunakan Agen multi-model, sekaligus menghubungkan pengembang dan pintu masuk tugas.
Lapisan kedua adalah TokenRhythm API.
Posisinya mendekati "OpenRouter versi China", menyediakan kemampuan pemanggilan model yang berbeda melalui antarmuka yang seragam, menampung kebutuhan penggunaan model dari pengembang dan perusahaan, sekaligus membantu vendor model terhubung dengan lebih banyak skenario aplikasi.
Perusahaan tidak perlu beradaptasi secara terpisah dengan banyak antarmuka model, untuk dapat mengevaluasi, memilih, dan mengganti model dengan lebih mudah.
Lapisan ketiga adalah kemampuan layanan dan penerapan untuk perusahaan.
Industri seperti keuangan, manufaktur memiliki persyaratan berbeda mengenai izin, stabilitas, penerapan pribadi, dan jaminan layanan, yang juga membentuk ruang komersial lebih lanjut.
Lapisan keempat barulah NeoHorse.
NeoHorse pertama-tama memvalidasi koneksi kunci: pengalaman efektif yang dihasilkan selama proses eksekusi Harness, setelah disaring dan dilatih, memang berpeluang diubah menjadi kemampuan model itu sendiri.
Dengan demikian, flywheel komersial yang sebelumnya diusulkan Ji Yuan Lv Dong untuk pertama kalinya menunjukkan hasil di tingkat model.
Hal ini juga membawa kemungkinan mengoptimalkan perhitungan ekonomi inferensi.
Jika NeoHorse kemudian dapat menampung dengan stabil sejumlah tugas Agen yang frekuensinya tinggi dan standarnya relatif jelas, platform akan memiliki satu lagi pasokan kemampuan yang dapat dijadwalkan secara mandiri.
Tugas-tugas ini dapat lebih lanjut mengoptimalkan biaya inferensi, kecepatan respons, dan stabilitas, serta membuat konfigurasi pasokan model lebih fleksibel. Seiring dengan iterasi model berlanjut, ruang lingkup tugas yang dapat dicakupnya masih memiliki ruang untuk diperluas.
Dari sudut pandang ini, yang ingin dilakukan Ji Yuan Lv Dong agak mirip dengan akumulasi proses dalam sistem manufaktur.
Ekosistem model eksternal menyediakan kemampuan yang berbeda, Harness bertanggung jawab mengatur eksekusi; pengalaman yang terbentuk selama proses eksekusi, kemudian masuk ke perbaikan model berikutnya.
Dari menghubungkan model, menyediakan layanan, hingga mengubah pengalaman yang dihasilkan dalam layanan menjadi kemampuan model, dan lebih lanjut meningkatkan efisiensi dan kualitas, ini juga merupakan langkah tambahan yang diambil Ji Yuan Lv Dong di luar platform agregasi API.
Di Luar Model, Apa yang Dibangun oleh Ji Yuan Lv Dong?
Siklus yang dibayangkan Ji Yuan Lv Dong kira-kira dapat dirangkai dengan beberapa lini bisnis:
- Routing Harness menghubungkan pengembang dengan tugas Agen
- → TokenRhythm API menghubungkan pasokan model dengan kebutuhan pemanggilan
- → Harness mengatur eksekusi, mengakumulasi perutean dan jejak tugas
- → Jejak yang dapat digunakan setelah disaring, digunakan untuk pelatihan model
- → Model yang diperbarui kembali ke Harness, berpartisipasi dalam adaptasi tugas
- → Meningkatkan pengalaman tugas, mengeksplorasi kecepatan respons dan efisiensi biaya yang lebih baik
- → Penggunaan berkelanjutan, pembayaran, dan peningkatan efisiensi operasional
- → Mendukung penyempurnaan layanan dan investasi penelitian dan pengembangan berikutnya
Salah satu perubahan kuncinya adalah, jejak yang dihasilkan model tidak lagi hanya berhenti di tahap konsumsi dan pemanggilan, namun juga dapat menjadi sumber pelatihan model berikutnya.
Agen menyelesaikan satu tugas, Harness mendapatkan satu lagi pengamatan tentang batas kemampuan.
Satu model gagal, sistem mengetahui celah kemampuan mungkin muncul di mana; model lain berhasil mengambil alih, sistem mendapatkan satu jalur perbaikan baru; pengguna akhirnya menerima atau menolak hasil, memberikan lagi satu lapisan umpan balik eksternal.
Semakin banyak tugas terakumulasi, penilaian perutean mungkin semakin akurat; penilaian perutean semakin akurat, jejak pelatihan yang disaring juga akan lebih mendekati tugas aktual; model semakin sesuai dengan tugas, layanan API berpeluang mendapatkan biaya dan pengalaman yang lebih baik.
Jika siklus ini dapat bertahan dalam jangka panjang, perbedaan antara Ji Yuan Lv Dong dan platform agregasi API biasa, juga secara bertahap akan beralih dari aturan perutean dan daftar model, masuk ke dalam desain tugas pelatihan, metode pelatihan, serta parameter model.
Akhirnya disajikan melalui kinerja produk.
Seberapa Jauh Jarak dari RSI?
Di atas adalah latar belakang Ji Yuan Lv Dong mulai membicarakan RSI (Recursive Self-Improvement, Peningkatan Diri Rekursif).
Saat ini, Ji Yuan Lv Dong memvalidasi cakupan RSI lebih mendekati sebuah siklus rekayasa, dapat dibagi menjadi dua bagian.
Pertama adalah Data-RSI.
Model terus mengeksekusi tugas dalam Harness, setiap kali perutean, pemanggilan alat, pemulihan kegagalan, dan hasil akhir, akan menghasilkan catatan terstruktur baru.
Catatan ini setelah disaring dan diproses, dapat masuk ke kolam data pelatihan berikutnya. Dengan demikian, data pelatihan tidak harus sepenuhnya bergantung pada persiapan manual sebelumnya, dan juga dapat meningkat seiring dengan penggunaan sistem yang berkelanjutan.
Kedua adalah Model-RSI.
Sistem mengidentifikasi kelemahan kemampuan model saat ini berdasarkan hasil evaluasi, menyesuaikan distribusi data pelatihan untuk putaran berikutnya, memperbarui model, lalu mengembalikan model baru ke Harness untuk berpartisipasi dalam eksekusi.
Dengan kata lain, model belajar dari pengalaman eksekusi, model yang diperbarui kemudian melalui eksekusi tugas baru, menghasilkan umpan balik baru untuk pelatihan berikutnya.
Namun, dengan informasi yang saat ini dipublikasikan NeoHorse, sistem ini belum dapat dianggap sebagai RSI lengkap.
Laporan teknis saat ini hanya memvalidasi satu siklus "eksekusi—evaluasi—pemilihan—pembaruan". Desain sinyal, desain reward, dan alur pelatihan masih ditetapkan oleh manusia, apakah setelah iterasi model beberapa generasi dapat terus memperoleh peningkatan yang stabil, juga memerlukan konfirmasi lebih banyak eksperimen.
Oleh karena itu, ungkapan yang lebih akurat adalah, rilis NeoHorse kali ini menyelesaikan dua lapis validasi.
Satu lapis secara komersial, data yang terakumulasi sistem dapat masuk ke pelatihan model, dan diubah menjadi peningkatan kemampuan yang dapat diukur.
Lapis lain secara teknis, Wang Yunhe memimpin tim startup menyelesaikan satu putaran validasi rekayasa yang berorientasi pada arah RSI.
Semakin Banyak Model, Semakin Bernilai Perusahaan Ini?
Tentu saja, cerita Ji Yuan Lv Dong untuk dapat terbukti, masih perlu melewati beberapa rintangan.
Pertama, apakah ekosistem open-source dapat terus diubah menjadi penggunaan API dan pendapatan.
Kedua, seiring dengan bertambahnya jenis tugas, apakah sistem dapat terus mendapatkan jejak Agen yang berkualitas tinggi dan dapat digunakan untuk pelatihan.
Ketiga, setelah kemampuan model membaik, apakah dapat stabil diubah menjadi pengalaman tugas dan efisiensi eksekusi yang lebih baik, dan lebih lanjut tercermin dalam data operasional.
Keempat, setelah iterasi model beberapa putaran, berapa lama lagi peningkatan kemampuan dapat bertahan.
Masalah-masalah ini memerlukan pengamatan lebih lama.
Serta masih ada satu variabel yang tak terhindarkan — vendor model seperti DeepSeek, Qwen, MiniMax juga sedang memperluas ke Harness dan produk Agen, tren integrasi vertikal antara model dan infrastruktur Agen semakin jelas.
Mengambil Ji Yuan Lv Dong sebagai contoh, salah satu perbedaan yang dimiliki perusahaan ini saat ini adalah netral terhadap model, serta data perbandingan horizontal yang terbentuk selama proses eksekusi lintas model.
Tetapi jika perbedaan kemampuan antar model cukup besar, penjadwalan lintas model berpeluang menjadi bisnis yang mandiri; jika model utama secara bertahap mencakup lebih banyak tugas, atau vendor sendiri menggabungkan Routing, pemanggilan alat, dan kerangka kerja Agen, ruang yang tersisa untuk lapisan tengah akan terkompresi.
Saat kemampuan hulu semakin kuat, semakin murah, mengapa lapisan tengah ini masih perlu ada?
Bagi Ji Yuan Lv Dong, NeoHorse setidaknya membuat pertanyaan ini memiliki satu sudut pandang baru.
Dulu ia membuktikan dirinya dapat "menggunakan model", sekarang mulai mencoba membuktikan, data yang terakumulasi dari penggunaan model jangka panjang, juga dapat diendapkan menjadi kemampuan modelnya sendiri.
Jika jalan ini berhasil, parit pertahanan Ji Yuan Lv Dong tidak hanya pada strategi perutean; jika tidak berhasil, ia masih harus menghadapi masalah yang dihadapi semua lapisan tengah model.
GitHub:https://github.com/TokenRhythm/NeoHorse
Hugging Face:https://huggingface.co/collections/TokenRhythm/neohorse-1
Artikel ini berasal dari akun WeChat publik "Quantum Bit", penulis: Heng Yu
