Akhirnya, versi seri dari model peraih emas sempurna IMO Xiaohongshu telah open source!
Bulan lalu, model besar buatan sendiri Xiaohongshu "dots-note-3.0" menciptakan rekor sejarah: AI pertama kalinya meraih skor sempurna 42 poin yang disertifikasi resmi dalam kompetisi matematika internasional Olimpiade. Setelah itu, pertanyaan paling diperhatikan komunitas adalah kapan model ini akan diopen source.
HuggingFace AI Research dan Kepala Bagian Ekosistem Komunitas, Adina Yakup. Sumber: X Post
Hari ini, Laboratorium Model dots Xiaohongshu (selanjutnya disebut lab dots) mengumumkan open source dots3-note preview! Ini juga merupakan versi open source pertama dari seri model dots3, yang menargetkan tugas panjang yang lebih realistis dan lebih sulit dievaluasi.
Dilihat dari parameternya, total parameter dots3-note preview adalah 280B, dengan parameter aktif 16B, mendukung jendela konteks ultra-panjang 512K, memiliki kemampuan pemahaman multimodal teks, visual, dan suara, serta dioptimalkan untuk penalaran kompleks, Agen, dan persepsi multimodal.
API入口: https://dots.ai/platform/
Huggingface: https://huggingface.co/dots-studio/dots3-note-prev
GitHub:https://github.com/studio-dots-ai/dots3-note-prev
Skor IMO sempurna membuktikan kemampuan seri model ini dalam penalaran dan pembuktian matematika. Open source kali ini membawa tantangan ke skenario lain yang lebih sulit distandarisasi: perencanaan perjalanan, persiapan pernikahan, pengelolaan toko. Tugas seperti ini tidak memiliki jawaban tunggal, dan waktunya bisa berlangsung selama berjam-jam, berhari-hari, bahkan lebih lama.
Fokus dots3-note preview pada tugas panjang juga tepat mengenai salah satu garis utama perkembangan Agen saat ini: mereka mulai dituntut untuk menangani pekerjaan yang semakin panjang dan lengkap secara mandiri. OpenAI pernah mengungkapkan, pada Mei tahun ini, lebih dari 70% pengguna meminta Codex menangani pekerjaan yang membutuhkan waktu lebih dari satu jam bagi manusia; pada Juni, 1% pengguna aktif dengan penggunaan tertinggi di internal OpenAI menghasilkan lebih dari 60 jam agent turns per hari.
Namun, ketika tugas diterapkan pada skenario yang berbeda, kesulitannya dengan cepat akan berbeda. Berbeda dengan skenario seperti matematika, kode, dan teknik di mana kinerja Agen sudah cukup matang, lingkungan hidup nyata lebih terbuka dan kebutuhan lebih samar. Dots3-note preview memilih untuk meletakkan "ujian" di sini, menuntut kemampuan perencanaan jangka panjang, penilaian, dan koreksi kesalahan yang lebih tinggi pada dirinya sendiri.
Dari data berbagai benchmark utama, dalam banyak tugas penalaran dan agen, model ini dapat menyaingi atau bahkan melampaui model berukuran besar yang parameternya beberapa kali lipat lebih besar, kemampuan visualnya menonjol dalam rentang ukuran yang sama.
Sumber: Blog Teknis Resmi
Sumber: Blog Teknis Resmi
Sebelumnya, Xiaohongshu telah merilis model teks besar dots.llm1, model parsing tata letak dokumen multibahasa dots.ocr, dan model pemahaman visual multimodal besar dots.vlm1. Open source terbaru ini melengkapi kepingan puzzle Agen.
Uji Langsung:
Bisakah Ia Menyelesaikan Tugas Kompleks yang Sebenarnya?
Kemampuan sebenarnya dari sebuah model tidak cukup hanya dilihat dari peringkat. Selanjutnya, kita akan melihat melalui beberapa kasus, bagaimana model ini menghadapi tugas dengan informasi yang tersebar, langkah yang banyak, dan lingkungan yang terus berubah, lalu bagaimana ia secara mandiri melangkah dan memberikan hasil.
Mengambil Alih 《Slay the Spire II》
Pertama, mari kita serahkan satu permainan 《Slay the Spire II》 kepada dots3-note preview.
Kesulitan permainan ini adalah, pilihan rute mana, mengambil kartu mana, apakah menantang elite, bagaimana membelanjakan koin, memilih istirahat atau upgrade di perkemahan, semuanya akan memengaruhi probabilitas bertahan hidup puluhan ronde kemudian. Pilihan optimal lokal kemungkinan besar akan menimbulkan masalah untuk pertarungan Boss nanti.
Model ini sebelumnya tidak dilatih khusus untuk permainan ini, namun dapat mempelajari mekanisme kartu dan musuh berdasarkan umpan balik pertempuran, sambil mengelola nyawa, dek kartu, koin, dan ramuan, terus menyeimbangkan antara toko, perkemahan, dan pertarungan elite, bermain hingga lantai 33.
Memecahkan ARC-AGI 3 dari Nol
Dalam tugas penalaran panjang ARC-AGI 3, aturannya benar-benar tidak diketahui, model perlu mengamati gambar, mengajukan hipotesis, lalu memverifikasinya melalui operasi.
Dots3-note preview secara bertahap menemukan aturan dua kotak yang bergerak sinkron vertikal dan cermin horizontal, serta mengeksplorasi mekanisme seperti kotak berbahaya, penanda yang dapat dipindahkan, saklar tekanan, dan pintu air.
Setiap kali hipotesis salah, model akan memulai mekanisme Self-Critiquing untuk mengevaluasi ulang, menulis aturan yang dikoreksi ke dalam memory.md, file ini mirip dengan buku catatan model, terus menyimpan pemahaman dinamis terhadap lingkungan.
Akhirnya, model memecahkan semua 6 level melalui 320 langkah operasi.
Memecahkan Masalah Renovasi dengan Membaca Gambar
Kemampuan belajar dan penalaran berkelanjutan pada akhirnya harus kembali ke kehidupan nyata.
Misalnya masalah renovasi khas berikut ini: unggah secara bersamaan denah rumah dan tangkapan layar parameter dua model lemari es, serta tambahkan informasi: dinding dapur di dekat sisi ruang belajar, sudah memiliki meja dapur sepanjang 1,5 meter, sekarang ingin meletakkan lemari es di dinding ini, apakah masih muat?
Informasi kunci tersebar di gambar dan penjelasan teks yang berbeda, model perlu menggabungkan denah rumah, ukuran meja dapur yang ada, dan spesifikasi dua lemari es, menghitung sisa ruang di dinding, dan memberikan kesimpulan yang sesuai. Model juga secara aktif mengingatkan pengguna untuk mengukur ulang di lokasi untuk konfirmasi.
Seluruh proses melibatkan pemahaman ruang visual, penalaran kompleks, dan pemanggilan alat, juga menunjukkan kemampuan model untuk menghasilkan jawaban yang disesuaikan berdasarkan lingkungan pribadi yang sebenarnya.
Menggunakan denah rumah yang sama sebelumnya, lanjutkan meminta model untuk merancang beberapa skema renovasi gaya kayu solid untuk ruang belajar.
Model mempertahankan informasi ukuran dan pencahayaan yang diidentifikasi sebelumnya, mencari catatan terkait di Xiaohongshu, mengatur empat set skema gaya kayu solid dan menghasilkan halaman web, secara berurutan menyelesaikan membaca gambar, menghitung, mengambil data, dan menghasilkan konten.
Menyelesaikan Pengembangan Aplikasi visionOS Secara End-to-End
Terakhir, mari kita lihat apakah dots3-note preview dapat menyelesaikan tugas rekayasa perangkat lunak end-to-end yang lengkap secara mandiri, dengan memintanya "merujuk pada desain Xiaohongshu, kembangkan aplikasi native Apple Vision Pro".
Setelah menerima tugas, model tidak buru-buru menulis kode. Pertama-tama memahami kebutuhan produk dan merujuk 9 gambar antarmuka, secara mandiri menentukan rencana pengembangan, termasuk mengadopsi jalur teknologi SwiftUI+RealityKit, merencanakan pengorganisasian jendela, ruang imersif, dan tampilan 3D produk di berbagai modul. Setelah rencana ditetapkan, model melanjutkan mempersiapkan materi seperti gambar lokal dan model 3D, lalu secara bertahap menyelesaikan implementasi kode.
Seluruh proyek menghasilkan 12 file Swift, 1876 baris kode, mengimplementasikan antarmuka seperti feed informasi, halaman pribadi, pesan pribadi, produk, dan mengintegrasikan model 3D USDZ. Selanjutnya, model secara mandiri menghasilkan proyek Xcode, memanggil xcodebuild untuk kompilasi, dan melakukan pemeriksaan di visionOS Simulator, akhirnya menampilkan "BUILD SUCCEEDED".
Dari pemahaman kebutuhan, pemilihan teknologi hingga implementasi kode, kompilasi, dan verifikasi, alur pengembangan ini akhirnya berhasil diselesaikan sepenuhnya.
Dari produk akhir terlihat, sudah memiliki set interaksi ruang yang cukup lengkap. Feed informasi dapat di-scroll, catatan dapat masuk ke halaman detail, halaman pribadi dan pesan pribadi dapat dibuka sebagai jendela independen.
Pengguna juga dapat langsung melihat dan mengganti berbagai produk 3D yang berbeda di antarmuka belanja.
Tidak Ada Jawaban Standar,
Model Harus Terus Belajar, dan Mengoreksi Diri Sendiri
Dari beberapa pengujian, kemampuan dots3-note preview yang paling menonjol adalah menjelajahi sambil mengingat informasi baru, menyesuaikan diri ketika menghadapi perubahan atau penilaian yang salah, hingga hasil disampaikan. Bagaimana caranya? Kuncinya ada pada dua hal: mempelajari dan mengingat informasi yang benar-benar berguna, serta segera menyadari penyimpangan dalam penilaian diri dan memperbaikinya.
Pertama-tama, lab dots harus menyelesaikan satu masalah: setelah pelatihan model selesai, apakah model dapat terus belajar dari lingkungan dan pengguna.
Untuk melatih kemampuan ini, lab dots membangun ribuan lingkungan baru yang sangat panjang dan tidak bergantung pada pengetahuan sebelumnya, memungkinkan Agen terus menjelajahi skenario yang belum pernah ditemui sebelumnya, mempelajari aturan dan pengetahuan baru melalui interaksi dengan lingkungan, untuk digunakan dalam pengambilan keputusan selanjutnya. Dan, ketika panjang tugas secara signifikan melebihi jendela konteks model, model tidak dapat terus bergantung pada informasi yang sudah ada dalam konteks. Setelah dilatih dengan pembelajaran penguatan, model akan secara bertahap belajar bagaimana mempertahankan informasi yang berguna untuk menyelesaikan masalah selanjutnya. Kemampuan ini telah divalidasi pada ARC-AGI 3.
Dari gambar di bawah ini dapat dilihat, dots3-note preview memperoleh skor sekitar 0,35 pada ARC-AGI-3 dengan biaya kurang dari 500 dolar AS, skor absolutnya meskipun lebih rendah dari Claude Opus 4.8 (high), tetapi efisiensi biayanya jelas lebih tinggi.
Namun, untuk melatih proses seperti ini, akan muncul masalah besar lainnya: biaya eksplorasi tugas panjang terlalu tinggi, Agen mungkin membutuhkan waktu belasan jam untuk menyelesaikan satu kali eksplorasi. Jika terus menggunakan metode pembelajaran penguatan value-free yang bergantung pada reward akhir, seringkali harus menunggu hingga seluruh jejak selesai baru mendapatkan sinyal pelatihan, tidak hanya tidak efisien, tetapi juga sulit menilai hasil akhir atau kegagalan disebabkan oleh langkah spesifik mana sebelumnya.
Metode actor-critic seperti PPO dapat meredakan masalah ini, tetapi critic tradisional biasanya memperkirakan nilai keadaan saat ini melalui satu kali komputasi maju dengan daya komputasi tetap. Menghadapi tugas Agen yang kompleks, actor dapat berulang kali bernalar, memanggil alat, lalu memutuskan langkah selanjutnya, critic tidak dapat melakukan hal seperti ini, sangat mudah menyebabkan penilaian yang tidak akurat terhadap kemajuan saat ini.
Lab dots mengusulkan TEMPO (Test-time-scaled Value Estimation with Macro-step Policy Optimization), yang membagi jejak yang sangat panjang menjadi beberapa macro-step, masing-masing berisi beberapa putaran interaksi model dengan lingkungan. Setelah satu fase berakhir, model akan sementara beralih dari actor ke critic, dan melalui penalaran, pemanggilan alat, dan penskalaan waktu uji memperkirakan berapa banyak imbalan yang dapat diperoleh di masa depan dari keadaan saat ini, kemudian mengubah penilaian ini menjadi sinyal pelatihan untuk jejak yang belum selesai.
Perlu dicatat, dalam proses pelatihan TEMPO, model tidak hanya belajar bagaimana bertindak, tetapi juga belajar bagaimana menilai kinerja dirinya saat ini. Dengan bantuan penilaian diri ini, pelatihan pembelajaran penguatan dapat diterapkan pada tugas yang lebih panjang, dan terus mengoptimalkan perilaku dalam jejak panjang.
Hasilnya menunjukkan bahwa keunggulan TEMPO terutama muncul setelah tugas memasuki fase yang lebih sulit. Seiring bertambahnya putaran interaksi, skor GRPO dan Base checkpoint cenderung stagnan, sedangkan TEMPO masih dapat terus meningkat. Dari kemajuan penyelesaian, ketiganya juga menunjukkan perbedaan yang jelas di paruh kedua tugas.
Dan setelah memperkenalkan mekanisme Self-Critiquing, kemampuan penilaian diri dots3-note preview lebih kuat dari yang diperkirakan sebelumnya. Bahkan jika Agen belum memecahkan suatu masalah, ia dapat menilai dari dua keadaan perantara yang tampak serupa, mana yang lebih berpotensi untuk mencapai terobosan.
Kemampuan penilaian diri seperti ini selain digunakan untuk pelatihan pembelajaran penguatan, juga tercermin dalam fase penalaran. Dalam partisipasi IMO 2026 sebelumnya, versi cabang seri dots3-note preview sambil menghasilkan pembuktian, melalui pemanggilan alat berulang kali memeriksa pembuktian ini, dan berdasarkan hasil penilaian memodifikasi dan mengoptimalkan, akhirnya meraih skor sempurna.
Di masa depan, lab dots akan mengeksplorasi penilaian diri rekursif (recursive self-critiquing) dalam "tugas terbuka", memungkinkan model dalam kondisi kurangnya reward eksternal yang jelas, dapat menilai kemajuan tugas sendiri, dan menyesuaikan memori serta merencanakan tindakan selanjutnya berdasarkan hal itu.
Kombinasi "memori aktif + pembelajaran penguatan jejak ultra-panjang + penilaian diri di tengah jalan" dari Xiaohongshu ini memberikan solusi konkret bagi masuknya Agen panjang ke dunia nyata.
Mengapa Xiaohongshu Memilih "Agen Panjang Kehidupan Nyata"?
Bagi komunitas minat dan kehidupan Xiaohongshu, secara alami dekat dengan tugas kehidupan nyata seperti ini. Banyak masalah yang didiskusikan pengguna setiap hari tidak hanya tidak memiliki jawaban tunggal, tetapi seringkali pengguna sendiri mungkin tidak sepenuhnya memahami apa yang sebenarnya mereka inginkan.
Perjalanan, pernikahan, dekorasi rumah, gaya berpakaian, dan sebagainya secara inheren memiliki karakteristik preferensi yang berbeda-beda, kondisi yang terus dilengkapi, dan informasi multimodal yang padat. Xiaohongshu telah lama menghadapi kebutuhan kompleks dan panjang seperti ini, sehingga secara alami menjadikannya sebagai fokus penelitian dan skenario penerapan Agen.
Agen di bidang matematika, kode, dan bidang lainnya telah menunjukkan kepada industri bahwa dalam lingkungan dengan tujuan yang relatif jelas dan hasil yang dapat diverifikasi, AI dapat memecah tugas kompleks menjadi banyak langkah, dan terus mengeksekusi untuk waktu yang sangat lama. Kondisi dalam kehidupan nyata jauh lebih rumit, tidak ada kasus uji yang tersedia di mana-mana, tujuan dan batasan juga akan berubah seiring dengan tugas. Ketidakjelasan ini membuat kekurangan Agen panjang lebih jelas terlihat.
Dua set tolok ukur yang diopen source oleh lab dots, secara intuitif menunjukkan kesenjangan dan kekurangan tersebut.
Satu set adalah VibeSearchBench, yang menguji "ketika pengguna tidak menyebutkan kebutuhannya sekaligus, dapatkah Agen memahami apa yang sebenarnya diinginkan pengguna", mencakup 20 domain, 200 tugas. Evaluasi mensimulasikan pengguna nyata, secara bertahap melengkapi kebutuhan dan batasan dalam percakapan multi-ronde, lalu melihat apakah model dapat secara akurat memahami apa yang diinginkan pengguna.
Set lainnya adalah VibeLifeBench, yang menekankan perubahan waktu dan lingkungan, menguji "setelah kondisi eksternal berubah, dapatkah Agen tetap mengikutinya", mencakup 10 domain, 20 tugas, setiap tugas terdiri dari 20 hingga 30 tahap, dan menetapkan 1247 atomic checks, digunakan untuk memeriksa apakah keadaan dapat tetap konsisten, apakah alat dieksekusi dengan benar, dan apa yang akhirnya disampaikan.
Hasilnya menunjukkan, bahkan model papan atas global seperti Claude Opus 5, GPT-5.5, tidak mencapai tingkat kelulusan yang ditetapkan dalam dua set tolok ukur ini.
Gambar kiri adalah peringkat lengkap VibeSearchBench, gambar kanan adalah peringkat lengkap VibeLifeBench.
Halaman utama VibeSearchBench:https://vibebench.github.io/VibeSearchBench.github.io/
Halaman utama VibeLifeBench:https://vibebench.github.io/VibeLifeBench_homepage/
Hasil ini menunjukkan satu hal: model sudah cukup kuat dalam tugas titik tunggal yang sulit, tetapi mempertahankan kemampuan ini secara stabil selama berjam-jam atau lebih lama, masih merupakan hal yang belum dapat dicapai oleh Agen. Eksplorasi dan tata letak Xiaohongshu untuk hal ini baru saja dimulai.
Dots3-note adalah versi paling ringan dalam seri dots3, versi preview yang saat ini diopen source masih memiliki ruang untuk optimasi lanjutan dalam pengalaman dan detail. Menurut pengungkapan lab dots, versi resmi dots3-note juga akan diopen source dalam waktu dekat. Di masa depan, seri dots3 juga akan meluncurkan jazz dan aria, bersama note membentuk tiga tingkat, mencakup kebutuhan aplikasi dengan kompleksitas tugas, kecepatan respons, dan biaya komputasi yang berbeda.
Detail lebih lanjut tentang metode pelatihan silakan lihat blog teknis resmi (bahasa Mandarin): https://studio.dots.ai/dots/dots3-zh.html
Artikel ini berasal dari akun WeChat publik "Machine Heart" (ID:almosthuman2014), penulis: Machine Heart yang Fokus pada Agen, editor: Du Wei, Yang Wen
