Dataset Pelatihan Doc2Repo Jarak Jauh Pertama, Agen Kode Tak Hanya Perbaiki Bug, Mulai Bangun Repository
Dengan kemampuan LLM Code Agent yang terus meningkat, peneliti kini beralih ke tugas jangka panjang yang lebih mendekati kebutuhan dunia nyata. Dalam konteks ini, tim dari Renmin University of China merilis dataset DeNovoSWE, yang berfokus pada tugas rekayasa perangkat lunak jangka panjang, khususnya pembuatan kode tingkat repositori dari nol.
Dataset ini dibangun menggunakan mekanisme **Divide & Conquer** dan **Critic & Repair**, menghasilkan 4.818 instance data berkualitas tinggi. DeNovoSWE mengatasi tantangan generasi repositori utuh dari dokumen, yang membutuhkan perencanaan arsitektur, pembuatan file, desain API, dan integrasi modul.
Eksperimen menunjukkan peningkatan signifikan pada model yang dilatih dengan DeNovoSWE. Misalnya, Qwen3-30B-A3B-Instruct meningkat dari 5.8% menjadi 47.2% pada benchmark BeyondSWE-Doc2Repo, dan dari 4.3% menjadi 23.0% pada NL2RepoBench. Peningkatan ini membuktikan bahwa data tugas jangka panjang khusus lebih efektif untuk melatih kemampuan rekayasa perangkat lunak tingkat repositori, melampaui data konvensional yang hanya berfokus pada perbaikan bug.
Kesimpulannya, DeNovoSWE menyediakan landasan data yang terstruktur, dapat diverifikasi, dan anti-kebocoran untuk melatih agen kode dalam memahami dokumen, merencanakan arsitektur, dan menghasilkan repositori perangkat lunak yang lengkap dan dapat dijalankan, menandai langkah maju menuju kemampuan rekayasa perangkat lunak jangka panjang yang sebenarnya.
marsbit06/25 08:54
