# Artikel Terkait Pra-pelatihan

Pusat Berita HTX menyediakan artikel terbaru dan analisis mendalam mengenai "Pra-pelatihan", mencakup tren pasar, pembaruan proyek, perkembangan teknologi, dan kebijakan regulasi di industri kripto.

Pertama Kali: Pra-pelatihan VLA Murni dari Video Manusia untuk Operasi Cekatan, Dapat Diterapkan Hanya dengan Sedikit Data untuk Fine-tuning

Riset kolaboratif dari Microsoft Asia Research dan Universitas Tsinghua memperkenalkan kerangka pra-pelatihan VITRA, yang pertama kali memanfaatkan video aktivitas manusia skala besar untuk pra-pelatihan model Vision-Language-Action (VLA) dalam manipulasi lincah. Inti inovasinya adalah solusi otomatis untuk mengubah video manusia tanpa anotasi menjadi data V-L-A terstruktur. Melalui ekstraksi jejak gerakan 3D tangan, segmentasi aksi atomik berdasarkan kecepatan, dan pembuatan instruksi bahasa dengan GPT-4, dibangun dataset besar berisi 1 juta klip. Model VLA, dengan arsitektur gabungan VLM (PaliGemma-2) dan Diffusion Action Expert, menunjukkan kemampuan prediksi gerakan **zero-shot** yang kuat di lingkungan tak terlihat. Setelah penyetelan halus (**fine-tuning**) hanya dengan sekitar 1.2K data robot nyata, model berhasil diterapkan pada robot lengan lengkap dengan tangan lincah (seperti Realman dengan XHAND1), mencapai tingkat keberhasilan tinggi dalam tugas seperti mengambil, menempatkan, menuang, dan menyapu, serta menunjukkan **kemampuan generalisasi dan ketangguhan** yang luar biasa terhadap objek dan latar belakang baru. Penelitian ini juga mengungkap **hukum penskalaan (_scaling law_)** antara jumlah data pra-pelatihan dan peningkatan kinerja. Dukungan perangkat keras dari tangan lincah XHAND1, dengan model URDF presisi tinggi dan arsitektur penggerak langsung (_direct-drive_), memungkinkan alih ruang gerak manusia-robot dan eksekusi yang responsif. Karya terobosan ini membuka jalan bagi pelatihan model VLA yang lebih efisien dan dapat digeneralisasi, menggunakan data video manusia yang melimpah, mendekatkan pada realisasi kecerdasan berwujud (_embodied AI_) yang lincah dan adaptif.

marsbit06/08 08:57

Pertama Kali: Pra-pelatihan VLA Murni dari Video Manusia untuk Operasi Cekatan, Dapat Diterapkan Hanya dengan Sedikit Data untuk Fine-tuning

marsbit06/08 08:57

Alumni Tsinghua '00 Wang Guan Kembali Hadir dengan Karya Baru: Gunakan Token 1/900, Komputasi 1/432, Ubah Paradigma Model Pra-Latihan Transformer

Alumni muda 00-an Universitas Tsinghua, Wang Guan, dan timnya merilis karya baru: model pra-pelatihan efisien HRM-Text, yang menggunakan model rekursif berlapis (HRM) untuk menggantikan Transformer standar. Dengan hanya 1B parameter dan dilatih pada 40B token unik dengan biaya sekitar $1.500, HRM-Text mencapai performa setara model sumber terbuka 2B hingga 7B dalam benchmark seperti MMLU (60,7%) dan GSM8K (84,5%). Metode ini menggunakan 100-900 kali lebih sedikit token pelatihan dan 96-432 kali lebih sedikit perhitungan dibanding baseline standar. Arsitekturnya membagi komputasi menjadi modul H (lambat) dan L (cepat) dengan pembaruan rekursif multi-langkah, sementara target pelatihannya berfokus hanya pada bagian jawaban dalam pasangan instruksi-jawaban, menggunakan masker PrefixLM. Pendekatan ini menunjukkan bahwa prior struktural dan target pelatihan yang ditargetkan dapat secara signifikan menurunkan ambang batas pra-pelatihan. Namun, ada batasan seperti cakupan pengetahuan yang terbatas dan kebutuhan validasi skala lebih besar di masa depan.

marsbit05/26 03:18

Alumni Tsinghua '00 Wang Guan Kembali Hadir dengan Karya Baru: Gunakan Token 1/900, Komputasi 1/432, Ubah Paradigma Model Pra-Latihan Transformer

marsbit05/26 03:18

AI Influencer Terkemuka Karpathy Bergabung dengan Anthropic, Apa Tujuannya?

Mantan pendiri OpenAI Andrej Karpathy, seorang tokoh berpengaruh dan edukator terkenal di bidang AI, secara resmi bergabung dengan Anthropic. Ia akan memimpin tim penelitian baru yang fokus pada riset pra-pelatihan, dengan tugas inti mengeksplorasi penggunaan Claude untuk mempercepat riset di bidang tersebut. Kepindahan Karpathy terjadi saat Anthropic menunjukkan momentum positif, termasuk pertama kalinya mengungguli OpenAI dalam tingkat adopsi perusahaan dan meluncurkan berbagai inisiatif strategis. Langkah ini dipandang bukan sekadar pergantian pekerjaan, melainkan sinyal kuat tentang pergeseran persepsi industri dan perebutan kepemimpinan pengetahuan. Kehadirannya yang membawa kredibilitas teknis dan pengaruh publik diharapkan dapat menarik lebih banyak talenta ke Anthropic. Pilihan Karpathy untuk bergabung dengan Anthropic, bukan kembali ke OpenAI, juga mencerminkan dinamika persaingan dan kemungkinan perbedaan prioritas antara dua perusahaan pemimpin AI tersebut. Dengan menempatkan Karpathy di garis depan riset pra-pelatihan, Anthropic melakukan taruhan jangka panjang pada pengembangan kemampuan fundamental model AI, menggunakan pendekatan "AI membantu AI berevolusi" yang berpotensi mendorong lompatan kemampuan di masa depan.

marsbit05/21 08:04

AI Influencer Terkemuka Karpathy Bergabung dengan Anthropic, Apa Tujuannya?

marsbit05/21 08:04

活动图片

Kategori Populerright-arrow

Tag Populerright-arrow

Pembaruan Proyek

Berita Industri