Hasil besar kecerdasan berwujud, bakal segera datang!!!
Sejak Generalist meluncurkan otak berwujud Gen 1.5 yang mampu mempelajari aksi 3 hingga 12 detik pekan lalu~
Baru saja, startup berwujud asal Amerika Utara, Skild AI, merilis model dasar robot baru S1, yang langsung memperpanjang durasi tugas pembelajaran konteks robot menjadi lebih dari 10 menit.
S1 kali ini mengusung pembelajaran dalam konteks (in-context learning, ICL):
Tidak perlu mempelajari data operasi baru secara khusus pada tahap pelatihan ulang, cukup menonton satu video demonstrasi manusia, langsung bisa "meniru-niru", menyelesaikan seluruh alur operasi kompleks yang belum pernah dilihat sebelumnya.
Dalam demonstrasi resmi, robot berhasil menyelesaikan tugas-tugas panjang seperti membuat pancake, menyeduh kopi, mengganti pot tanaman, serta merakit perangkat. Bahkan pada tugas yang belum pernah dilihat, tingkat keberhasilannya mencapai 66%, jauh melampaui VLA berbasis petunjuk bahasa (hanya 9%).
Selain itu, bahkan jika mengambil jalur fine-tuning pelatihan ulang tradisional, untuk mengejar efek S1 yang hanya melihat satu kali demonstrasi, kira-kira perlu memasukkan sekitar 380 demonstrasi tugas.
Sangat menakjubkan!
Bisa dibilang, gelombang pekerjaan yang terakhir ini yang berfokus pada pembelajaran dalam konteks, kembali membangkitkan harapan banyak orang terhadap kecerdasan berwujud.
Ada pengguna Twitter yang menyatakan, robot umum mungkin akan muncul dua tahun lagi, bukan tujuh tahun.
Ada juga pengguna yang menyatakan, dari Rhoda, ke Generalist pekan lalu, lalu ke tugas 10 menit Skild S1 sekarang, momen GPT sejati robot tampaknya sedang muncul.
Karena begitu kemampuan ini benar-benar tergeneralisasi, di masa depan, mengembangkan skill robot mungkin benar-benar akan menjadi seperti menulis Prompt untuk ChatGPT.
Benarkah seajaib ini? Mari kita lihat bersama.
Dari Era BERT, Melangkah ke Era GPT
Untuk memahami bagaimana sebenarnya pembelajaran dalam konteks S1 kali ini, kita harus lihat dulu, bagaimana robot tradisional mempelajari skill baru.
Dalam pipeline tradisional, pembelajaran robot sebenarnya tidak jauh berbeda dengan model besar:
Pertama-tama melakukan pra-pelatihan pada data dalam jumlah besar, mempelajari beberapa kemampuan dasar; kemudian saat masuk ke skenario spesifik, mengumpulkan data untuk tugas tertentu, melalui pelatihan ulang, agar robot mempelajari skill khusus.
Hanya saja masalahnya adalah, meskipun alur robot dan model besar hampir sama, biaya datanya sama sekali berbeda.
Data pra-pelatihan model besar, sebagian besar berasal dari internet; bahkan saat masuk ke skenario khusus seperti pemrograman, Agen, banyak data pelatihan ulang juga dapat diperoleh dengan cepat secara online, bahkan dihasilkan secara otomatis.
Tapi robot lebih menyedihkan. Data pra-pelatihan harus dikumpulkan di dunia nyata, data pelatihan ulang juga harus dikumpulkan di dunia nyata.
Jadi, dalam blog teknisnya, Skild AI langsung berkomentar:
Jika sebuah model dasar robot, setiap kali mempelajari tugas baru masih membutuhkan puluhan, ratusan jam data mesin asli, lalu melakukan pelatihan ulang lagi, maka saya tanya, "dasar" dari model "dasar" ini, di mana dasarnya?
Mereka bahkan mengutip penelitian yang ada, yang menunjukkan bahwa jika data untuk tugas baru sudah cukup banyak, maka model yang dilatih dari nol bahkan mungkin bisa mengejar model dasar yang sudah melalui pra-pelatihan lalu fine-tuning.
Jadi, apa sebenarnya arti pra-pelatihan berwujud?
Untuk ini, jawaban yang diberikan Skild adalah: pembelajaran dalam konteks.
Untuk memiliki referensi, Skild mengambil jalur perkembangan model besar sebagai perbandingan.
BERT di awal sudah cukup kuat, tetapi setiap menghadapi tugas baru, seringkali masih harus menyiapkan data lagi, lalu melakukan fine-tuning sekali lagi.
Yang benar-benar mengubah permainan, adalah kemampuan pembelajaran dalam konteks yang mulai muncul setelah GPT-3:
Tidak perlu mengubah bobot model, cukup berikan beberapa contoh dalam Prompt, model bisa sementara "mempelajari" sebuah tugas baru.
Berdasarkan ini, Skild berpendapat bahwa robot sekarang sebenarnya masih terperangkap di era BERT yang serupa, yang benar-benar mereka inginkan adalah, agar robot juga menyelesaikan transformasi paradigma yang sama.
Dengan kata lain, nilai sebenarnya dari pra-pelatihan seharusnya tidak hanya membuat pelatihan ulang mengumpulkan sedikit data, tetapi membuat robot akhirnya memperoleh kemampuan "belajar langsung dari konteks".
Pembelajaran dalam Konteks
Lalu, apa sebenarnya yang dipelajari S1 dari konteks kali ini?
Skild berpendapat, yang benar-benar dapat menguji kemampuan pembelajaran dalam konteks robot sebenarnya hanya dua dimensi:
Satu adalah, apakah bisa mempelajari skill baru yang sama sekali tidak pernah dilihat selama pelatihan; yang lain adalah, apakah bisa menggabungkan kembali skill yang ada, untuk menyelesaikan tugas baru yang sangat panjang dan kompleks.
Misalnya, robot hanya perlu menonton video membalik pancake, langsung bisa belajar cara membuat pancake —
Meskipun skill ini sebelumnya tidak pernah muncul dalam data pelatihannya.
Sementara itu, dibandingkan dengan video detik yang ditunjukkan Gen-1.5 pekan lalu, S1 kali ini langsung memperpanjang pembelajaran dalam konteks menjadi paling lama 10 menit.
Dalam tugas seperti mengganti pot tanaman, setiap tugas membutuhkan penyelesaian puluhan langkah operasi berturut-turut. Dalam demonstrasi tugas panjang ini, robot tidak hanya perlu meniru, tetapi juga perlu tahu:
Sekarang saya sampai langkah mana, selanjutnya harus ngapain, bagaimana menggabungkan skill, jika gagal di tengah jalan bagaimana melanjutkan.
Dengan kata lain, robot perlu benar-benar memahami maksud tugas-aksi dalam demonstrasi video, melihat situasi dan menanggapinya, berimprovisasi, dan bukan sekadar kloning perilaku.
Selain itu, dalam tugas mengganti pot tanaman, dari mulai merekam demonstrasi, sampai robot sendiri yang melakukannya, hanya membutuhkan 11 menit, langsung mengalahkan pelatihan ulang tradisional dalam hal efisiensi.
Terakhir, dalam seluruh proses ini, S1 tidak menggunakan fine-tuning, juga tidak menggunakan post-training, bobot model benar-benar tidak berubah, dengan satu set bobot yang sama, menyelesaikan semua tugas yang ditunjukkan dalam blog.
Pada dasarnya sejalan dengan lompatan model besar dari Bert yang membutuhkan fine-tuning skenario tertentu, ke GPT-3 yang hanya perlu melihat demonstrasi untuk menyelesaikan tugas OOD.
Satu-satunya perbedaan adalah, prompt yang digunakan bukan lagi bahasa, tetapi menggunakan video aksi yang dapat lebih selaras dengan tugas hilir.
Eksperimen: Apakah ICL Benar-benar Lebih Mudah Ditingkatkan?
Pada bagian eksperimen, Skild pertama-tama membandingkan prompt video ICL dengan prompt bahasa tradisional VLA pada tugas yang telah dilihat (dalam data pelatihan) dan yang belum pernah dilihat.
Hasil pengujian menunjukkan, ketika data pelatihan hanya 1000 jam, prompt bahasa lebih baik, dan seiring peningkatan skala data, ICL mulai unggul.
Saat mencapai 100 ribu jam, pada tugas yang telah dilihat selama pelatihan: ICL 96%, prompt bahasa 89%.
Sedangkan pada tugas OOD yang benar-benar krusial: ICL 66%, prompt bahasa hanya 9%, langsung membuka jarak lebih dari 7 kali lipat.
Untuk memverifikasi generalisasi S1, Skild melakukan pengujian lagi di bawah kondisi eksperimen yang berbeda.
Hasilnya menunjukkan, penurunan kinerja prompt bahasa VLA, tertinggi mencapai 3 kali lipat dari ICL.
Artinya, yang dipelajari ICL bukanlah pengulangan aksi tetap dalam skenario tetap, tetapi lebih mampu mengikuti lingkungan saat ini untuk merencanakan ulang bagaimana melakukannya.
Terakhir, dalam hal pembelajaran one shot.
S1 pada tugas baru sama sekali tidak melakukan post-training, hanya melihat satu demonstrasi video, tingkat keberhasilannya mencapai 66%.
Sebagai perbandingan, VLA tradisional kira-kira perlu melalui pelatihan ulang sekitar 380 demonstrasi, untuk mengejar level yang sama.
Tentu saja, jika terus ditambah hingga 2000 demonstrasi, post-training tradisional akhirnya bisa mencapai 86%.
Jadi kesimpulannya mungkin bukan "robot tidak perlu dilatih lagi di masa depan", tetapi:
Dulu sebuah skill baru mungkin perlu diajarkan ratusan kali, sekarang cukup lihat sekali, langsung bisa mencapai 60-70 poin.
Ini juga yang disebut Skild sebagai hukum penskalaan ICL:
Semakin banyak data, model tidak hanya akan memiliki lebih banyak skill, tetapi semakin pandai "mempelajari skill dari demonstrasi".
Siapa Skild AI?
Skild didirikan pada 2023, di belakangnya berdiri dua orang yang tidak asing di lingkaran robotika CMU: Deepak Pathak dan Abhinav Gupta.
Keduanya adalah profesor di Robotics Institute, Carnegie Mellon University, Deepak terutama meneliti pembelajaran robot, pembelajaran penguatan, dan visi komputer, Abhinav adalah ahli besar di bidang visi komputer, pembelajaran mandiri.
Sebelumnya pada 2022, keduanya pernah berkolaborasi dalam WHIRL, membuat robot melakukan imitasi one-shot dengan menonton video manusia, bisa dibilang jalur S1 ini, juga bukan tiba-tiba muncul dari celah batu.
Sebagai perusahaan bintang di lingkaran berwujud Amerika Utara, awal 2024 Skild baru keluar dari mode siluman, langsung meraih pendanaan Seri A 300 juta dolar AS, valuasi 1,5 miliar dolar AS;
Sampai Januari tahun ini, menyelesaikan lagi pendanaan Seri C 1,4 miliar dolar AS, valuasi langsung mencapai lebih dari 14 miliar dolar AS, dipimpin SoftBank, Nvidia, Bezos, dll. terus ikut. Hanya lebih dari dua tahun, valuasi hampir meningkat 10 kali lipat.
Secara horizontal, posisi Skild di lingkaran berwujud Amerika Utara juga cukup spesial.
Dibandingkan dengan PI yang lebih seperti membuat "robot GPT", Generalist baru-baru ini menekankan one-shot learner, serta tren full-stack Genesis AI, Sunday baru-baru ini, Skild selalu menekankan satu kalimat: Any robot, any task, one brain.
Ini lebih menekankan cross-embodiment, berharap Skild Brain yang sama dapat berjalan di tubuh yang berbeda seperti lengan robot, berkaki empat, humanoid, dll.
Secara sederhana, ingin menjadi Android di era robot: satu lapisan kecerdasan, dimasukkan ke berbagai tubuh yang berbeda.
Ini juga yang menentukan strategi data Skild: ambil semuanya.
Skild melihat data robot sebagai tiga dimensi: kedekatan perangkat keras, keberagaman, dan kemampuan penskalaan:
Teleoperasi mesin asli paling dekat dengan perangkat keras, tetapi mahal; video manusia sudut pandang orang pertama paling mudah diskalakan, tetapi jauh dari tubuh robot; simulasi murah bisa diproduksi massal, tetapi ada kesenjangan simulasi-ke-nyata.
Jadi mereka untuk Robot Teleop, UMI, Egocentric Video, Simulation, pada dasarnya mengambil strategi menggunakan semuanya.
Dan ICL S1, sebenarnya juga perpanjangan alami dari jalur ini:
September 2025 LocoFormer → Februari 2026 ICL In-Domain pertama kali → Mei pertama kali membalik pancake → Agustus peluncuran S1, langsung mendorong pembelajaran dalam konteks ke tugas panjang OOD paling lama 10 menit.
Jadi sekarang masalah yang benar-benar layak diperhatikan, mungkin bukan lagi apakah robot bisa mempelajari lebih banyak skill, tetapi:
Biaya robot mempelajari skill baru, apakah benar-benar bisa berubah dari "diajarkan ratusan kali", menjadi "kamu lakukan sekali, dia lihat sekali".
Jika hukum penskalaan ini masih bisa terus berlaku, maka yang disebut momen GPT robot, mungkin benar-benar bukan hanya sekadar jargon pemasaran lagi.
Tautan referensi:[1]https://www.skild.ai/blogs/s1
Artikel ini berasal dari akun WeChat publik "量子位", penulis: henry
