Setelah hampir dua tahun, Fei-Fei Li akhirnya kembali menjadi tamu di a16z, membahas Kecerdasan Spasial dan Rencana Utama World Labs di Jalur Robotika.
Informasi yang disampaikan sangat padat, benar-benar tidak berani berkedip!
Tujuan kami adalah menjadikan Kecerdasan Spasial sebagai batas depan AI berikutnya.
Kemampuan untuk bertindak dalam ruang fisik masih menjadi salah satu kemampuan paling menarik dan berdampak luas di dunia AI masa depan, dan robot adalah intinya.
Robot adalah batu uji pertama bagi implementasi kecerdasan spasial, dan juga skenario aplikasi penting untuk pemodelan dunia.
SceniX memecahkan masalah tersulit di bidang robotika: data pelatihan dan data evaluasi sangat langka.
Agar robot benar-benar bekerja, kita harus melepaskan kekuatan scaling law (hukum penskalaan).
Evaluasi di lingkungan nyata tidak hanya lambat, tetapi juga berbahaya dan mahal. Sebaliknya, lingkungan simulasi memiliki kontrol dan kemampuan analisis yang sepenuhnya dapat dikendalikan; memberikan nilai unik baik dalam hal keandalan maupun efisiensi.
Model spesifik mana yang digunakan sebenarnya tidak penting, karena model akan selalu berganti, tetapi infrastruktur tidak.
Begitu video dirilis, khayalan netizen di kolom komentar langsung melambung tinggi. Bahkan ada yang merencanakan "Robinson Crusoe" versi dengan robot, lengkap dengan peralatan yang perlu dibawa sudah diatur! (Ah, yang benar saja?)
Tidak bisa disangkal, kondisi mental netizen kali ini sungguh indah, membuat orang ingin segera mengulurkan clapperboard dan berteriak "Action".
Baru-baru ini, World Labs mengumumkan akuisisi terhadap SceniX, dan berencana bekerja sama dengan SceniX untuk menciptakan arena latihan digital yang dapat diskalakan untuk robot.
Tak lama kemudian, CEO World Labs Fei-Fei Li bersama dengan rekan pendiri SceniX Yunzhu Li menjadi tamu di wawancara terbaru a16z "Fei-Fei Li is Solving the Hardest Problem in Robotics", untuk pertama kalinya mengupas tuntas masalah inti yang sedang mereka selesaikan bersama: membuat AI tidak hanya bisa memahami dunia, tetapi juga mengubahnya dengan tindakan.
Menariknya, Yunzhu Li juga pernah menjadi postdoctoral yang dibimbing langsung oleh Fei-Fei Li, kisah seperti apa yang memicu kerja sama ini?
Kami telah menyempurnakan transkrip wawancara dengan bantuan AI tanpa mengubah makna aslinya.
Selamat menikmati~
Mengapa Robot Adalah Batu Uji Pertama Implementasi Kecerdasan Spasial?
Martin Casado (Pemandu Acara): Fei-Fei, bisakah kamu memperkenalkan pekerjaan perusahaan World Labs kepada pendengar yang belum mengenalnya?
Fei-Fei Li: Baik, World Labs adalah perusahaan rintisan yang didirikan dua tahun lalu, sekaligus lab model terdepan.
Tujuan kami adalah menjadikan Kecerdasan Spasial sebagai batas depan AI berikutnya.
Singkatnya, membuat AI mampu menghasilkan, memahami, bernalar, dan berinteraksi dengan lancar di ruang nyata atau virtual.
Membangun model dunia besar adalah salah satu jalur menuju kecerdasan spasial, dan juga arah yang paling diprioritaskan World Labs saat ini.
Pemandu Acara: Sejak awal kamu menekankan bahwa mesin harus mampu merasakan ruang, bernalar tentang ruang, dan bertindak di dalamnya. Saya pikir tindakan di ruang masih merupakan tujuan yang jauh, tetapi sekarang kamu mengakuisisi perusahaan robotika. Mengapa waktunya sudah matang? Apa maksud akuisisi ini?
Fei-Fei Li: Robot bukanlah satu-satunya cara untuk bertindak atau berinteraksi dengan ruang. Di bidang kreatif seperti VFX (Efek Visual), game, dan desain, orang sudah lama bisa membangun dunia di ruang virtual dan berinteraksi secara imersif.
World Labs selalu memiliki penilaian: dunia tempat kita hidup dapat menjadi multiverse, dan kita dapat menciptakan teknologi yang memungkinkan pengguna, kreator, dan pengembang bertindak di berbagai ruang.
Namun, kemampuan untuk bertindak dalam ruang fisik masih menjadi salah satu kemampuan paling menarik dan berdampak luas di dunia AI masa depan, dan robot adalah intinya.
World Labs selalu percaya bahwa robot adalah batu uji pertama bagi implementasi kecerdasan spasial, dan juga skenario aplikasi penting untuk pemodelan dunia. Mengundang SceniX dan timnya bergabung dengan World Labs adalah bagian dari visi dan misi jangka panjang kami.
Pemandu Acara: Yunzhu, kamu adalah rekan pendiri SceniX. Bisakah kamu menjelaskan latar belakangmu dan apa yang dilakukan SceniX?
Yunzhu Li: Halo semua, saya Yunzhu Li, rekan pendiri SceniX dan asisten profesor di Columbia University.
Pengalaman penelitian saya dimulai saat mengambil PhD di MIT, kemudian melakukan postdoctoral di Stanford di bawah bimbingan Fei-Fei Li. Tujuan karir saya selalu sederhana, yaitu membantu robot lebih baik dalam merasakan dan berinteraksi dengan dunia fisik.
Saya orang yang sangat praktis, berharap robot dapat bekerja di lingkungan fisik yang nyata.
Kami perhatikan bahwa saat ini robot universal menghadapi banyak hambatan, terutama di tahap pelatihan dan evaluasi. Oleh karena itu, kami sedang mengembangkan pipeline real-to-sim-to-real, yang memetakan lingkungan nyata ke dunia digital dengan keselarasan tinggi.
Keselarasan yang dimaksud adalah apa yang terjadi di dunia digital juga harus dapat terjadi di lingkungan nyata.
Dengan cara ini, pengumpulan data dan evaluasi yang sebelumnya harus dilakukan di lingkungan nyata, dapat sebagian digantikan oleh data yang dapat dihasilkan secara skala besar di dunia digital. SceniX dimulai dari sini.
Kami membentuk tim yang mencakup robotika, pembelajaran robot, simulasi, dan rendering, dan sedang mencoba membangun tumpukan teknologi real-to-sim-to-real yang lengkap untuk mengatasi hambatan-hambatan kunci ini.
Fei-Fei Li: Ada juga kisah menarik di sini (tertawa). Kamu mungkin mengira karena Yunzhu pernah menjadi postdoctoral saya, jadi kami sudah lama membahas merger SceniX dan World Labs.
Sebenarnya tidak. SceniX awalnya datang ke World Labs sebagai klien.
Dunia ini sangat kecil. Musim dingin lalu, mungkin November atau Desember, kami merilis versi pertama model generatif Marble, SceniX segera mendaftar dan menggunakannya.
Awalnya saya bahkan tidak tahu itu perusahaan Yunzhu. Setelah mengetahuinya, saya meneleponnya dan menyadari ada banyak ruang untuk kolaborasi antara World Labs dan SceniX.
Pemandu Acara: Bisakah kamu menjelaskan Marble secara singkat?
Fei-Fei Li: Oke. Marble adalah model dasar yang terus dilatih dan diiterasi oleh World Labs. Inti kemampuan versi publik saat ini adalah menerima satu atau beberapa gambar, teks, atau kombinasi modalitas ini, dan mengubahnya menjadi dunia yang konsisten secara geometri.
Dunia ini terlihat sangat nyata dan tidak ada celah.
Dan SceniX menyelesaikan masalah yang sangat sulit di bidang robotika: data pelatihan dan data evaluasi sangat langka.
Ini berbeda dengan model bahasa, yang dapat memperoleh data berlimpah dari internet, tetapi robot tidak bisa.
Agar robot benar-benar bekerja, kita harus melepaskan kekuatan scaling law (hukum penskalaan).
Lalu dari mana data ini berasal? Ini adalah pertanyaan mendalam yang terus ditanyakan oleh seluruh komunitas robotika.
Bagaimana World Labs dan SceniX Saling Melengkapi?
Pemandu Acara: Kalian berdua telah membentuk tim yang sangat kompeten. Seberapa besar tumpang tindih kemampuan kedua belah pihak, dan sejauh mana hal itu memperluas kemampuan World Labs?
Fei-Fei Li: Saya pikir kedua tim sangat saling melengkapi, dan memiliki misi yang sama.
Yunzhu adalah salah satu rekan pendiri teknis SceniX. Yang lainnya adalah Changxi Zheng, profesor di Columbia University, dan ahli teknologi simulasi kelas dunia dengan latar belakang VFX. Dia pernah bekerja di Tencent dan memiliki pengalaman startup.
Xiaochen Hu (Sonny) adalah kepala teknik yang luar biasa, pernah bekerja di perusahaan rintisan yang kemudian diakuisisi oleh Amazon, dan terlibat dalam berbagai tumpukan teknologi computer vision di Amazon.
Yunzhu membawa pemikiran kepemimpinan dan kekuatan teknis di bidang robotika, dengan kemampuan yang mencakup perangkat keras hingga tumpukan penuh robotika. Saat menjadi postdoctoral di Stanford di bawah bimbingan saya, dia sudah menjadi peneliti robotika yang menguasai pemodelan dan perangkat keras. Murid-murid Yunzhu dan tim SceniX melengkapi talenta yang sebelumnya belum dimiliki World Labs.
Changxi membawa kemampuan simulasi yang sangat kuat. Pekerjaan World Labs memiliki banyak hubungan dengan dunia simulasi, sedangkan SceniX relatif kurang dalam model generatif dan kemampuan rekonstruksi 3D berbasis computer vision, yang justru merupakan keahlian World Labs dan teknologi yang dibutuhkan SceniX.
Setelah digabungkan, peta kemampuan akan lebih lengkap.
Pemandu Acara: Yunzhu, dalam memutuskan untuk terus berkembang secara independen atau bergabung dengan World Labs, bagaimana kamu menilai kesesuaian kedua belah pihak? Mengapa akhirnya membuat keputusan ini?
Yunzhu Li: Awalnya, kami mempertimbangkan untuk terus berkembang secara independen. Tetapi setelah berdiskusi dengan Fei-Fei Li dan melihat sinergi kedua belah pihak, kami pikir sangat masuk akal untuk maju bersama.
Pekerjaan real-to-sim-to-real SceniX melibatkan rekonstruksi padat (Dense Reconstruction) lingkungan, termasuk menangkap penampilan, struktur geometri, dan dinamika lingkungan, yaitu bagaimana lingkungan berubah setelah aksi diberikan. Saat ini, tugas rekonstruksi padat masih relatif berat.
World Labs memiliki kemampuan mendalam dalam rekonstruksi dan generasi yang jarang (sparse). Kami melihat banyak peluang untuk menggunakan kemampuan Marble dan kemampuan terkait lainnya untuk menyelesaikan rekonstruksi dan pemodelan lingkungan dengan lebih efisien.
Pemandu Acara: Bisakah kami mengharapkan World Labs merilis model dasar robotika?
Fei-Fei Li: World Labs sedang membangun model dasar, kami tentu tidak menutup kemungkinan arah ini.
Yunzhu Li: Ya. Model dasar robotika pada dasarnya membutuhkan model multimodal.
Model ini harus memproses frame, teks, gambar, kedalaman, dan modalitas lainnya, dengan aksi sebagai modalitas yang sangat kritis. Jika frame dan aksi digunakan sebagai input, model dapat berfungsi sebagai simulator, memprediksi bagaimana lingkungan akan berubah setelah aksi tertentu dieksekusi.
Jika aksi dianggap sebagai output, model ini pada dasarnya adalah policy model, memprediksi aksi apa yang harus diambil robot di lingkungan nyata untuk mendekati tujuan tertentu.
Model Omni semacam ini tidak hanya dapat membantu peneliti dan pengembang kecerdasan berwujud (embodied AI) lebih memahami pemodelan lingkungan dan perencanaan keputusan, tetapi juga dapat berfungsi sebagai model tulang punggung dasar yang dapat disesuaikan untuk aplikasi robotika tertentu, mencapai keandalan dan efisiensi yang diharapkan klien.
Mengapa Menekankan 3D dan Simulasi?
Pemandu Acara: Saat ini banyak perusahaan robotika mengadopsi pendekatan model video murni, sementara kalian menekankan 3D dan simulasi. Apa perbedaan antara dua pendekatan ini?
Yunzhu Li: Untuk menciptakan dunia tempat robot dapat bekerja, dunia ini harus menangkap struktur esensial dari masalahnya, salah satu syaratnya adalah konsistensi, termasuk konsistensi spasial, temporal, dari sudut pandang yang berbeda, dan dari cara interaksi yang berbeda.
Di sinilah kami melihat sinergi kuat dengan Marble. Dunia yang dihasilkan Marble dapat menyediakan bagian dari infrastruktur yang dibutuhkan robot.
Bayangkan, robot mencoba mendorong sebuah objek ke depan, tetapi objeknya menghilang secara misterius. Banyak model prediksi video yang ada dapat mengalami masalah seperti ini, hasil seperti itu tidak cukup memberikan sinyal tindakan yang benar bagi robot.
Model video berkembang pesat, tetapi infrastruktur yang kami bangun dapat memberikan dorongan awal bagi roda data, bergerak dari model yang lebih didorong simulasi, secara bertahap menuju model kebijakan robot yang dapat dieksekusi di lingkungan nyata, kemudian mengumpulkan data baru dan mengumpan balik.
Model tidak harus hanya mengandalkan fisika, atau hanya mengandalkan pembelajaran. Model dapat berada di antara keduanya, menangkap struktur esensial masalah, dan sekaligus terus berkembang dan membaik seiring akumulasi data.
Pemandu Acara: Fei-Fei Li sejak lama memiliki panduan "bintang utara" seputar 3D dan kecerdasan spasial. Apakah kamu juga memiliki panduan serupa? Atau lebih praktis, membuat sistem dulu, baru menjalankannya?
Yunzhu Li: Bintang utara saya adalah membuat robot bekerja di lingkungan yang nyata. Saya orang yang sangat praktis.
Selama menjadi postdoctoral di bawah bimbingan Fei-Fei Li, kami pernah bekerja sama membangun sebuah benchmark, dan mensurvei publik tentang apa yang mereka ingin robot lakukan untuk mereka. Dari ribuan tugas yang kami kumpulkan, sepertiganya terkait pembersihan. Orang tidak menyukai pekerjaan kotor dan berat ini, dan ini adalah skenario yang ingin kami selesaikan dengan robot.
Fei-Fei Li: Yang saya apresiasi adalah metode kerja yang sangat praktis dari para rekan pendiri SceniX.
Meskipun sebagian besar berasal dari akademisi, mereka memilih untuk bekerja sama dengan desainer dan klien dalam industri nyata sejak awal, memasuki laboratorium, gudang, dan skenario nyata seperti perakitan elektronik.
Cara mengembangkan robot ini sangat segar, dan membuat saya sangat antusias untuk bekerja sama dengan mereka.
Pemandu Acara: Sistem robot harus cukup presisi, tetapi aplikasi kreatif dapat mentolerir dan menerima kesalahan, kadang-kadang kesalahan justru menjadi inspirasi kreatif. Dari sudut pandang teknis, menurut Yunzhu, bagaimana cara menyeimbangkan kedua persyaratan ini?
Yunzhu Li: Saya rasa keduanya dapat diseimbangkan. Model lingkungan tidak perlu sempurna, model robot juga tidak perlu sempurna.
Pemandu Acara: Model tidak perlu sempurna, apa maksudnya? Setidaknya masih harus sangat mendekati kenyataan, kan?
Yunzhu Li: Model selalu menjadi landasan penting bagi perkembangan berbagai aplikasi robotika. Drone, robot pembersih lantai, robot berkaki empat, dan robot bipedal, semuanya perlu bergantung pada model untuk bekerja, dan bermigrasi dari lingkungan simulasi ke lingkungan nyata.
Robot bergerak dapat berjalan di salju atau semak-semak, tetapi simulator tidak perlu meniru secara tepat setiap semak dan timbunan salju.
Simulasi perlu menangkap struktur esensial masalah, dan mendukung berbagai bentuk randomisasi di lingkungan digital.
Kami sedang mempelajari, dengan tingkat ketelitian seperti apa dunia di sekitar robot harus dimodelkan, agar sistem robot yang dilatih di lingkungan simulasi dan dunia digital dapat bermigrasi kembali ke skenario nyata.
Apakah Jalur yang Berpilar pada Simulasi Layak?
Pemandu Acara: Beberapa peneliti berpendapat bahwa simulasi pada akhirnya akan selalu menyimpang dari dunia fisik, sehingga pengumpulan data dunia nyata sangat penting. Apakah jalur yang berpilar pada simulasi ini layak?
Yunzhu Li: Saya pikir keduanya tidak bertentangan. Simulasi pada dasarnya adalah memprediksi bagaimana lingkungan akan berubah setelah aksi diberikan, yaitu memodelkan dunia.
Model ini tidak harus murni model fisika, dapat menggabungkan fisika dan pembelajaran. Kami sedang mengumpulkan data dunia nyata, dan akan menggunakan data ini di berbagai tahap roda data.
Pada tahap awal, kami mungkin lebih menekankan fisika, kami akan membiarkan robot mempelajari dunia terlebih dahulu, untuk memastikannya memiliki ritme pembelajaran dan struktur pengetahuan yang sesuai, sehingga dapat belajar dengan lancar.
Seiring kami mengumpulkan lebih banyak data melalui pengumpulan data dan kerja sama dengan klien, pemodelan lingkungan dapat secara bertahap beralih ke pendorong yang lebih kuat dari pembelajaran. Transisi dan aliran data ini dapat menggabungkan keunggulan fisika, geometri, dan konsistensi dengan kekuatan data dan komputasi.
Fei-Fei Li: Ya, ini bukanlah pilihan biner "harus simulasi" atau "tidak perlu simulasi". Semua elemen harus digabungkan agar robot benar-benar bekerja.
Sama seperti manusia, sebelum bertindak, kita melakukan banyak simulasi di pikiran. Simulasi memainkan peran penting yang tidak dapat dilakukan oleh data dunia nyata, yaitu "penalaran kontrafaktual".
Orang akan memprediksi peristiwa yang belum terjadi, tidak dapat terjadi, atau kurangnya data nyata yang cukup, dan belajar bagaimana harus bertindak dari prediksi itu. Orang selalu melakukan ini, dan robot juga bisa.
Saya percaya, perencanaan setiap pertandingan sepak bola pasti melibatkan semacam simulasi, apakah simulasi digital, diskusi di papan tulis, atau bentuk lainnya. Peran simulasi adalah mendukung penalaran kontrafaktual. Ini sangat penting bagi robot, karena kita tidak mungkin mengumpulkan data dunia nyata yang cukup untuk semua situasi.
Mobil otonom adalah contoh nyata. Waymo pernah menyatakan menggunakan miliaran jam data simulasi, dan rutenya sangat bergantung pada simulasi, bukan hanya pada data dunia nyata.
Mobil masih termasuk masalah robotika yang relatif sederhana, jadi jelas simulasi memainkan peran penting dalam pembelajaran robot.
Yunzhu Li: Simulasi dapat memberikan keuntungan di dua tingkat: keandalan dan efisiensi.
Dalam hal keandalan, agar sistem robot bekerja stabil di lingkungan nyata, data harus secara sistematis mencakup ruang keadaan dan variasi yang mungkin ditemui robot.
Dalam simulasi, kita dapat secara sistematis merandomisasi dan mengontrol pencahayaan, tipe geometri, dan parameter fisika, untuk memastikan cakupan yang memadai atas ruang keadaan robot, sehingga meningkatkan keandalan sistem robot.
Keuntungan kedua adalah efisiensi. Banyak tim mengumpulkan data melalui teleoperasi. Menggunakan perangkat teleoperasi dan eksoskeleton yang ada, kecepatan pengumpulan data bahkan mungkin lebih lambat daripada manusia yang langsung menjalankan tugas.
Bagi banyak klien, kecepatan pengumpulan oleh manusia tidak cukup, mereka ingin robot lebih cepat daripada manusia. Tetapi mempercepat robot tidak sama dengan sekadar meningkatkan kecepatan penggerak, karena gravitasi konstan, hanya meningkatkan kecepatan tidak dapat menyelesaikan masalah ketidakseimbangan dinamika yang ditimbulkannya.
Sedangkan dalam simulasi, kita dapat secara sistematis mempercepat perilaku robot, sekaligus melatih robot mempertimbangkan perubahan dinamika lingkungan.
Jadi, simulasi dapat memberikan nilai unik baik dalam hal keandalan maupun efisiensi.
Bagaimana SceniX Menggunakan Platform untuk Melatih dan Mengevaluasi Robot?
Pemandu Acara: Bagaimana SceniX menggunakan platform mereka sendiri untuk melatih dan mengevaluasi robot?
Yunzhu Li: Ada dua kegunaan inti: pelatihan dan evaluasi.
Pertama evaluasi, ini sering diabaikan di bidang robotika; saat melatih model robot, kita harus tahu performa modelnya, dan evaluasi adalah sumber informasi yang mendorong iterasi.
Pemandu Acara: Praktisi AI memahami evaluasi, tetapi pemahaman setiap orang mungkin berbeda. Apa yang kamu maksud dengan evaluasi di sini?
Yunzhu Li: Saya pikir, evaluasi mengacu pada memahami performa suatu checkpoint tertentu, misalnya tingkat keberhasilan 95% atau 99,9%.
Salah satu tolok ukur kritis dalam industri adalah melihat berapa lama waktu yang dibutuhkan untuk membedakan checkpoint dengan performa 90% dan checkpoint lain dengan performa 92% menggunakan standar ini. Jika setiap kali harus mendeploy model ke dunia fisik untuk diuji, baru bisa memverifikasi peningkatan 2% ini, siklus verifikasi akan sangat panjang dan tak tertahankan.
Saat ini, evaluasi robot di dunia nyata, kecepatan iterasinya lebih lambat beberapa orde magnitudo daripada evaluasi model bahasa. Tugas robot itu sendiri juga sangat beragam. Robot harus benar-benar mengeksekusi aksi, bergerak di ruang, dan mematuhi hukum fisika.
Video demonstrasi robot sering diputar dengan kecepatan 8x atau 10x, karena aksi robot sangat lambat.
Evaluasi lingkungan nyata tidak hanya lambat, tetapi juga berbahaya dan mahal. Jadi, beberapa klien membutuhkan lingkungan digital yang dapat digunakan untuk mengevaluasi sistem robot.
Karena lingkungan digital kami telah terbukti memiliki hubungan keselarasan dengan dunia nyata, jika suatu checkpoint berkinerja lebih baik dalam simulasi, kemungkinan besar juga berkinerja lebih baik di lingkungan nyata. Kami dapat menggunakan sinyal dari lingkungan digital untuk melakukan evaluasi yang lebih aman, dapat diskalakan, dan jauh lebih cepat terhadap sistem robot.
Selain itu, dalam pelatihan, keterkendalian sangat penting.
Kami ingin mengontrol variasi keadaan, parameter, pencahayaan, gesekan dan parameter fisika lainnya, hingga variasi tipe geometri objek; pelatihan harus mencakup cukup banyak skenario yang beragam, agar dapat menghasilkan data yang cukup informatif, sehingga robot memiliki Robustness (ketangguhan). Dan ini sangat sulit dicapai di lingkungan nyata.
Mengumpulkan data melalui teleoperasi tidak hanya lambat, tetapi juga dibatasi oleh jumlah robot, jumlah perangkat operasi jarak jauh, dan serangkaian masalah operasi data.
Sebaliknya, lingkungan simulasi memiliki keterkendalian dan kemampuan analisis yang sepenuhnya dapat dikendalikan.
Di dunia digital, kamu dapat secara jelas menentukan cakupan distribusi data, dan yakin akan keandalan robot dalam distribusi tersebut. Kepastian, efisiensi, dan kemampuan skalabilitas inilah yang menjadi motivasi inti klien memilih pelatihan sistem robot di dunia digital.
Fei-Fei Li: Ya. Bahkan sebelum SceniX menghubungi World Labs, sudah ada klien yang secara aktif mencari Marble, membuktikan kebutuhan nyata untuk hal semacam ini. Meskipun saat itu kami belum memiliki kemampuan layanan, kami telah menerima banyak konsultasi dari perusahaan robotika, termasuk tim pengembangan model awal, dan perusahaan yang berfokus pada implementasi skenario aplikasi nyata. Kami sedang memperhatikan kebutuhan ini.
Pemandu Acara: Ketika orang mendengar World Labs memasuki bidang robotika, mereka mungkin mengira kalian akan memproduksi perangkat keras, mengembangkan otak robot. Tetapi tampaknya kalian tidak melakukan itu. Di bagian mana dari siklus hidup pengembangan robotika kalian berada? Di mana batasannya dengan mitra ekosistem?
Yunzhu Li: Kami membangun seperangkat infrastruktur dan perangkat lunak pendukung, yang memungkinkan pengembang membuat dunia tempat robot dapat belajar dan dievaluasi. Infrastruktur ini secara alami tidak terikat pada model tertentu, juga tidak terikat pada morfologi robot tertentu.
Pemandu Acara: Artinya, kalian tidak membuat robot, tetapi membangun lingkungan, agar perusahaan lain dapat menempatkan otak robot mereka di sana untuk navigasi dan pembelajaran?
Yunzhu Li: Platform kami tidak memilih robot, juga tidak memilih model. Baik robot satu lengan atau dua lengan, dengan basis tetap atau bergerak, bahkan berbagai jenis gripper dan end-effector yang kompleks, semuanya dapat langsung dimasukkan ke dunia digital kami untuk dijalankan.
Tujuannya satu: membuat mereka stabil dan cepat saat bekerja di lingkungan nyata.
Sama halnya dengan model. Data yang kami hasilkan dapat digunakan untuk melatih model baru dari awal, atau untuk menyempurnakan model VLA (Visual-Language-Action) atau World Action Model yang sedang populer.
Model spesifik mana yang digunakan sebenarnya tidak penting, karena model akan selalu berganti, tetapi infrastruktur tidak.
Sederhananya, kami tidak berpihak pada perangkat keras, juga tidak bertaruh pada algoritma. Kami hanya melakukan satu hal: membangun dunia digital yang universal, agar semua robot dapat berlatih hingga mahir di dalamnya, dan tetap andal saat masuk ke dunia nyata.
Robot Harus Mengikuti Jalur Implementasi Seperti Apa?
Pemandu Acara: Kamu pernah menyebutkan bahwa ekspektasi terhadap robot humanoid mungkin terlalu agresif, dan titik implementasi yang lebih realistis dalam jangka pendek adalah skenario terbatas seperti gudang. Bagaimana penilaian ini memengaruhi fokus kerja World Labs?
Yunzhu Li: Ini pertanyaan yang bagus. Implementasi robot di dunia nyata biasanya mengikuti jalur evolusi: dari lingkungan yang sepenuhnya terstruktur, ke lingkungan semi-terstruktur, dan akhirnya lingkungan tidak terstruktur.
Lingkungan yang sepenuhnya terstruktur seperti pabrik atau lini produksi mobil, semua variabel diketahui dan dapat dikendalikan, skenario semacam ini telah kami otomatisasi selama beberapa dekade.
Lingkungan semi-terstruktur seperti gudang Amazon, restoran, atau hotel — lingkungan pada dasarnya terkendali, tugas juga disesuaikan untuk robot, tetapi selalu akan ada gangguan yang tak terduga seperti pakaian.
Sedangkan lingkungan tidak terstruktur, seperti rumah kita, di situlah puncak tertinggi bidang robotika.
Robustness (Ketangguhan) berasal dari cakupan yang memadai terhadap skenario. Setidaknya pada tahap ini, menaklukkan lingkungan semi-terstruktur terlebih dahulu, lebih layak daripada langsung memasuki lingkungan yang sepenuhnya tidak terstruktur. Kami akhirnya akan menuju ke yang terakhir, tetapi berharap mengambil jalan yang lebih berkelanjutan dan praktis.
Fei-Fei Li: Robot humanoid beradaptasi dengan lingkungan tidak terstruktur dengan meniru tubuh manusia, dan manusia telah beradaptasi dengan lingkungan tidak terstruktur melalui evolusi.
Jari dan kaki kita bukanlah alat terbaik untuk menjalankan tugas tunggal apa pun. Jika satu-satunya tujuan manusia sebagai spesies adalah memanjat pohon, kita mungkin akan memiliki jari yang berbeda.
Tubuh yang akhirnya berevolusi pada manusia adalah bentuk yang sangat serbaguna, tetapi belum tentu optimal untuk tugas tunggal. Karena bentuk ini menguntungkan untuk bertahan hidup di lingkungan tidak terstruktur.
Tetapi dari sudut pandang teknologi komersial dan praktis, lingkungan tidak terstruktur ditambah tubuh universal adalah masalah yang paling sulit dipecahkan.
Untuk masalah tertentu, ini bahkan mungkin bukan jalur yang tepat. Bentuk tubuh yang lebih khusus mungkin lebih cocok untuk menyelesaikan tugas yang lebih sempit.
Oleh karena itu, tantangan SceniX adalah tetap netral terhadap morfologi robot, agar infrastruktur dapat melayani berbagai bentuk tubuh dan lingkungan semi-terstruktur yang berbeda.
Pemandu Acara: Model bahasa generatif dapat menghasilkan teks atau kode jauh lebih cepat dan lebih murah daripada manusia. Tetapi otak dan tubuh manusia sangat efisien dalam navigasi 3D dan manipulasi objek. Dalam masa depan yang dapat diprediksi, bisakah robot mencapai efisiensi energi manusia dalam tugas fisik sehari-hari? Apakah ini membutuhkan lima tahun, atau hampir tidak mungkin?
Yunzhu Li: Saya rasa ini membutuhkan waktu yang sangat lama. Agar robot bekerja di lingkungan nyata, pada dasarnya adalah masalah sistem.
Kita harus mempertimbangkan dengan serius bagaimana perangkat keras, perangkat lunak, dan "otak" bekerja sama, bahkan detail seperti koefisien gesekan jari. Agar sistem benar-benar dapat diimplementasikan, dibutuhkan banyak elemen yang harus tersedia bersama, dan juga iterasi berkelanjutan.
Tetapi yang membuat saya bersemangat adalah, batas terdepan teknologi pembelajaran robot terus maju dengan kecepatan yang melampaui ekspektasi saya. Masalah yang saya teliti sekarang sudah sangat berbeda dengan saat saya baru mulai PhD. Ini menunjukkan seluruh ekosistem berkembang pesat, dan berbagai komponen yang dibutuhkan untuk membangun sistem robot juga mulai berkumpul.
Tetapi kita harus mengkalibrasi prediksi kita sendiri. Akan ada banyak kemajuan di masa depan, tetapi untuk mencapai efisiensi energi dan kemampuan keseluruhan setara manusia, masih membutuhkan waktu yang lebih lama.
Fei-Fei Li: Hal tersulit yang harus dilakukan AI saat ini adalah tetap optimis dengan tepat dan telah dikalibrasi.
Bahkan model bahasa besar pun tidak memiliki efisiensi energi otak manusia. Otak manusia hanya mengonsumsi daya sekitar 30W, jadi saat ini jaraknya masih sangat jauh.
Pemandu Acara: Tapi saya rasa, dalam tugas sempit seperti generasi gambar atau rekayasa perangkat lunak, efisiensi energi mungkin sudah mendekati tingkat manusia. Hanya di bidang robotika mungkin masih jauh tertinggal.
Apa Target Setelah Bergabung Dua Tahun?
Pemandu Acara: Apakah bergabung dengan World Labs mengubah lintasan strategis tim, atau dengan kata lain, meningkatkan batas atas tujuan yang dapat kalian kejar?
Yunzhu Li: Ini mengubah lintasan kami dengan cara yang sangat mendalam. Kami melihat banyak kemampuan yang dilepaskan, terutama setelah bekerja sama dengan World Labs, kami dapat menyelesaikan seluruh proses pemodelan lingkungan dengan cara yang lebih efisien dan dapat diskalakan.
Kemampuan model bahasa saat ini sangat menakjubkan, tetapi kamu mungkin masih tidak akan membiarkannya memesan tiket pesawat atau hotel untukmu tanpa melihat sama sekali, biasanya masih harus ada yang memeriksa hasil output model.
Sedangkan robot berbeda, model robot yang siap pakai (out-of-the-box) harus dapat bekerja secara andal di lingkungan nyata.
Saat ini, kami belum memiliki data yang cukup, juga belum sepenuhnya memiliki semua infrastruktur yang dibutuhkan agar robot dapat bekerja secara andal dan siap pakai.
Oleh karena itu, menciptakan dunia digital yang dapat diskalakan di mana robot dapat belajar dan dievaluasi, akan melepaskan potensi besar.
Kami dapat menggunakan data yang dihasilkan di dunia digital, menggantikan pengumpulan data yang mahal atau tidak aman di lingkungan nyata, sehingga robot dapat belajar dan dievaluasi secara skalabel.
Pemandu Acara: Lalu apakah kedua belah pihak akan segera diintegrasikan, atau akan membiarkan SceniX tetap relatif independen terlebih dahulu, dengan ritme yang lebih jangka panjang?
Fei-Fei Li: Kami akan melangkah dengan hati-hati, tidak terburu-buru untuk segera mengintegrasikan seluruh kode dan tim. SceniX sudah memiliki tumpukan teknologi yang relatif lengkap dan dipikirkan dengan matang, juga memiliki klien dan produk sendiri. Kami akan memberikan waktu.
Namun, integrasi pasti akan terjadi. Kami sudah mulai mendiskusikan simulasi, serta model dasar dan model bersyarat aksi yang potensial, SceniX juga menggunakan Marble sebagai klien internal.
Kami akan secara bertahap memajukan integrasi, tetapi tidak akan terburu-buru mencampur tim menjadi satu "mangkuk salad". (tertawa)
Pemandu Acara: Apakah tim akan tetap di tempat?
Fei-Fei Li: Yunzhu akan pindah ke San Francisco bersama beberapa anggota tim. Setelah pindah, World Labs secara resmi akan menjadi perusahaan yang melintasi pantai timur dan barat Amerika Serikat. Kantor pusat kami di San Francisco, saya tinggal di Palo Alto. Kami akan mendirikan kantor di New York, ini membuat saya bersemangat, karena dapat membantu kami menarik talenta dari pantai timur.
Kami juga mendiskusikan tentang mendeploy robot di kedua kantor, untuk menguji dan menyempurnakan tumpukan teknologi rekayasa teleoperasi robot. Bagaimanapun juga, pada akhirnya kami juga perlu menyediakan kemampuan seperti ini untuk klien.
Pemandu Acara: Jika ingin menyebutkan target secara spesifik, apa contoh keberhasilan ideal dua tahun ke depan? Produk seperti apa yang akan kalian hadirkan saat itu, siapa yang menggunakannya, dan bagaimana cara menggunakannya?
Fei-Fei Li: Dua tahun dari sekarang, jika tim SceniX dan World Labs dapat memperoleh klien terverifikasi dalam beberapa kasus penggunaan vertikal penting, dan membuktikan bahwa sistem dan infrastruktur kami memang membantu memenuhi kebutuhan otomasi mereka, saya akan sangat puas.
Klien-klien ini akan menjadi contoh mercusuar, membantu kami lebih memperluas bisnis.
Wawancara lengkap:
https://www.youtube.com/watch?v=-tabaM5l3s0
Tautan referensi:
[1]https://marble.worldlabs.ai/
[2]https://www.worldlabs.ai/blog/scenix
Artikel ini berasal dari akun WeChat publik "量子位", penulis: Wen Ting
