Oleh | Alpha Gongshe
Kemampuan model besar AI dalam beberapa aspek telah melampaui manusia biasa, seperti pemrograman dan matematika. Dikatakan bahwa di dalam Anthropic, hampir 100% pemrograman sudah dilakukan oleh AI, dan Gemini Deep Think dari Google berhasil menyelesaikan 5 dari 6 soal di IMO 2025, mencapai level medali emas.
Namun, dalam penalaran visual, bahkan Gemini 3 Pro yang tingkatannya paling unggul, hanya mencapai level anak berusia 3 tahun pada BabyVision, sebuah Benchmark yang menguji kemampuan penalaran visual dasar.
Mengapa model besar sangat kuat dalam pemrograman dan matematika, tetapi lemah dalam penalaran visual? Ini karena "cara berpikirnya" memiliki keterbatasan. Model Bahasa Visual (VLM) perlu mengubah input visual menjadi bahasa terlebih dahulu, baru kemudian melakukan penalaran berbasis teks. Namun, banyak tugas visual yang sama sekali tidak dapat dideskripsikan secara akurat dengan kata-kata, yang mengakibatkan kemampuan penalaran visual model yang buruk.
Andrew Dai, yang bekerja di Google DeepMind selama 14 tahun, bersama ahli AI senior Apple, Yinfei Yang, mendirikan sebuah perusahaan bernama Elorian AI. Tujuan mereka adalah meningkatkan kemampuan penalaran visual model dari level "anak-anak" ke level "dewasa", dan memberikan model kemampuan untuk berpikir secara asli dalam "ruang visual", sehingga dapat mencapai AGI dunia fisik.
Elorian AI memperoleh pendanaan awal senilai $55 juta yang dipimpin bersama oleh Striker Venture Partners, Menlo Ventures, dan Altimeter, dengan partisipasi dari 49 Palms dan ilmuwan AI top termasuk Jeff Dean.
Pelopor Model Multimodal, Ingin Memberikan Model Visual Kemampuan Penalaran
Sebagai orang Tionghoa, Andrew Dai, lulusan sarjana komputer Cambridge dan doktor pembelajaran mesin Edinburgh, magang di Google selama masa doktoralnya, bergabung dengan Google pada tahun 2012, dan bertahan selama 14 tahun, hingga memulai bisnis.
Sumber gambar:Linkedin Andrew Dai
Tidak lama setelah bergabung dengan Google, ia dan Quoc V. Le bersama-sama menulis makalah pertama tentang pra-pelatihan model bahasa dan penyempurnaan terawasi berjudul "Semi-supervised Sequence Learning". Makalah ini meletakkan dasar bagi kelahiran GPT. Makalah perintis lainnya adalah "Glam: Efficient scaling of language models with mixture-of-experts", yang membuka jalan bagi arsitektur MoE yang sekarang menjadi arus utama.
Selama di Google, ia juga terlibat secara mendalam dalam hampir semua pelatihan model besar, dari Palm hingga Gemini1.5 dan Gemini2.5. Di bawah pengaturan Jeff Dean, ia mulai memimpin bagian data Gemini (termasuk data sintetis) pada tahun 2023, dan tim ini kemudian berkembang menjadi ratusan orang.
Berdiri bersama Andrew Dai adalah Yinfei Yang, yang pernah bekerja di Google Research selama empat tahun, fokus pada pembelajaran representasi multimodal, kemudian bergabung dengan Apple, bertanggung jawab atas pengembangan model multimodal.
Hasil penelitian perwakilannya "Scaling up visual and vision-language representation learning with noisy text supervision" mendorong perkembangan pembelajaran representasi multimodal.
Pendiri bersama Elorian AI juga termasuk Seth Neel, yang pernah menjadi AP (Asisten Profesor) di Universitas Harvard, dan juga ahli dalam bidang data dan AI.
Mengapa membahas makalah perintis apa yang ditulis oleh para pendiri bersama Elorian AI? Karena yang ingin mereka lakukan bukanlah optimasi tingkat teknik, tetapi pembaruan paradigma dari arsitektur dasar, untuk meningkatkan AI dari pemahaman cerdas berbasis teks ke pemahaman cerdas berbasis visual.
Kondisi model AI saat ini adalah, meskipun berkinerja baik dalam tugas berbasis teks, bahkan model besar multimodal paling mutakhir sekalipun, masih akan tersandung pada tugas visual grounding (penjangkaran visual) paling dasar.
Misalnya, bagaimana memasang suatu bagian dengan tepat ke dalam suatu perangkat mekanis, agar beroperasi lebih presisi dan efisien? Tugas fisik spasial seperti ini sangat sederhana bagi siswa sekolah dasar, tetapi sangat sulit bagi model besar multimodal yang ada.
Ini masih harus mencari petunjuk dari biologi. Dalam otak manusia, visual adalah substrat dasar yang mendukung banyak proses pemikiran. Kemampuan manusia menggunakan visual dan penalaran spasial jauh lebih lama daripada menggunakan penalaran logika bahasa.
Misalnya, mengajarkan orang lain melalui labirin, menggunakan deskripsi bahasa, akan membingungkan, tetapi menggambar sketsa dapat membuat orang langsung mengerti.
Contoh lain, bahkan seekor burung, meskipun tidak memiliki bahasa, dapat mengenali dan mereasoning fitur geografis melalui visual, sehingga mencapai migrasi jarak jauh global. Ini adalah sinyal kuat yang menunjukkan bahwa untuk benar-benar memajukan kemampuan reasoning mesin, visual kemungkinan besar adalah arah evolusi yang benar.
Jadi, bayangkan, jika dari awal pembangunan model, mencoba mengukir naluri visual biologis ini ke dalam gen AI, membangun model multimodal asli yang dapat "secara bersamaan memahami dan memproses teks, gambar, video, dan audio", maka model akan memiliki kemampuan pemahaman visual. Andrew Dai dan tim ingin membangun "synesthete" bawaan, mengajarkan mesin tidak hanya "melihat" dunia, tetapi juga "memahami" dunia.
Dalam pandangan Andrew Dai dan tim, memahami secara mendalam "dunia fisik" yang sebenarnya adalah kunci untuk mencapai lompatan kecerdasan mesin generasi berikutnya, dan akhirnya menyentuh "Kecerdasan Buatan Umum Visual (Visual AGI)".
VLM dengan Penalaran Posterior Bukan Jalan yang Benar Menuju Penalaran Visual
Sebelumnya bukan tidak ada tim yang ingin melakukan hal ini, sebenarnya tim Gemini tempat Andrew Dai sebelumnya, sudah merupakan tim yang sangat unggul di bidang multimodal secara global. Tetapi model multimodal tradisional, masih didominasi oleh VLM (Model Bahasa Visual), logikanya dibangun di atas dasar "dua langkah": pertama mengubah input visual menjadi bahasa, kemudian melakukan penalaran berbasis teks (kadang dengan bantuan memanggil alat eksternal).
Namun, penalaran posterior pada dasarnya memiliki keterbatasan, di satu sisi mudah menghasilkan halusinasi model, di sisi lain banyak tugas visual yang sama sekali tidak dapat dideskripsikan secara akurat dengan kata-kata.
Selain itu, model generasi visual seperti NanoBanana, unggul dalam generasi multimodal, tetapi kemampuan generasi dan kemampuan penalaran tidak sama, "pemikiran" mereka sebelum generasi, pada dasarnya masih bergantung pada model bahasa, bukan kemampuan penalaran asli.
Untuk mengembangkan model yang benar-benar dapat mengerti kompleksitas spasial, struktural, dan relasional dalam dunia visual, pasti perlu inovasi disruptif dalam teknologi dasar.
Lalu, bagaimana berinovasi? Beberapa pendiri Elorian AI telah berkecimpung di bidang multimodal selama bertahun-tahun, cara mereka adalah: menggabungkan pelatihan multimodal dengan arsitektur baru yang dirancang khusus untuk penalaran multimodal. Meninggalkan praktik tradisional menganggap gambar sebagai input statis, beralih melatih model untuk berinteraksi langsung dan memanipulasi representasi visual (Visual representations) untuk secara mandiri mengurai struktur, hubungan, dan batasan fisik di dalamnya.
Tentu saja, elemen inti lainnya adalah data, yang merupakan kunci yang menentukan kinerja dan keberhasilan model-model ini.
Andrew Dai menyatakan, mereka sangat memperhatikan kualitas data, proporsi campuran data, sumber data, serta keragaman data, dan telah melakukan inovasi di lapisan data, merekonstruksi jalur penalaran dalam ruang visual, dan juga menggunakan data sintetis secara besar-besaran dan mendalam.
Upaya-upaya ini secara bersama-sama, akan melahirkan sistem AI baru yang dapat melampaui "persepsi" visual sederhana, menuju "penalaran" visual tingkat tinggi.
Sistem AI ini dapat berupa model dasar penalaran visual: yaitu membangun model yang sangat umum, tetapi berkinerja sangat unggul pada kumpulan kemampuan tertentu, kemampuan tertentu ini adalah penalaran visual.
Karena merupakan model dasar yang umum, bidang aplikasinya harus luas.
Pertama, di bidang robotika ia dapat menjadi pusat saraf bawah sistem yang kuat, memberikannya kemampuan untuk beroperasi secara mandiri di berbagai lingkungan asing.
Misalnya, di bidang robotika, mengirim robot untuk menangani suatu kegagalan keamanan mendadak di lingkungan berbahaya. Ini membutuhkan pengambilan keputusan instan yang cepat dan akurat oleh robot. Jika robot kekurangan model dasar kemampuan penalaran mendalam, orang tidak akan berani membiarkannya menekan tombol atau mengoperasikan tuas dengan sembarangan. Tetapi jika ia memiliki kemampuan penalaran yang sangat kuat, ia mungkin berpikir: "Sebelum mengoperasikan panel ini, mungkin saya harus menarik tuas ini terlebih dahulu, mengaktifkan mekanisme perlindungan keamanan."
Selain itu, dalam manajemen bencana, model dengan penalaran visual dapat memantau dan mencegah kebakaran hutan dengan menganalisis gambar satelit; di bidang teknik, ia dapat secara akurat memahami gambar visual yang kompleks, diagram sistem, pentingnya kemampuan ini terletak pada aturan operasi dunia fisik yang pada dasarnya berbeda dengan dunia kode murni, Anda tidak bisa hanya dengan mengetik beberapa baris kode murni merancang sayap pesawat.
Namun, saat ini model dan kemampuan Elorian AI masih terbatas di atas kertas, mereka berencana merilis model yang mencapai level SOTA di bidang penalaran visual pada tahun 2026, pada saat itu dapat menguji apakah hasil mereka sesuai dengan klaim.
Ketika AI Benar-benar Memiliki Kemampuan "Penalaran Visual", Bagaimana Ia Akan Mengubah Dunia Fisik?
Untuk membuat AI memahami dan mempengaruhi dunia fisik yang sebenarnya, teknologi telah beriterasi beberapa kali.
Dari pengenalan gambar di zaman CV tradisional, ke model generasi gambar/model multimodal AI generatif, hingga model dunia, pemahaman terhadap dunia fisik terus meningkat.
Dan model dasar penalaran visual, sangat mungkin melangkah lebih jauh, karena mampu mewujudkan penalaran visual, AI dapat memahami dunia fisik lebih dalam, sehingga mencapai kecerdasan mesin tingkat yang lebih tinggi.
Bayangkan, ketika model dengan pemahaman mendalam dan operasi halus mengisi daya industri kecerdasan embodied, serta industri perangkat keras AI, akan sangat memperluas cakupan aplikasinya. Misalnya, robot dapat melakukan produksi industri yang lebih andal, atau di bidang perawatan medis; perangkat keras AI, terutama perangkat yang dapat dikenakan, menjadi asisten pribadi yang lebih pintar.
Namun, di dasar teknologi ini, masih adalah data. Seperti yang dikatakan Andrew Dai sebelumnya, kualitas data, proporsi campuran data, sumber data, serta keragaman data, semuanya menentukan kinerja model.
Di bidang AI fisik, perusahaan-perusahaan Tiongkok, baik di tingkat model maupun data, dibandingkan dengan model besar, lebih mendekati tingkat terdepan dunia. Jika dapat memanfaatkan keunggulan data dan skenario aplikasi yang lebih kaya, mempercepat kecepatan iterasi, maka baik kecerdasan embodied maupun perangkat keras AI, baik yang diterapkan di industri, medis, maupun rumah tangga, memiliki peluang lebih besar untuk mencapai tingkat terdepan, dan tentu saja juga memiliki peluang untuk melahirkan perusahaan kelas dunia.
