Tanpa basa-basi, langsung saja kita mulai bersantai harian (doge)!
Baru saja, sang legenda Karpathy mengumumkan, "kami" di Anthropic telah mulai menggunakan cara baru untuk memberikan tekanan pada model besar——
"The Lord of the Rings".
Menurut Karpathy, tolok ukur "Lord of the Rings" ini sedang mengambil alih tes SVG "Pelikan Mengendarai Sepeda" yang dulu sangat populer.
Secara spesifik, Karpathy langsung memberikan awal cerita "The Lord of the Rings" ke Opus 5, meminta model tersebut membuat seluruh "Dunia Tengah" dengan Three.js secara langsung.
Sedangkan hasil akhirnya, agak mirip dengan film animasi 3D buatan Tiongkok akhir tahun 90-an, awal 2000-an: sangat kasar dan abstrak.
Tapi secara objektif, jika diamati sebentar dan kamu kebetulan familiar dengan lokasi syuting "The Lord of the Rings" di Hobbiton, Selandia Baru, memang ada sedikit nuansanya~
Namun, hal yang terlihat tidak begitu halus ini, secara nyata menghabiskan Opus 5: 1 juta token, 2 jam, dan 5500 baris kode.
Tentu, di atas panggung bukan hanya Claude yang sendirian bersinar.
Yang paling lucu, adalah versi DeepSeek V4 Flash yang baru dihadirkan oleh netizen.
Langsung seluruhnya "Orang Tionghoa Bisa Terbang", semua karakter di layar melayang.
Menghadapi kesalahan yang terlihat jelas ini, Karpathy cukup jujur.
Dia menunjuk bahwa Opus 5 saat ini belum bisa benar-benar "masuk" ke dunia yang dihasilkannya sendiri, hanya bisa terus mengambil tangkapan layar di titik waktu berbeda, dan perlahan memeriksa di mana letak masalahnya.
Dan ini justru mengungkapkan sebuah kelemahan mencolok model besar saat ini:
Mereka sudah bisa menulis kode, membangun adegan, menghasilkan game, tetapi belum bisa benar-benar memahami video, juga belum bisa memainkan sendiri game yang mereka buat.
Dua Jam, Membangun Dunia Tengah dengan Tangan
Mari kita lihat bagaimana tes "Lord of the Rings" ini dilakukan secara spesifik.
Jika mengikuti makna harfiah dari cuitan Karpathy, petunjuk utama yang diberikan kepada Opus 5 seharusnya adalah awal Bab 1 "The Long-expected Party" dari buku "The Lord of the Rings".
Bilbo Baggins dari Bag End mengumumkan akan mengadakan pesta ulang tahun ke-111 yang meriah, Hobbiton langsung ramai dibicarakan......
Teman-teman yang berminat bisa mencobanya sendiri.
Selain itu, Karpathy juga menetapkan Three.js dalam petunjuknya, yaitu sebuah pustaka JavaScript untuk membangun adegan 3D dengan kode.
Dari sini, tugas Opus 5 adalah pertama memahami teks awal "The Lord of the Rings", lalu menerjemahkannya menjadi dunia 3D yang dapat berjalan secara real-time di browser.
Sepanjang proses, Opus 5 perlu menggunakan poligon untuk menyusun karakter, bangunan, dan properti, menempatkannya satu per satu ke dalam sistem koordinat x, y, z, lalu mengatur kamera, pencahayaan, dan animasi.
Kapan karakter bergerak, kemana kamera berputar, bagaimana pencahayaan berubah, bagaimana objek dalam adegan berinteraksi, semua perlu didefinisikan oleh model dengan kode.
Meskipun tampilan akhirnya tidak bisa dibilang halus, dan sering muncul masalah clipping, melayang, seperti kepala dan badan karakter terpisah...... tapi setidaknya seluruh adegan berhasil dibangun.
Perlu diperhatikan, ini bukan hal yang sama dengan model video yang langsung menghasilkan piksel per frame.
Three.js perlu membangun karakter, objek, dan adegan terlebih dahulu sebagai objek tiga dimensi, lalu menghitung posisi, sudut, dan status gerak mereka secara real-time berdasarkan kode.
Jadi, Demo yang kita lihat bukanlah video yang dihasilkan AI biasa, melainkan rekaman layar saat adegan 3D web sedang berjalan.
Namun, Karpathy di kolom komentar juga menyebutkan, 3D prosedural dan pembuatan video bukanlah pilihan satu-satunya.
Ada netizen yang menyarankan, rekaman Three.js yang kasar ini bisa diberikan ke Seedance sebagai video referensi, lalu biarkan model video merender ulang dengan kualitas yang lebih tinggi.
Karpathy dengan cepat menyetujui.
Menurut rencananya, kode prosedural dapat bertanggung jawab atas storyboard dan kontrol, menetapkan terlebih dahulu kerangka seperti di mana karakter berdiri, bagaimana kamera bergerak, bagaimana alur cerita berlanjut.
Selanjutnya, rekaman diserahkan ke model Video-to-Video, agar melengkapi tekstur, cahaya-bayang, dan detail, mempercantik "penampilan" seluruh Dunia Tengah.
Sedangkan untuk audio, Opus 5 kali ini tidak merangkap semuanya.
Karpathy menyatakan, karena permintaan pribadinya terhadap kualitas suara, akhirnya menggunakan ElevenLabs.
Maka, Demo "The Lord of the Rings" yang memiliki gambar, adegan, dan narasi tersebut, terlahir begitu saja.
Karpathy juga telah membuka sumber seluruh proyek, tautan spesifik dapat dilihat di akhir artikel.
Netizen Jauh Lebih Menarik daripada Karpathy
Setelah Karpathy merilis Demo, banyak netizen juga datang untuk mencobanya.
Secara keseluruhan, hanya bisa dikatakan:
Netizen kali ini jauh lebih imajinatif daripada Karpathy.
Ada yang meluncurkan proyek "Earth Online" dengan Claude, bertujuan untuk membangun seluruh bumi sedikit demi sedikit dengan sekelompok AI Agent.
Saat ini, Agent belum menyelesaikan seluruh bumi, hanya membangun kawasan tepi laut San Francisco dengan gaya poligon rendah. Namun dari tampilan yang ada, proporsi bangunan, skala karakter, dan keseluruhan gaya terpelihara cukup konsisten.
Efek ini agak mirip dengan film animasi dunia Lego. Gayanya tidak rumit, tetapi karakter, adegan, dan aksi bisa berjalan stabil di dunia yang sama.
Mengikuti arah ini, animasi dan game ringan dengan gambar sederhana, sudah memiliki sedikit bentuk asli AI.
Ada juga netizen yang membuat model digital 3D Kota New York dengan Fable 5 dan GPT-5.6 Sol, dan menghubungkannya dengan data real-time.
Model tidak hanya perlu menempatkan jalan dan bangunan New York dengan benar, tetapi juga mempertahankan hubungan spasial antar wilayah. Penulis juga mengusulkan bahwa tugas menghasilkan dunia virtual semacam ini mungkin dapat menjadi Tolok Ukur Penalaran Spasial baru.
Yang lebih ekstrem masih ada.
Ada netizen yang tidak berhasil membeli tiket konser Kanye West, akhirnya membuat konser untuk dirinya sendiri di browser dengan AI.
Seluruh proyek masih dibangun dengan Three.js. Hanya ada satu file HTML, tidak memanggil model 3D jadi apapun, panggung, karakter, dan pencahayaan semuanya dihasilkan oleh kode.
Seluruh konser menyiapkan 14 lagu, setiap lagu memiliki desain pencahayaan mandiri dan visual panggung berbentuk bola yang khusus.
Pengguna biasa dapat mendengarkan cuplikan, setelah terhubung dengan Spotify Premium, bahkan dapat memutar lagu lengkap dan seluruh pertunjukan.
Tidak dapat tiket, langsung buat konser pribadi untuk diri sendiri, terlalu gila!
Belum selesai!!!
Karpathy di akhir postingan asli juga membayangkan, selanjutnya dapat menambahkan gameplay ke dunia 3D ini, memungkinkan pemain masuk ke dalamnya sebagai pengamat, NPC, atau bahkan karakter cerita.
Hasilnya, versi game belum sempat diatur Karpathy, netizen sudah membuatnya.
Proyek ini juga menggunakan Opus 5 dan Three.js, tidak hanya dapat dijalankan dan berinteraksi, bahkan audio sudah dilengkapi.
Lebih banyak lagi kasus desain 3D terus bermunculan. Dari proporsi bangunan, tata ruang, hingga gaya adegan, Opus 5 sudah dapat mempertahankan konsistensi yang relatif stabil dalam proyek berskala cukup besar.
Contoh serupa masih banyak, di sini tidak akan ditampilkan satu per satu.
Secara objektif, karya-karya ini masih memiliki jarak dengan game yang benar-benar matang.
Apakah gameplay yang memusingkan itu menarik, apakah stabil jika dijalankan lama, apakah pemain benar-benar mau tinggal di dalamnya selama 15 menit, saat ini belum ada jawabannya.
Tapi, ambang batas pembuatan konten 3D real-time dan prototipe yang dapat dimainkan, memang sudah didorong jauh ke bawah.
Apalagi, jika ada metode baru untuk menguji kemampuan model, sekaligus cukup menarik dan menyenangkan, bukankah itu bagus?
Pelikan, Sampai di Sini Saja
Lalu, mengapa tiba-tiba meminta model besar menghasilkan "The Lord of the Rings"?
Ini harus dimulai dari tes "Pelikan Mengendarai Sepeda" yang meledak beberapa tahun lalu.
Pertanyaan ini awalnya berasal dari pengembang Simon Willison, permintaannya hanya satu kalimat:
Hasilkan gambar SVG pelikan mengendarai sepeda.
Meskipun pertanyaan ini terlihat sederhana, sebenarnya cukup menantang model.
Karena SVG terlihat seperti gambar, dasarnya adalah serangkaian kode.
Model tidak hanya perlu tahu seperti apa pelikan dan sepeda, tetapi juga harus memecahnya menjadi garis, lingkaran, dan poligon, lalu mengatur posisi setiap komponen dengan koordinat.
Yang lebih penting, pelikan dan sepeda sendiri kurang cocok.
Rangka sepeda, ban, dan pedal harus mempertahankan struktur geometris yang benar; pelikan memiliki paruh besar, kaki pendek, dan tubuh yang tidak terlihat bisa mengayuh.
Keduanya digabungkan, apakah model benar-benar memahami hubungan spasial, hampir langsung terlihat:
Ban bengkok atau tidak, kaki menginjak pedal atau tidak, burung itu benar-benar mengendarai sepeda, atau langsung tercabik-cabik oleh rangka sepeda.
Lihatlah demo akhir tahun 2024 di atas~
Karena itulah, "Pelikan Mengendarai Sepeda" pernah menjadi tes klasik untuk mengamati kemampuan pemahaman spasial, kombinasi objek, dan pembuatan kode model besar di kalangan masyarakat.
Tapi seiring model semakin kuat, pelikan ini juga hampir sampai di ujung perjalanannya.
Lihatlah performa DeepSeek R1 dan DeepSeek V4 di bawah ini, model sekarang sudah bisa menyelesaikan soal ini dengan cukup baik.
Yang lebih penting, satu gambar SVG hanya bisa menguji output satu kali model.
Ini tidak bisa menguji apakah model dapat merencanakan proyek kompleks, bekerja terus-menerus selama beberapa jam, dan berulang kali memeriksa serta memperbaiki kesalahannya sendiri dalam ribuan baris kode.
Maka, Karpathy mengganti soal kecil "gambar sebuah gambar", menjadi proyek besar "bangun sebuah dunia"——
Pelikan bisa turun sepeda, Dunia Tengah resmi mengambil alih.
Pelikan Karpathy
Dengan cepat, berita bahwa Karpathy bersiap mengganti soal "Tes Pelikan" juga menyebar ke berbagai komunitas.
Komentar dengan banyak suka di Hacker News berpendapat, meskipun kualitas gambar Demo ini biasa saja, tetapi ini justru menunjukkan bahwa kita membutuhkan tes baru yang lebih sulit daripada menghasilkan gambar tunggal.
Tolok ukur baru tidak hanya harus melihat apakah model dapat menggambar dengan benar, tetapi juga menguji kemampuannya memahami sebuah dunia.
Lagi pula, "Pelikan Mengendarai Sepeda" sudah digunakan terlalu lama.
Model terus berkompetisi untuk tugas semacam ini, perbedaan di antara mereka semakin sulit dilihat.
Sebaliknya, menghasilkan dunia 3D lengkap membutuhkan model untuk memahami hubungan spasial antara karakter dan objek, menangani kamera, aksi, dan perubahan adegan, bukan sekadar memanggil model pembuat video untuk mengeluarkan serangkaian gambar.
Tentu, ada juga yang mengajukan keberatan.
Tes Pelikan cukup ringkas, biaya rendah, hasilnya juga mudah dibandingkan.
Untuk menguji model sekali, menghabiskan begitu banyak Token untuk menghasilkan seluruh dunia 3D, agak seperti bermain kembang api dengan daya komputasi.
Sementara itu, apakah Three.js sendiri dapat mengukur kemampuan komprehensif model besar, juga dipertanyakan.
Beberapa berpendapat, Demo semacam ini paling-paling hanya dapat membuktikan Anthropic berhasil melatih kode Three.js dengan baik, tidak dapat membuktikan model benar-benar memahami ruang dan dunia fisik.
Tapi segera ada netizen yang membantah:
Mengubah teks sastra yang abstrak dan maknanya kabur menjadi animasi 3D, model perlu menangani hubungan spasial, hukum fisika, objek sehari-hari, serta transformasi 3D dan masalah matematika dalam grafika komputer secara bersamaan.
Jika ini masih dianggap hanya "bisa menulis Three.js", agak meremehkan 5500 baris kode ini.
Ada juga netizen yang mengajukan pertanyaan yang lebih terbuka:
Apakah yang disebut "Penalaran Spasial" benar-benar berbeda dengan penalaran model besar saat menangani teks dan kode sehari-hari?
Satu pandangan berpendapat, apakah sebuah gambar dapat terbentuk, bergantung pada apakah model memahami hubungan spasial seperti "depan-belakang, dalam-luar, jauh-dekat, tertutup", serta jarak, sudut, dan ukuran relatif objek dari berbagai sudut pandang.
Tapi pandangan lain berpendapat, baik model menangani "di samping batu", atau "di dalam array", mungkin melakukan hal yang sama: menghasilkan Token satu per satu berdasarkan konteks, dan menyelesaikan penalaran dalam proses ini.
Jika demikian, maka yang ditunjukkan Opus 5 bukanlah hanya sebuah "kemampuan spasial" yang tiba-tiba muncul.
Kemungkinan yang lebih besar adalah, kemampuan penalaran umum model bahasa besar yang awalnya digunakan untuk memahami teks dan kode, sudah mulai secara alami meluas ke dunia tiga dimensi.
Dari menggambar seekor pelikan, hingga membangun sebuah Dunia Tengah, soalnya terlihat berubah, tetapi yang diuji di baliknya mungkin selalu adalah masalah yang sama:
Apakah model dapat mengubah pemahamannya tentang dunia, menjadi sebuah struktur yang benar-benar dapat dijalankan.
Dan di akhir, mungkin ada masalah yang lebih keterlaluan lagi——
Jika model besar umum sudah bisa menulis kode sendiri untuk membangun dunia 3D, lalu memanggil API seperti Seedance, ElevenLabs, dll untuk menyelesaikan gambar dan suara, lalu seberapa perlukah pengguna membuka sendiri produk pembuat video khusus untuk memasukkan Prompt?
Referensi
[1]https://karpathy.ai/lotr-movie/
[2]https://simonwillison.net/2025/Jun/6/six-months-in-llms/
[3] https://x.com/wizardbrainz/status/2083012159341203708
[4]https://x.com/aniketjart/status/2083645765097033845
[5]https://x.com/davidfromkansas/status/2075691129899528254
[6]https://x.com/MindaugasLT/status/2083488027343470939
Artikel ini berasal dari akun WeChat publik "Quantum Bit", penulis: henry
