【导读】Fable 5 kembali online. Gostev dari Arena.ai melemparkan 63 dunia 3D dalam sebuah video, hampir semuanya terbentuk dalam sekali percobaan. Melihat video tersebut, bahkan Karpathy yang baru bergabung dengan tim pra-pelatihan Anthropic pun berteriak tak menyangka.
Seekor beruang berdiri di tepi sungai, menggigit salmon yang melompat.
Ikan itu bergerak-gerak keras di mulutnya.
Adegan ini langsung membuat Andrej Karpathy terpana.
Setelah menonton sekumpulan video 3D ini, dia menulis di X:
Sungguh luar biasa, sebelumnya saya tidak menyadari bahwa model bisa menciptakan dunia yang begitu luar biasa, kaya, dan dapat dimainkan.
Dia juga meninggalkan istilah baru: fablemaxxing.
Ini terlalu indah, termasuk fablemaxxing kelas atas! Setiap lapisan model baru, selalu ada sesuatu yang benar-benar baru yang melompat secara kualitatif dan membawa kejutan.
Karpathy baru bergabung dengan Anthropic bulan Mei tahun ini, tepatnya masuk ke tim pra-pelatihan.
Juni, Fable 5 diluncurkan, tiga hari kemudian dihentikan oleh aturan ekspor AS, baru dibuka kembali 1 Juli. Pembuat video adalah Peter Gostev dari platform evaluasi AI Arena.ai.
Dia menggunakan Fable 5 untuk menjalankan 63 generasi 3D dengan tingkat kesulitan tinggi sekaligus, hampir semuanya menggunakan pustaka grafis 3D (Three.js), dan sebagian besar terbentuk sekali jadi.
Sebulan yang lalu, membuat dunia 3D yang bisa dimasuki dan dimainkan dengan sekali percobaan menggunakan AI masih hampir mustahil. Kini, Fable 5 bisa menghasilkan 63 dunia sekaligus.
Karenanya, Gostev tak bisa tidak berkomentar dalam videonya: Bahkan orang di lab, belum sepenuhnya memahami apa yang bisa dilakukannya.
1600 Baris Kode, Sebuah Manhattan Bawah Air yang Hidup
Pertama, mari bicarakan yang paling mengesankan dalam video itu.
Seluruh Manhattan tenggelam di bawah air. Central Park, pencakar langit, tekstur jalan, detailnya sangat kaya sampai sulit dipercaya.
Gostev melihat kodenya: 1600 baris. Hanya dengan 1600 baris ini, sebuah kota bawah air yang hidup berdiri.
Manhattan yang dihasilkan Fable 5, dari Battery hingga Inwood seluruh pulau terlihat jelas, puluhan ribu gedung masing-masing memiliki kontur, semuanya dibangun oleh 1600 baris kode. (Sumber: Video Peter Gostev)
Dunia seperti ini, Gostev membuat total 63, dibagi menjadi 6 tema besar.
Dalam dunia 3D raksasa, Istanbul yang membentang di dua benua Eropa dan Asia, London yang berubah selama 2000 tahun, piramida megah, letusan gunung Vesuvius Pompeii, lalu lintas melintasi Golden Gate Bridge, semuanya dibangun satu per satu;
Istanbul sekali jadi oleh Fable 5, membentang di Eropa-Asia, bertumpuk memasuki laut. (Sumber: Video Peter Gostev)
Kerajaan yang dapat dimakan yang dihasilkan Fable 5, sebuah pabrik cokelat yang terbuat dari permen. (Sumber: Video Peter Gostev)
Adegan yang bisa dimainkan, ada parkour di atap New York, taman bermain fisik tempat menghancurkan seluruh kota, simulator penerbangan dengan dasbor lengkap.
Yang paling sulit dipercaya, adalah masuk ke dalam lukisan terkenal dunia. Bintang malam Van Gogh, teratai Monet, lukisan demi lukisan dibentangkan menjadi dunia 3D yang bisa ditelusuri.
Ada juga kategori perspektif yang mustahil: semut setinggi satu milimeter mengamati taman di tengah hujan, membuka mata langsung melihat gunung emas.
Fable 5 menekan perspektif hingga setinggi satu milimeter, bilah rumput tumbuh menjadi puncak gunung yang menjulang. (Sumber: Video Peter Gostev)
Dalam keajaiban alam, ada Air Terjun Niagara, hutan di mana kunang-kunang berkedip serempak, adegan beruang memakan salmon yang mengguncang Karpathy, termasuk dalam kategori ini.
Terakhir, adalah elemen dan alam semesta, Laut Merah yang terbelah, pulau vulkanik yang sedang lahir, lift luar angkasa yang menjulang tinggi ke langit.
Laut Merah yang dihasilkan Fable 5 terbelah di tengah, orang berjalan di antara dua dinding air. (Sumber: Video Peter Gostev)
Menurut Gostev, keindahan satu adegan tunggal, bukanlah kesulitannya. Yang sulit adalah apakah model bisa mengelola sejumlah besar elemen secara bersamaan, membuat mereka saling koordinasi.
Model yang lebih lemah, seringkali 80% pertama dibuat seperti aslinya, 20% terakhir ambruk total, waktu debug yang tersisa justru lebih lama.
Anda Tidak Bisa Menjiplak Sebuah Lukisan, Ia Harus Memahaminya Terlebih Dahulu
Jika membangun kota masih memiliki logika yang bisa diandalkan, maka kumpulan lukisan di bawah inilah yang membuat Gostev mengatakan beberapa kali "sulit dipercaya".
"Starry Night" karya Van Gogh.
Anda tidak bisa menjiplak lukisan seperti ini, kanvas penuh dengan tumpukan cat tebal, guratan demi guratan melingkar membentuk pusaran.
Cara Fable 5 adalah dengan menggunakan garis-garis independen, menyusun kembali langit berbintang itu di ruang tiga dimensi, lalu membiarkan Anda terbang masuk, melintas di antara pusaran-pusaran.
Fable 5 membongkar "Starry Night" Van Gogh menjadi garis-garis tiga dimensi, merakit ulang di ruang 3D, membiarkan Anda terbang di antara gugusan bintang dan pusaran yang berputar. (Sumber: Video Peter Gostev)
Teratai Monet, ombak Hokusai, juga "dibuka" menjadi dunia yang bisa dijelajahi.
Menurut Gostev, kali ini Fable sangat pandai menjelaskan satu hal, bisa mendemonstrasikan sambil menjelaskan bagaimana sesuatu bekerja. Kemampuan penjelasan ini, adalah sesuatu yang tidak dia duga sebelumnya.
Tentu saja, dunia-dunia ini tidak tercipta dengan "satu kalimat".
Yang diberikan Gostev ke model adalah dokumen spesifikasi yang panjang dan rinci, sebagian besar kasus terbentuk sekali, sebagian lagi membutuhkan satu atau dua putaran penyesuaian.
Pembeda yang sebenarnya adalah: apa yang dulu butuh belasan putaran untuk dihasilkan, sekarang sebuah file HTML, sebagian besar langsung berjalan sekali.
Di Balik Sihir, Ada Juga Kelemahan
Gostev mengakui, kumpulan kasusnya ini sudah disaring. Jumlah total yang dihasilkannya sekitar 20% lebih banyak dari yang ditampilkan, membuang yang memiliki bug jelas, baru menyisakan 63 ini.
Game, adalah kelemahannya.
Dia mengakui beberapa adegan yang bisa dimainkan itu, "bosan setelah dimainkan 30 detik". Ada versi Kekaisaran Romawi yang dia anggap terlalu kartun.
Lebih halus lagi, dia merasa model terkadang seperti malas, menyembunyikan kemampuannya, harus didorong berulang kali agar lebih ambisius, baru mau menunjukkan kemampuannya yang sebenarnya.
Saat Fable 5 diluncurkan, langsung menduduki puncak di Arena Agen Arena.ai dengan keunggulan terbesar sepanjang sejarah.
Arena.ai secara resmi menyatakan, daftar ini mengukur kemampuan model untuk benar-benar menyelesaikan tugas dalam jutaan tugas nyata.
Eksplorasi Ini, Baru Saja Dimulai
Kembali ke adegan beruang menangkap salmon dalam video.
Apa yang membuat Karpathy heran adalah, ketika ikan digigit akan bergerak-gerak, detail yang tidak diminta siapa pun ini, bagaimana mungkin model besar yang hanya belajar dari internet, sudah mengetahuinya?
Setelah mengetahuinya, bagaimana menerjemahkan pemahaman ini menjadi koordinat xyz, mesh, transformasi, animasi, efek, interaksi, bahkan cerita-cerita mikro?
Pertanyaan ini telah melampaui "apakah AI melukis dengan baik", jatuh pada "seberapa banyak yang sebenarnya dipahaminya".
Karpathy juga berkomentar: Ditambah satu sampai tiga lapisan model lagi, apa yang bisa diciptakan, benar-benar tidak berani dibayangkan.
Gostev juga sama-sama takjub dengan perkembangan cepat AI, "Jangan terkungkung oleh model setengah tahun yang lalu. Anda mungkin tidak peduli dengan 3D, tetapi pasti ada satu hal di tangan Anda yang tidak bisa dilakukan oleh model sebelumnya, dan bisa dilakukan oleh model hari ini. Cobalah."
Bahkan orang yang membuat modelnya, belum menyentuh batasnya.
Eksplorasi ini, baru saja dimulai.
Referensi:
https://github.com/petergpt/3d-prompt-collection#prompt-01
https://x.com/karpathy/status/2073505440479293773
https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s
Artikel ini berasal dari akun WeChat publik "新智元", penulis: ASI启示录; editor: 元宇
