【导读】Fable 5重新上线,Arena.ai的Gostev在一段视频中甩出63个3D世界,几乎都是一次成型。看了视频,就连刚加盟Anthropic预训练团队的Karpathy,也直呼没想到。
一头熊站在河边,一口咬住跃起的鲑鱼。
鱼在它嘴里拼命挣扎。
这个画面,直接把Andrej Karpathy看呆了。
他看完这一组3D视频后,在推文中说:
太不可思议了,我之前没意识到模型竟然能创造出如此精彩、丰富且可玩的世界。
还撂下一个新词:fablemaxxing。
这太美了,属于顶级的fablemaxxing!每一个新的模型层级,总会有一些全新的东西在质上实现飞跃并带来惊喜。
Karpathy今年5月刚加盟Anthropic,加入的正是预训练团队。
6月,Fable 5首发,三天后被美国出口管制一纸叫停,7月1日刚解禁。视频作者,是AI评测平台Arena.ai的Peter Gostev。
他用Fable 5一口气跑了63个高难度3D生成,几乎全是三维图形库(Three.js),多数一次成型。
一个多月前,想让AI一次成型造出能走进去玩的3D世界,还近乎天方夜谭。如今,Fable 5一口气能搓出63个。
于是,Gostev不由在视频中感慨:连实验室里的人,都还没完全搞清它能干什么。
1600行代码,一座活着的水下曼哈顿
先说视频中最令人印象深刻的那个。
整座曼哈顿沉在水下。中央公园、摩天楼、街道纹理,细节丰富到让人难以置信。
Gostev翻出代码一看:1600行。就这1600行,撑起了一座活着的水下之城。
Fable 5生成的曼哈顿,从Battery到Inwood整座岛尽收眼底,几万栋楼各有轮廓,全部由1600行代码撑起。(图源:Peter Gostev视频)
这样的世界,Gostev一共做了63个,分成6大主题。
在巨型3D世界里,横跨欧亚两岸的伊斯坦布尔、2000年变迁的伦敦、宏伟的金字塔、庞贝火山喷发、车流穿行的金门大桥,一一被搭了出来;
Fable 5一次成型的伊斯坦布尔,横跨欧亚、层叠入海。(图源:Peter Gostev视频)
Fable 5生成的可食用王国,一座糖果做的巧克力工厂。(图源:Peter Gostev视频)
能上手玩的场景,有纽约屋顶跑酷、把整座城拆着玩的物理游乐场、仪表盘一应俱全的飞行模拟。
最让人不可思议的,是走进世界名画。梵高星空、莫奈睡莲,一幅幅铺成可以穿行的3D世界。
还有一类是不可能的视角:一毫米高的蚂蚁在雨里打量花园,一睁眼就撞见一座金山。
Fable 5把视角压到一毫米高,草叶长成高耸的山峰。(图源:Peter Gostev视频)
自然奇观里,尼亚加拉大瀑布、萤火虫同步闪烁的森林,那条让Karpathy震撼的熊吃鲑鱼,就在此类。
最后,是元素与宇宙,被劈开的红海、正在诞生的火山岛、直插云霄的太空电梯。
Fable 5生成的红海从中劈开,人走进两道水墙之间。(图源:Peter Gostev视频)
在Gostev看来,单一场景好不好看,从来不是难点。难的是模型能不能同时管住海量元素,让它们彼此协调。
弱一点的模型,往往前80%做得像模像样,最后20%全线崩掉,剩下的debug时间反而更长。
你没法照抄一幅画,它得先看懂
如果说造城市还算有逻辑可依,那下面这批画,才是让Gostev一连说了好几个「难以置信」的。
梵高的《星空》。
你没法照抄这样一幅画,满画布厚颜料堆叠,一道道笔触卷成漩涡。
Fable 5的做法,是用一根根独立的线条,在三维空间里重新拼出那片星空,再让你飞进去,在漩涡之间穿行。
Fable 5把梵高《星空》拆成一根根立体线条,在三维空间里重拼,让你飞进旋动的星群与漩涡之间。(图源:Peter Gostev视频)
莫奈的睡莲、葛饰北斋的浪花,同样被「打开」成可以漫游的世界。
在Gostev看来,Fable这次特别擅长把一件事讲明白,能一边演示一边说清事情怎么运作。这种解释力,是他之前没料到的。
当然,这些世界并非「一句话」变出来的。
Gostev喂给模型的,是又长又细的规格文档,多数案例一次成型,也有一部分做了一到两轮微调。
真正的分水岭在于:过去要十几轮才磨得出的东西,现在一个HTML文件,多数一次就跑出来了。
魔法背后,也有短板
Gostev坦言,自己这批案例是筛过的。他生成的总量比展示的多出约两成,剔掉了有明显bug的,才留下这63个。
游戏,是它的弱项。
他坦言那几个能玩的场景,「玩30秒就腻」。有个罗马帝国的版本,他嫌太卡通。
更微妙的是,他觉得模型有时候像在偷懒、藏着实力,得反复催它更有野心,才肯拿出真本事。
Fable 5上线时,就在Arena.ai自家的Agent Arena榜上以史上最大优势登顶。
Arena.ai官方称,这份榜单衡量的,是模型在数百万次真实任务里真正把事干成的能力。
这场探索,才刚刚开始
再回到视频中那条狗熊捉鲑鱼的场景。
让Karpathy感到奇怪的是,鱼被咬住会挣扎,这样一个没人要求的细节,一个只从互联网学习的大模型,怎么就知道了这些?
知道了,又怎么把这份理解,翻译成xyz坐标、网格、变换、动画、效果、交互,乃至一个个微型故事?
这个问题,已经越过了「AI画得好不好」,落到了「它到底懂了多少」。
Karpathy还感慨道:再往上加一到三个模型层级,能造出什么,真是不敢想。
Gostev同样也惊叹于AI的快速发展,「别被半年前的模型框住了。你或许不在乎3D,但你手上一定有件事,是过去的模型干不了、而今天的它能干的。去试。」
连造模型的人,都还没摸到它的边界。
这场探索,才刚刚开始。
参考资料:
https://github.com/petergpt/3d-prompt-collection#prompt-01
https://x.com/karpathy/status/2073505440479293773
https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s
本文来自微信公众号“新智元”,作者:ASI启示录;编辑:元宇
