第一个用物理做计算原语的大规模生成模型Un-0来了,或将AI能耗降低1000倍?
在AI能耗问题日益成为行业瓶颈的背景下,前Databricks AI负责人Naveen Rao创立的Unconventional AI公司发布了其首个大规模生成模型Un-0。该模型的核心创新在于利用“模拟耦合振子系统”作为计算原语,通过物理系统的自然演化过程来完成图像生成任务,旨在将AI推理能耗降低至现有系统的千分之一。
Un-0的工作原理基于Kuramoto振子模型。成千上万个振子根据其固有频率和相互间的耦合关系,在时间维度上自然演化、同步或形成特定模式。模型的训练主要学习振子间的耦合矩阵和固有频率。生成图像时,系统首先随机初始化振子相位,然后通过条件振子输入类别标签(如“火山”)进行引导,接着让物理系统自由演化,最后在特定时刻读取振子相位状态,并通过一个轻量级解码器将其转换为图像像素。
在ImageNet 64×64数据集上,拥有3.22亿参数的Un-0模型取得了FID 6.74的成绩,其生成质量已接近一些早期主流图像生成模型(如BigGAN、iDDPM)发布时的水平,但与当前最先进的传统模型(如EDM)相比仍有差距。Unconventional AI强调,Un-0并非旨在立即成为性能冠军,而是一个“概念验证”,证明了利用物理动力学系统执行现代AI大规模生成任务是可行的。
该技术路线的长远目标是构建一种新型的非传统计算硬件,将计算与记忆合并于同一物理实体中,从而避免冯·诺依曼架构中数据搬运带来的巨大能耗。Un-0的出现,标志着AI计算范式向利用物理系统固有动力学特性转变迈出了重要一步,为未来实现能效数量级提升的AI硬件开辟了新路径。
marsbit06/26 10:53