长期以来,深度学习在图像分类、检测等任务上凭借端到端训练取得了巨大成功,但生成模型领域却始终是个例外。当前主流的自回归、扩散模型等训练时只学习预测“一小步”,推理时则需要反复展开数百上千步,这种训练与推理的不一致导致了“暴露偏差”等问题,使得生成模型一直未能实现真正的端到端训练。 最近,一篇来自UIUC与哈佛大学的论文提出了“探索式建模(Explorative Modeling,XM)”新范式,其核心是一个简单到近乎朴素的for循环:在每个训练步骤中,模型生成K个候选样本,然后仅选取其中最接近真实数据的一个样本来计算损失和回传梯度。这种做法巧妙地绕开了传统生成模型中因使用重构损失(如平方误差)而导致的“模态模糊”问题——即模型倾向于输出多个可能答案的平均值,而这个平均值往往不属于任何真实的数据模式。 XM通过这种方式,在不拆分生成过程的前提下,直接提升了模型的“生成表达力”,即模型捕捉数据分布中多个独立模式的能力。论文将“探索”验证为继模型参数量、数据量之后的第三根可扩展轴。实验表明,随着模型规模、数据量和计算量的增大,探索带来的性能收益越发显著,在图像、视频、语言等多种任务上均能带来效率与质量的提升。 更重要的是,当探索程度足够时,XM可以实现真正的端到端生成。在机器人控制等任务中,仅需一次网络前向传播的XM策略,其性能可媲美甚至超过需要上百次前向的扩散模型策略,实现了推理效率的飞跃。 尽管“最佳K样本选择”的思想并非全新,但该研究的贡献在于清晰地揭示了这一简单机制如何直接解决生成模型的核心瓶颈,并为实现高效、端到端的生成模型开辟了新的可能性。随着模型规模的持续扩大,探索这一新维度可能将发挥越来越关键的作用。
marsbit11天前




