a16z：AI的“健忘症”，持续学习能治好它吗？
本文探讨了大语言模型存在的“健忘症”问题，即模型在训练结束后无法形成新记忆，只能依赖外部工具（如聊天历史、检索系统）进行临时学习。作者指出，尽管上下文学习（ICL）和状态空间模型（SSM）能有效扩展上下文窗口，但它们无法实现真正的知识内化，难以应对需要创造性发现、对抗性适应或隐性知识学习的场景。
文章提出，持续学习（continual learning）是解决这一问题的关键方向，其路径分为三类：上下文（通过智能体外壳管理上下文）、模块（使用可插拔知识模块实现专业化）和权重（直接更新模型参数以实现知识压缩）。权重级学习最具潜力，但面临灾难性遗忘、安全风险等挑战。
目前，创业公司和研究实验室正从不同角度探索持续学习，包括部分压缩、强化学习反馈、数据优化和新架构设计。最终，作者强调，真正的突破需让模型在部署后继续压缩经验，实现知识内化，而非仅依赖外部检索。
marsbit04/25 04:22
