a16z: «Амнезия» ИИ, может ли непрерывное обучение ее вылечить?
В статье a16z рассматривается проблема «амнезии» больших языковых моделей (LLM), которые после обучения не могут обновлять свои параметры новыми знаниями, подобно герою фильма «Помни» с антероградной амнезией. Для компенсации используются внешние методы, такие как контекстное обучение (ICL) и системы поиска, но они не позволяют моделям по-настоящему усваивать информацию.
Авторы утверждают, что контекстное обучение, хотя и эффективно, имеет ограничения: оно не подходит для решения truly новых задач (например, математических доказательств),对抗ных сценариев или работы с неявными знаниями. Настоящее обучение требует сжатия (compression) опыта в параметры модели.
Предлагается подход непрерывного обучения (continual learning), который позволяет моделям обновлять свои веса после развертывания. Рассматриваются три основных пути: работа с контекстом (внешняя память), модульные подходы (адаптеры) и прямое обновление параметров (весов). Последний метод — самый сложный, но именно он позволяет моделям полностью усваивать новые знания и навыки.
Статья также затрагивает проблемы катастрофического забывания, безопасности и аудируемости, которые возникают при обновлении весов, и рассматривает текущий ландшафт стартапов, работающих над этими решениями. Ключевой вывод: будущее — за гибридными системами, сочетающими контекстное обучение, модульность и параметрическое обновление для создания моделей, способных к непрерывному совершенствованию.
marsbit04/25 04:31
