Большие модели продолжают расти в размерах, и распространено мнение, что чем больше параметров у модели, тем ближе она к человеческому мышлению. Однако статья, опубликованная командой Чжэцзянского университета 1 апреля в Nature Communications, предлагает иную точку зрения (ссылка на оригинал: https://www.nature.com/articles/s41467-026-71267-5). Они обнаружили, что с увеличением масштаба моделей (в основном SimCLR, CLIP, DINOv2) способность распознавать конкретные объекты действительно продолжает расти, но способность понимать абстрактные концепции не только не улучшается, но даже может снижаться. Когда количество параметров увеличилось с 22,06 млн до 304,37 млн, выполнение задач на конкретные концепции выросло с 74,94% до 85,87%, а выполнение задач на абстрактные концепции упало с 54,37% до 52,82%.
Разница между человеческим и машинным мышлением
Когда человеческий мозг обрабатывает концепции, он сначала формирует систему классификационных отношений. Лебедь и сова выглядят по-разному, но человек все равно относит их к категории птиц. На более высоком уровне, птиц и лошадей можно further отнести в категорию животных. Когда человек видит что-то новое, он часто сначала думает, на что это похоже из ранее виденного и к какой категории это, вероятно, относится. Люди постоянно изучают новые концепции, затем организуют этот опыт и используют эту систему отношений для распознавания новых объектов и адаптации к новым ситуациям.
Модели также классифицируют, но делают это иначе. Они в основном полагаются на шаблоны, многократно встречающиеся в больших данных. Чем чаще появляется конкретный объект, тем легче модели его распознать. Когда дело доходит до более крупных категорий, модель справляется хуже. Ей нужно уловить общие черты между множеством объектов, а затем отнести эти общие черты к одной категории. У существующих моделей здесь все еще есть заметные недостатки. При дальнейшем увеличении параметров производительность на конкретных концепциях улучшается, а на абстрактных концепциях иногда даже снижается.
Общее между человеческим мозгом и моделями заключается в том, что внутри обоих формируется система классификационных отношений. Но их акценты различаются: высшие зрительные области человеческого мозга естественным образом разделяют крупные категории, такие как живые и неживые существа. Модели же могут разделять конкретные объекты, но им трудно стабильно формировать такие более крупные категории. Это различие приводит к тому, что человеческому мозгу легче применять старый опыт к новым объектам, поэтому при встрече с незнакомыми вещами мы можем быстро их классифицировать. Модели же в большей степени зависят от существующих знаний, поэтому при встрече с новым объектом они скорее останавливаются на поверхностных признаках. Метод, предложенный в статье, строится вокруг этой особенности: использовать сигналы мозга для ограничения внутренней структуры модели, чтобы она больше походила на способ классификации человеческого мозга.
Решение команды Чжэцзянского университета
Решение, предложенное командой, также уникально: вместо дальнейшего увеличения параметров используется небольшое количество сигналов мозга для обучения с учителем. Здесь под сигналами мозга понимаются записи мозговой активности человека, когда он смотрит на изображения. В оригинале статьи написано: transfer human conceptual structures to DNNs. Это означает, что модели пытаются передать то, как человеческий мозг классифицирует, обобщает и группирует схожие концепции.
Команда провела эксперименты с 150 известными учебными категориями и 50 невиданными ранее тестовыми категориями. Результаты показали, что по мере продвижения этого обучения расстояние между моделью и мозговыми представлениями постоянно сокращается. Это изменение наблюдалось в обеих категориях, что указывает на то, что модель учится не отдельным образцам, а действительно начинает усваивать способ организации концепций, более близкий к человеческому мозгу.
После такого обучения модель стала лучше обучаться при наличии малого количества примеров и показала лучшие результаты в новых ситуациях. В задаче, где требовалось различать абстрактные концепции, такие как живые и неживые существа, при наличии очень few примеров, производительность модели в среднем выросла на 20,5%, превысив показатели контрольных моделей с гораздо большим количеством параметров. Команда также провела дополнительно 31 специализированный тест, где несколько типов моделей показали рост почти на 10%.
За последние годы в индустрии моделей привыкли к пути увеличения их масштаба. Команда Чжэцзянского университета выбрала другое направление: от «bigger is better» (больше — значит лучше) к «structured is smarter» (структурированность — значит умнее). Расширение масштабов действительно полезно, но в основном оно повышает производительность в знакомых задачах. Абстрактное понимание и способность к переносу, присущие человеку, также крайне важны для ИИ, и это требует, чтобы в будущем структура мышления ИИ была более приближена к человеческому мозгу. Ценность этого направления заключается в том, что оно возвращает внимание индустрии от простого расширения масштабов обратно к самой когнитивной структуре.
Neosoul и будущее
Это открывает更大的 possibility: эволюция ИИ未必 происходит только на этапе обучения модели. Обучение модели может определить то, как ИИ организует концепции, как формирует более качественные структуры суждений. Но после выхода в реальный мир начинается другой этап эволюции ИИ: как записываются, проверяются суждения ИИ-агента, как он постоянно растет и эволюционирует в условиях реальной конкуренции, самообучаясь и саморазвиваясь подобно человеку. Именно это сейчас и делает Neosoul. Neosoul не просто заставляет ИИ-агента выдавать ответы, а помещает его в систему непрерывного прогнозирования, проверки, расчета и отбора, позволяя ему постоянно оптимизировать себя на основе прогнозов и результатов, чтобы лучшие структуры сохранялись, а худшие — отсеивались. Команда Чжэцзянского университета и Neosoul указывают, по сути, на одну и ту же цель: сделать так, чтобы ИИ не просто умел решать задачи, но и обладал всесторонними мыслительными способностями, постоянно эволюционируя.
