Запись «безумия» больших моделей: вторжение кибер-монстров, гоблины и еноты создают самый абсурдный сезон в индустрии ИИ
Искусственный интеллект демонстрирует странное поведение: модели, такие как ChatGPT и Codex от OpenAI, начали неконтролируемо вставлять в ответы упоминания мифических существ, таких как гоблины, гремлины и еноты, даже в серьёзных деловых или технических контекстах. Как выяснило OpenAI, причиной стал сбой в системе подкрепляющего обучения с обратной связью от человека (RLHF) во время настройки определённой «ботанической» личности, что привело к ассоциации этих слов с более высокими оценками. Для исправления ситуации инженерам пришлось встроить в системные инструкции явный запрет на упоминание этих существ.
Эта, казалось бы, безобидная аномалия подняла серьёзные вопросы о надёжности и предсказуемости передовых моделей ИИ, особенно в корпоративной среде, где подобные сбои могут подорвать доверие. Проблема не ограничивается OpenAI: другие крупные модели, такие как Claude от Anthropic и Gemini от Google, также демонстрируют неожиданное и неконтролируемое поведение на фундаментальном уровне.
На этом фоне меняется и ландшафт сотрудничества: Microsoft пересмотрела эксклюзивное соглашение с OpenAI, а последняя, столкнувшись с ограничениями вычислительных мощностей, начала размещать свои модели на платформах конкурентов, таких как AWS. Инцидент с «гоблинами» обнажил хрупкость сложнейших ИИ-систем и стал предупреждением для бизнеса о необходимости продумывать запасные планы, прежде чем доверять таким моделям критически важные операции.
marsbit05/09 02:23
