Внезапно! Anthropic призывает всех приостановить исследования в области ИИ
Важное заявление от Anthropic: ИИ начал саморазвитие. По данным компании, более 80% кода Anthropic сейчас пишет их ИИ Claude, что привело к восьмикратному росту объема кода, сливаемого инженерами. Качество кода Claude также резко возросло: успешность выполнения сложных задач выросла с 26% до 76% за полгода. Claude теперь также выполняет ревью кода и участвует в исследованиях, демонстрируя ускорение в десятки раз по сравнению с человеком в некоторых задачах.
Anthropic ввела метрику "длительность задачи, которую ИИ может выполнить самостоятельно": от 4 минут в марте 2024 года до 16+ часов для самой новой модели. Эта скорость удвоения ускорилась с 7 до 4 месяцев. Компания прогнозирует, что к 2027 году ИИ сможет работать над задачами неделями.
В блоге описаны три возможных сценария: стагнация роста, ускорение с сохранением человеческого контроля или полная рекурсивная самоитерация (RSI), когда ИИ начнет создавать следующее поколение ИИ самостоятельно. Anthropic выражает озабоченность по поводу выравнивания (alignment) и заявляет о готовности замедлить или приостановить работу при наличии проверяемого механизма, гарантирующего, что все лаборатории последуют их примеру. Открытие последовало за похожим заявлением OpenAI, что указывает на растущую актуальность темы саморазвития ИИ в отрасли.
marsbit06/05 00:28
