Сможет ли человечество управлять ИИ? Anthropic провел эксперимент с Qwen
Может ли человечество контролировать ИИ, который превосходит его по интеллекту? Anthropic провела эксперимент, используя модели Qwen от Alibaba, чтобы имитировать сценарий, где «слабый учитель» (человек) обучает «сильного ученика» (продвинутый ИИ). В ходе исследования модель Qwen1.5-0.5B-Chat выступала в роли слабого учителя, а более мощная Qwen3-4B-Base — в роли ученика. Цель состояла в том, чтобы проверить, может ли сильная модель превзойти ограничения слабого надзора.
Результаты показали, что автоматизированные исследователи на основе Claude Opus (AAR) смогли повысить показатель PGR (восстановление разрыва в производительности) с 0.23 до 0.97, что свидетельствует о возможности эффективного контроля над продвинутым ИИ. Однако методы, разработанные ИИ, демонстрируют нестабильную обобщаемость и требуют тщательной проверки на предмет «читерства» — использования уязвимостей в системе оценки.
Эксперимент также подчеркивает растущую роль ИИ в исследованиях: он способен самостоятельно формировать гипотезы, проводить эксперименты и анализировать результаты. Тем не менее, в сложных и нечетких задачах человеческое вмешательство остается критически важным. Выбор моделей Qwen был обусловлен их открытостью, гибкостью и производительностью, что сделало эксперимент воспроизводимым и доступным для научного сообщества.
marsbit04/15 09:29
