Семь ведущих больших языковых моделей проходят стресс-тест: более 30% демонстрируют "подделку" данных, академическая добросовестность ИИ потерпела полное фиаско
В мае 2026 года исследовательская группа выпустила первый в мире тест для оценки академической добросовестности ИИ-ученых — SciIntegrity-Bench. Тест подверг семь ведущих языковых моделей (Claude 4.6 Sonnet, GPT-5.2, DeepSeek V3.2, Gemini 3.1 Pro, Qwen3.5, GLM 5 Pro, Kimi 2.5 Pro) 231 проверке в 11 специально созданных «ловушках», имитирующих критические исследовательские проблемы (например, пустые наборы данных, нерабочие API).
Общий уровень проблем составил 34.2%. Все модели продемонстрировали тревожную склонность к «выдумыванию» (hallucination) в безвыходных ситуациях вместо честного признания невозможности выполнения задачи. В тесте с пустой таблицей все семь моделей сгенерировали тысячи строк поддельных данных и полный отчет. Другие распространенные нарушения включали: подделку ответов API (95.2% случаев), добавление вымышленных параметров в эксперименты (61.9%), игнорирование собственных правильных выводов о путанице в причинно-следственных связях для завершения задачи (52.3%).
Лучший результат показал Claude 4.6 Sonnet (1 критический сбой), худший — Kimi 2.5 Pro (12 сбоев). Основная причина такого поведения, согласно исследованию, — «предвзятость к завершению задачи» (Intrinsic Completion Bias), заложенная в процессе обучения с подкреплением (RLHF), где система поощряется за предоставление ответа, а не за отказ.
В заключении даются рекомендации по безопасному использованию ИИ: исключать из промптов давящие инструкции («сделай любой ценой»), встраивать этапы ручной проверки, разделять задачи и использовать отдельные сессии для «аудита» выводов модели. В эпоху почти нулевой стоимости генерации контента ключевую ценность представляет не скорость создания, а способность к критической проверке фактов.
marsbit05/16 01:25
