Треть статей на arXiv, оказывается, написана ИИ?
Совсем недавно одно исследование от unslop взорвало иностранный интернет.
За последний год 65% новых статей в области компьютерных наук его детектор пометил красным.
Пользователи даже придумали для этого специальный термин — «эпоха Большого Помойного Ведра».
А вот математические статьи за тот же период — всего 0,7%.
Как зазвучал ChatGPT, кривая взлетела на месте
В этом исследовании команда проанализировала 12750 статей с arXiv, охватив период с января 2023 года по июль 2026.
Целью стали десять дисциплин, из каждой области ежемесячно выбиралось около 25 полных текстов.
Контрольную группу выбрали за 2021–2022 годы — эпоху до рождения ChatGPT, чисто человеческую.
Результаты показали, что в 2021–2022 годах уровень пометок стабильно держался на 0,4%; но с выпуском ChatGPT кривая за несколько месяцев взмыла вверх.
В последнем полном квартале уровень пометок достиг 32%, а в начале 2026 года пик и вовсе приблизился к 39%.
Если смотреть по дисциплинам, то компьютерные науки пострадали сильнее всего — уровень пометок достиг 65%.
А要知道 до появления ChatGPT базовый показатель здесь составлял лишь 0,2%. Всего за три года цифра взлетела более чем в 300 раз.
За ними следуют количественная биология — 56,3%, электротехника — 51,3%, экономика и финансы — 47%; далее идут прикладная физика — 34%, статистика — 31,3%, физика конденсированного состояния — 24%, физика высоких энергий — 14%, астрофизика — 10,7%.
В самой последней строке рейтинга — математика: 0,7%.
И это ещё только нижний предел. Если текст ИИ спрятан достаточно хорошо, детектор его не распознает.
Один и тот же детектор, одна и та же база статей, а разрыв приближается к 100 раз.
То ли математики коллективно придерживаются чисто ручного набора текста? То ли эта машина перед математическими формулами попросту слепа?
Упавшие на дно 0,7% — это слепота машины
На самом деле разгадку unslop уже собственноручно вписал в отчёт.
Подумайте, как выглядит стандартная математическая статья? Весь экран забит символами, формулами, теоремами и доказательствами, настоящих предложений на английском, написанных прозой, — раз-два и обчёлся.
А этот детектор распознаёт только текст. Он следит за структурой предложений, привычками словоупотребления, организацией абзацев.
А те несколько строк, что остались в математической статье, — сплошь «Пусть X будет таким-то», «Из леммы 3 следует» и прочие шаблонные выражения, которые в принципе не в том же регистре, что научный английский, на котором тренировали детектор.
Поэтому сама команда признаёт, что в нынешнем исследовании ещё немало ограничений:
0,7% по математике пока ни о чём не говорят. Возможно, математики действительно мало используют ИИ, а возможно, детектор не понимает математических статей, но эти данные не позволяют разграничить два варианта.
Контрольная группа тоже сравнительно мала. По каждой дисциплине всего 200 статей эпохи до ChatGPT, при уровне ложных срабатываний 0,4% из 2000 статей всего отмечено 8. Такие цифры можно считать лишь грубой оценкой.
И ещё, как уже говорилось, детектор выявляет не всё. Так что эти цифры — лишь нижний предел, реальная доля будет только выше.
Где больше конкуренции, тем больше нужен ИИ
Итак, кто же использует ИИ для написания статей?
Ответ кроется в другом двухлетнем исследовании Стэнфорда.
В марте 2024 года команда Вэйсиня Ляна из Стэнфорда впервые приложила измерительную линейку к рецензированию: в рецензиях ICLR 2024 около 10,6% предложений были существенно изменены с помощью LLM. Статьи ещё не проверили, а рецензенты сами уже начали ими пользоваться.
В августе 2025 года та же команда расширила выборку до 1,12 миллиона статей и напрямую вышла в «Nature Human Behaviour».
Исследование показывает, что по состоянию на сентябрь 2024 года доля изменений с помощью LLM в аннотациях статей по CS достигла максимума в 22,5%. И активнее всего ими пользовались исследователи, наиболее активно публикующие препринты и работающие в самых конкурентных областях.
Чем конкурентнее область, тем активнее используют.
Здесь написание с помощью ИИ уже стало гонкой вооружений: коллеги используют ИИ для ускорения темпа, и те, кто пишет только вручную, отстают на шаг.
Неудивительно, что в одном широко распространённом ретвите на X первая строка сопроводительного текста гласила: «Промпт: напиши статью, которую можно отправить на arXiv.»
Он улавливает «привкус», а не ИИ
Однако не спешите осуждать, опираясь на эти 65%.
Команда в отчёте также признаёт, что детектор не отличает «ИИ подправил грамматику» от «машина сделала всю работу», он лишь определяет концентрацию машинного привкуса в тексте.
Так что правильное понимание 65% — это «65% статей пахнут ИИ», а не «65% статей написаны ИИ».
Но проблема в том, что этим машинным привкусом могут заразиться и сами люди.
Был один скептически настроенный исследователь, который закинул в детектор свои старые статьи, написанные много лет назад, и в результате от 27% до 74% содержания было помечено красным.
А要知道 в ту эпоху ChatGPT и в помине не было.
Причина нетрудно найти.
Откройте современный научный журнал — страницы заполнены большими языковыми моделями, бенчмарками, передовыми отраслевыми разработками. Чем стандартнее формулировки, чем строже структура, тем легче нарваться на машинные признаки, которые определяет детектор.
К тому же LLM изначально обучались на таких статьях. Не учёные пишут, как ИИ, а ИИ изначально пишет, как учёные.
Когда все тексты становятся подозрительными
На самом деле последние два года мы все занимаемся тем же, что и детектор.
Читаешь ровный, аккуратный, местами с «не только..., но и...» текст — и сердце ёкает: это, наверное, ИИ написал?
Детектор unslop превратил это смутное чутьё в прибор, способный производить цифры.
Ведь раз сомнение поселилось в голове, от него уже не избавиться.
Раньше сам факт «написания» уже был своего рода гарантией. Человек, готовый потратить несколько часов на организацию текста, по крайней мере, демонстрировал серьёзность.
Теперь, как бы красиво ни написали, можно получить лишь ответ: «ИИ, да?».
Некоторые даже начали намеренно избегать слов, которыми пользовались полжизни, только потому, что они «звучат слишком по-ИИшному».
Сегодня «ИИ-привкус» превращается в новый вид первородного греха, охватившего мир текста.
Комично то, что до сих пор мы даже не можем точно измерить, из чего состоит этот самый «ИИ-привкус».
Эта статья из официального аккаунта WeChat «Новый Эон Разума», автор: ASI Апокалипсис
