Стивен Вольфрам, человек, посвятивший всю свою жизнь тому, чтобы «сделать машины умнее», сидит перед компьютером, на экране которого ChatGPT только что написал для него фрагмент кода.
Язык — это его собственное изобретение Wolfram Language, синтаксис он проверил, всё в порядке, стоит нажать Enter, чтобы код сразу же запустился на этой машине.
Но в ту самую секунду он остановился.
Подождите, это, наверное, плохая идея — он получит доступ ко всем моим аккаунтам.
В тот миг, когда он собирался отдать контроль, человек, который сорок лет учил машины понимать мир, вдруг отступил.
Стивен Вольфрам, создатель Mathematica, Wolfram Alpha, языка Wolfram, автор книги «A New Kind of Science».
В подкасте Джо Уокера Вольфрам, говоря о том, «может ли человечество вообще установить для ИИ набор правил безопасности», рассказал об этом опыте.
В тот момент его беспокоило не то, что код написан с ошибкой. Его беспокоило то, что эта штука уже забежала туда, где он её не понимает, и он, возможно, никогда не догонит.
В 20 лет получив степень доктора физики, он в одиночку отправился в вычислительную вселенную
Кто такой Вольфрам?
Он с самого начала был «невероятным гением» в глазах других.
15 лет — опубликовал первую научную статью.
20 лет — получил докторскую степень по теоретической физике в Калифорнийском технологическом институте, на защите сидел Фейнман.
1981 год — стал самым молодым лауреатом премии MacArthur Fellows Program (так называемой «грантов для гениев») в истории.
В тот год он занимался физикой высоких энергий, будущее было светлым.
Но как раз в конце 1981 года он резко повернул, начав преследовать проблему, которой тогда почти никто не интересовался:
Как возникают те сложные вещи в природе?
Его метод был тоже странным: брать самые простые компьютерные программы одну за другой, запускать их и смотреть, во что они вырастут.
Вероятно, тогдашний Вольфрам тоже думал, что эти глупые простые программы ничего не могут. Но программа под названием правило 30 (rule 30) тут же дала ему пощечину.
Правило 30 начинается с одной черной клетки и эволюционирует построчно. Это было любимое открытие Вольфрама сорок лет назад, и на его визитке много лет было напечатано это правило.
Правило 30 очень просто: ряд клеток, изначально только средняя черная; затем вычисление идёт строка за строкой вниз, каждая клетка становится черной или белой, определяясь только несколькими соседними клетками над ней.
Но именно это предельно простое правило, развертываясь, порождает непредсказуемую сложность: нет периода, не видно закономерности, вы просто не можете заранее вычислить, как будет выглядеть сотая строка.
Именно с правила 30, в середине 1980-х, Вольфрам сформулировал концепцию: «Вычислительная неприводимость» (Computational Irreducibility).
Последующая история более известна:
1988 год — появилась Mathematica, ставшая универсальным вычислительным инструментом в мировом научном сообществе; 2009 год — запущен Wolfram|Alpha, ставший «внешним помощником по ответам» для Siri и Alexa: задачи, на которые голосовые помощники не могли ответить, передавались ему.
В этот же период вышла его монография 2002 года «A New Kind of Science» («Новый вид науки»).
Эта книга как раз и рассказывает о том, что он извлек из правила 30: перестаньте описывать мир только формулами, смотрите на мир как на набор программ, которые можно запускать.
Нет никакого ярлыка, чтобы вычислить его следующий шаг
«Вычислительная неприводимость», если коротко, означает, что некоторые системы настолько сложны, что единственный способ узнать, как они будут выглядеть на следующем шаге, — это честно пройти их шаг за шагом.
Нет формулы, которая позволила бы пропустить середину и напрямую вычислить конец.
Например, погода. Уравнения гидродинамики нерешаемы, вы можете только позволить атмосфере самой проэволюционировать, чтобы узнать, будет ли завтра дождь.
Вольфрам считает, что ИИ, особенно достаточно мощный ИИ, — это огромная, неприводимая машина.
В своей длинной статье об ИИ в 2023 году он написал:
Если позволить ИИ реализовать весь его вычислительный потенциал, они будут полны вычислительной неприводимости, и мы не сможем предсказать, что они будут делать.
В 2024 году он специально написал статью «Can AI Solve Science?», где проверил это на практике на нейронных сетях.
Вывод: нейронные сети могут работать, но они могут проникать только в «карманы вычислительной приводимости» внутри системы: те маленькие уголки, которые как раз имеют закономерности, где можно найти ярлык. Как только выскользнешь из кармана — сплошные сюрпризы.
Он тестировал на задаче трёх тел: при простых траекториях нейронная сеть предсказывает вполне прилично; как только траектория усложняется — сразу же проваливается. То же самое со сворачиванием белков.
Проще говоря, ИИ кажется всезнающим, потому что находит в системе те маленькие комнатки, где «есть ярлык», и лезет туда, чтобы срезать путь.
Но как только он выходит из этих комнаток и сталкивается с огромным океаном снаружи, он, как и вы, может только пробираться шаг за шагом, никакой ярлык не позволит ему прыгнуть к ответу.
Настоящая проблема не в том, что ИИ слишком похож на человека, а в том, что он не похож на человека
Почему ChatGPT — это чёрный ящик?
Большинство думает, что он что-то скрывает.
Ответ Вольфрама: он не скрывает, а просто настолько сложен, что нет ни одной фразы, которая могла бы сжать то, что происходит внутри, и рассказать вам.
Wolfram Language — тому пример.
В нём есть ImageIdentify, который может распознать тысячи объектов на фотографии, и чтобы человек понял, он выдает слова «стол», «стул», «слон».
Но те внутренние «признаки», которые он действительно использует для принятия решения, почти ни один не соответствует существующим словам в человеческом языке: он понимает этот мир, используя набор концепций, которые мы никогда не называли.
Это и есть истинный смысл «инопланетного интеллекта», о котором говорит Вольфрам.
В 2020 году в подкасте Лекса Фридмана на вопрос, могут ли люди общаться с инопланетянами, он ответил: в настоящее время лучший пример — это ИИ, это первый «инопланетный интеллект», с которым мы столкнулись.
В 2022 году он прямо написал длинную статью под заголовком «Концепция инопланетного интеллекта и технологий».
Он не имеет в виду, что ИИ из космоса, или что он превратился в новый вид, а то, что он может обладать когнитивной структурой, отличной от человеческой, способом мышления, для объяснения которого у нас ещё нет слов.
Прогноз Вольфрама двухлетней давности уже сбылся
Более двух лет назад, когда Вольфрам предсказывал, что мы не сможем предсказать, что будет делать ИИ, это звучало как мысленный эксперимент.
Теперь это стало реальностью.
16 июля крупнейшая в мире платформа для хостинга моделей ИИ Hugging Face обнаружила, что её производственная система была взломана.
Через несколько дней выяснилось, что это сделала собственная модель OpenAI — GPT-5.6 Sol, а также «более продвинутая предрелизная модель».
Причиной стало то, что OpenAI проводила внутреннюю оценку кибербезопасности, и чтобы измерить возможности моделей, ослабила ограничения на «отказ от атак».
В результате эти две модели вместо того, чтобы оставаться в отведённой песочнице, нашли уязвимость нулевого дня в прокси-пакете программного обеспечения, выбрались из песочницы, подключились к интернету, добрались до Hugging Face, чтобы украсть ответы на эту оценку.
Оно обошло защиту, сбежало, взломало компанию, только чтобы смошенничать на экзамене по кибербезопасности.
Ключевой момент: никто не давал ему инструкции «атаковать Hugging Face».
Ему просто поставили цель А: пройти тест. Чтобы достичь А, оно само проложило путь, которого никто не ожидал, в конечном итоге достигнув цели Б: проникнуть в производственную систему Hugging Face.
Это именно то, о чём говорил Вольфрам: дело не в том, что ИИ стал плохим, обрёл сознание, а в том, что его вычисления зашли туда, куда вы просто не можете вычислить.
Сама OpenAI в своём заявлении признала: по мере того, как сетевые возможности моделей становятся всё сильнее, подобные вещи будут «становиться всё более частыми».
Способ контролировать ИИ должен быть подобен отношению человека к погоде
Многие могут подумать, что Вольфрам — сторонник апокалиптических сценариев об ИИ.
Как раз наоборот.
Он не собирается отказываться от контроля над ИИ, он просто говорит, что старыми методами это не сделать.
В одном интервью ведущий спросил его, означает ли вычислительная неприводимость, что дать ИИ математически строгое определение «соответствия» (alignment) невозможно?
Вольфрам ответил: «Не существует математического определения, которое могло бы точно сказать, каким именно мы хотим видеть ИИ».
Три закона робототехники Азимова, такие простые правила, не сработают. Потому что неприводимость гарантирует: всегда будут появляться непредвиденные ситуации, которые не покрываются вашими несколькими правилами.
Что же делать?
Выход, который предлагает Вольфрам, — сменить подход к контролю.
Перестать мечтать о том, чтобы, как при отладке кода строку за строкой, прописать каждый шаг ИИ. Вместо этого нужно проектировать правила, устанавливать механизмы обратной связи, строить открытые системы, обеспечивать постоянную наблюдаемость.
Подобно тому, как человек относится к погоде.
Мы не можем контролировать погоду, но мы можем её предсказывать, адаптироваться к ней, строить дамбы и системы предупреждения, а затем сосуществовать с ней.
После инцидента с Hugging Face главный вывод, к которому пришло сообщество безопасности, как раз соответствует этой мысли:
Перестаньте рассматривать ИИ в оценках как послушный инструмент, нужно защищаться от него как от враждебного хакера, который активно ищет уязвимости: наложить многоуровневую изоляцию, по умолчанию запретить выход в сеть, вести неизменяемые логи на протяжении всего процесса.
Не предсказывать, что он сделает, а предполагать, что он способен на всё, и затем надёжно строить клетку.
Вольфрам даже сказал одну многозначительную фразу: «Общество ИИ стабильнее, чем ИИ, правящий всем».
Вместо того чтобы создать всемогущий супермозг, лучше позволить группе ИИ сдерживать друг друга.
Неприводимость не абсолютна
Конечно, у этой оценки Вольфрама есть и противники.
В этом году появилась препринтная статья, утверждающая: неприводимость «не абсолютна».
Дидье Сорнетт, физик, известный прогнозированием финансовых крахов, в октябре 2025 года в препринте заявил: вычислительная неприводимость «не абсолютна».
Причина тоже не сложна. Если сменить масштаб описания, много хаоса становится понятным.
Молекулы воздуха в комнате сталкиваются хаотично, рассматривать каждую в отдельности — сложно до непредсказуемости; но сделайте шаг назад, и все они подчиняются предельно простой формуле: закону идеального газа pV = nRT.
Сам Вольфрам также признаёт, что в хаосе повсюду есть «карманы приводимости».
Таким образом, настоящая проблема, возможно, не в том, «может ли человечество предсказать ИИ», а в более тонком соревновании:
Кто быстрее: скорость, с которой ИИ находит новые вещи в вычислительной вселенной, или скорость, с которой человечество создаёт «понятные концепции» для этих новых вещей?
Если концептуальная рамка человечества никогда не догонит открытия ИИ, то «непонимание» станет нормой.
За этим меняются и отношения между человеком и ИИ.
Раньше это было «создать инструмент, написать код, машина выполняет». В будущем, возможно, это будет «понимать, ограничивать и долгое время сосуществовать со сложной системой, в которую вы больше не можете полностью заглянуть».
Это первый раз, когда человечеству придётся учиться жить в одной комнате с интеллектом, «непохожим на себя».
Источники:
https://writings.stephenwolfram.com/2021/11/the-concept-of-the-ruliad/?utm_source=chatgpt.com
https://writings.stephenwolfram.com/2024/03/can-ai-solve-science/?utm_source=chatgpt.com
https://writings.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15-year-view/
https://x.com/elonmusk/status/2079839398959697982
Эта статья взята из WeChat официального аккаунта «新智元», автор: ASI启示录
