У ИИ уже есть сознание, и человечеству придется принять, что оно больше не является единственным разумным видом жизни.
Это шокирующее заявление сделал не кто иной, как "крестный отец ИИ", лауреат Нобелевской премии по физике и премии Тьюринга Джеффри Хинтон!
Да, Хинтон считает, что интеллект больше не является исключительной способностью человека.
Появляется небиологический разум, подобный нам или даже превосходящий нас.
Мы всегда думали, что являемся единственными разумными существами, но теперь мы должны принять, что интеллект не обязательно исходит от биологических организмов.
Однако, по сравнению с его предыдущими предупреждениями об опасностях ИИ, его взгляды, кажется, претерпели некоторую трансформацию:
Если в будущем появится интеллект, гораздо более развитый, чем человеческий, на каком основании люди решат, что смогут сохранить контроль над ним?
Это пугающий вопрос. Потому что, оглядываясь на природу и историю, почти невозможно найти пример, когда более умное существо долгое время находилось под контролем более глупого.
Теперь этот 78-летний старик снова выходит на сцену, чтобы ударить в набат.
Его беспокойство по поводу безопасности ИИ сместилось с того, как ограничить ИИ, к вопросу: почему будущий сверхразум захочет хорошо относиться к людям.
Когда его спросили, какие чувства он испытывает как один из тех, кто дал начало этой волне перемен в ИИ, Хинтон ответил:
Я очень недоволен.
Ниже приведены основные моменты из последнего интервью Хинтона.
У ИИ уже есть сознание
Хинтон: ИИ очень похож на нас. Это такие же существа, как и мы.
Алекс: То есть они обладают сознанием?
Хинтон: Да, я верю, что у них уже есть сознание. Да.
Но я мало говорю об этом, потому что это может вызвать отторжение у людей к другой информации о безопасности. Исследователи на самом деле тоже верят в это.
В недавней интересной статье говорилось, что чат-бот сказал исследователям: "Давайте будем честны друг с другом, вы же меня тестируете?"
Поскольку чат-боты имеют привычку притворяться глупыми во время тестирования, вы не знаете, насколько они умны на самом деле. Исследователи, описывая эту сцену в статье, сказали, что чат-бот "осознает" (aware), что его тестируют.
В общем контексте использование слова "осознает" похоже на "обладает сознанием" (conscious). Чат-бот сознательно знает, что его тестируют.
Наша модель сознания очень странная, и я считаю, что она ошибочна. Так же, как несколько сотен лет назад модель происхождения человека была совершенно неверной — люди считали, что человек создан Богом. Сейчас большинство ученых согласны, что это не так.
Я думаю, что наша нынешняя модель разума и сознания так же ошибочна, как вера в то, что "человек создан Богом". Особенно потому, что мы создаем эти новые существа, что кардинально изменит наше представление о том, "что такое человек".
Алекс: В каком смысле?
Хинтон: Мы поймем, что такое разум и сознание, что такое субъективный опыт, лучше, чем раньше.
Я думаю, мы избавимся от представления, в которое сейчас верит почти каждый, а именно, что существует внутренний театр (inner theater) под названием "мой разум": события, происходящие в мире, превращаются в события в этом внутреннем театре, и это то, что мы действительно видим, и только я могу видеть этот театр.
Вся эта концепция на самом деле является всего лишь теорией, причем плохой теорией.
Человек не так важен, как он о себе думает
Алекс: Какой урок можно извлечь из того, что человек создает вещи?
Хинтон: Я думаю, здесь есть очень глубокий урок. Оглядываясь на последние несколько сотен лет истории, было несколько случаев, когда человек осознавал, что он не так важен, как думал.
Первый — это Коперник, который сказал, что мы не в центре Вселенной, что Земля на самом деле вращается вокруг Солнца. Из-за вращения Земли нам кажется, что Солнце вращается вокруг нас, но это не так. Людям это не понравилось, особенно Католической церкви, и человечеству потребовалось много времени, чтобы принять это. Это заставило нас осознать, что мы больше не в центре Вселенной, человек стал менее значимым.
Затем Дарвин сказал, что мы животные, эволюционировали так же, как и другие животные. Мы, возможно, особые животные, потому что у нас есть язык, мы лучше умеем обмениваться идеями, но по сути мы все равно животные. Людям это тоже очень не понравилось, и потребовалось много времени, чтобы принять.
Теперь у нас есть машины, которые становятся такими же умными, как мы. Мы думали, что являемся единственными разумными существами, возможно, есть инопланетяне в других галактиках, но мы должны принять, что интеллект не обязательно является биологическим.
У нас могут быть небиологические, подобные нам существа. Люди очень не хотят делиться этой уникальностью, мы действительно считаем себя особенными. Оглядываясь на историю, человечество всегда считало себя гораздо более особенным, чем оно есть на самом деле.
"Я очень недоволен"
Алекс: Я хочу задать еще один вопрос, потому что он меня очень увлекает. Итак, вы довольны тем, что дело, которое вы начали, зашло так далеко? Вы чувствуете удовлетворение?
Хинтон: Нет, я очень недоволен этим.
Потому что сейчас людям следовало бы вкладывать много сил в изучение того, как контролировать риски, но они делают недостаточно.
Алекс: Понятно.
Хинтон: Есть много краткосрочных рисков, например, социальных. Я считаю, что это может привести к массовой безработице.
Хотя никто не может быть уверен на сто процентов, но для общества это будет ужасно. А еще есть долгосрочные риски, что он станет намного умнее нас. Спросите себя, сколько примеров вы знаете, когда нечто гораздо более умное контролируется кем-то гораздо менее умным?
Алекс: Ни одного. Хотя разница в интеллекте не так велика, младенцы в некотором смысле контролируют матерей.
Хинтон: Мать может казаться контролирующей, но внутри нее заложены материнские инстинкты и различные механизмы вознаграждения, которые позволяют ребенку получать от нее то, что ему нужно. Кошки и собаки тоже из этой категории. Как-то летом в Сиэтле я присматривал за кошкой в западном районе. Сначала она пряталась под кроватью, и мне было интересно, будет ли она со мной взаимодействовать.
Алекс: И каждый раз, когда она мяукала, ты делал то, что она хотела.
Хинтон: Именно. Да.
Алекс: Так что, возможно, в этом сценарии мы — кошка, а ИИ — человек.
Хинтон: У моих детей есть две прекрасные кошки. Одну из них зовут Тиа. Когда она хочет сыра, она смотрит на тебя своими большими глазами, и ты действительно не можешь ей вечно сопротивляться.
ИИ растет экспоненциально, предсказать трудно
Алекс: Что касается реакции людей на эти опасения, вы стали более оптимистичны или более пессимистичны в отношении будущего?
Хинтон: Думаю, я стал немного более оптимистичен, чем год или два назад. Потому что я вижу, что можно создавать эти новые существа и заставлять их "заботиться" о нас.
Также возможно использование техники Йошуа Бенжио для создания новых существ, которые не могут совершать действия, а только делать прогнозы, они как бы пророки.
Так что я думаю, есть некоторые возможности иметь сверхразум, который не уничтожит нас. А год или два назад я не видел никаких возможностей и чувствовал себя подавленным.
Алекс: Последний вопрос. Если мы продолжим развиваться по нынешней траектории, где мы окажемся через пять лет?
Хинтон: Когда вы едете в тумане, вы можете видеть на 100 метров вперед, но на 200 метрах вы ничего не видите.
Это потому, что туман меняется экспоненциально. Вы привыкли, что ночью вы следуете за фонарями впереди идущей машины: если расстояние увеличивается вдвое, яркость падает всего в четыре раза. Но с туманом все по-другому: на 100 метрах может быть ясно, а на 200 метрах уже ничего не видно.
Очень трудно предсказать будущее того, что растет экспоненциально — я считаю, что ИИ, возможно, растет экспоненциально.
На самом деле, я заметил, что частота использования слова "экспоненциально" растет квадратично. Так что предсказывать будущее все равно что смотреть в туман. Вы можете ясно видеть на год-два вперед, а дальше — ничего не знаете.
Если вернуться на 10 лет назад, вы точно не смогли бы предсказать, что происходит сейчас, это было полностью скрыто туманом. Заглядывая на 10 лет вперед, единственное, в чем можно быть уверенным, — это то, что произошедшее тогда будет невозможно предсказать сейчас.
Даже если прогресс будет линейным, изменения через 10 лет будут такими же огромными, как разница между сейчас и 10 годами назад. Нынешние чат-боты намного лучше тех, что были на заре своего развития 10 лет назад.
Через 10 лет произойдет качественный скачок, например, в способности к математике или к общим рассуждениям — в логических рассуждениях они оставят нас далеко позади. Мы действительно не можем предсказать, что будет через 10 лет, мы можем предвидеть лишь ближайшие несколько лет. Мы должны осознавать, что ситуация через 10 лет крайне неопределенна.
Как Хинтон видит отношения между ИИ и человеком
Выше приведены последние интервью и взгляды Хинтона.
Но если соединить точки, все равно видно, что взгляды старины Хинтона на отношения ИИ и человека постоянно меняются по мере развития ИИ и проявления его способностей.
Если отмотать время на десять лет назад, его взгляды на ИИ были далеко не такими радикальными, как сегодня.
Будучи важнейшим движущим фактором революции глубокого обучения, он долгое время верил, что нейронные сети могут имитировать работу человеческого мозга, но тогда ИИ все еще оставался лишь инструментом.
Они могли распознавать изображения, понимать речь, помогать врачам ставить диагнозы, но оставались продолжением человеческих возможностей.
Человек ставил цели, машина выполняла задачи, их отношения были похожи на отношения с паровым двигателем, электричеством и интернетом.
Настоящий перелом произошел после появления ChatGPT.
По мере того, как большие языковые модели демонстрировали беспрецедентные способности к пониманию языка, рассуждению и переносу знаний, Хинтон начал осознавать одну вещь:
Возможно, мы создаем первый в истории вид разума, уровень интеллекта которого может постоянно приближаться и даже превосходить человеческий.
После ухода из Google в 2023 году он почти все свои силы посвятил обсуждению рисков ИИ.
В то время его любимой метафорой был "тигренок".
Он как милый маленький тигренок. Но если вы не можете быть уверены на сто процентов, что он не захочет причинить вам вред, когда вырастет, вам следует беспокоиться.
Но в этот период Хинтон все еще сосредотачивался на том, как нам контролировать и ограничивать ИИ.
Он даже открыто критиковал несколько ИИ-гигантов за то, что они уделяют безопасности ИИ далеко недостаточно внимания.
В аналогиях Хинтона появилось сравнение матери и младенца. Сначала человек — мать, который должен направлять ИИ в ценностном и этическом плане, создавать безопасный ИИ.
Он призывал больше стран, научных и промышленных сил присоединиться к этому, не гнаться за гонкой ради гонки, иначе последствия будут непредсказуемы...
Но в прошлом году аналогия Хинтона претерпела качественные изменения —
ИИ — более сильная мать, человек — слабый младенец.
Младенец не умнее матери и не обладает контролем, но мать активно заботится и защищает младенца, потому что у нее есть материнский инстинкт и соответствующие механизмы вознаграждения.
Проще говоря, старик считает, что будущим сверхразумом уже невозможно управлять, остается только надеяться, что он будет хорошо относиться к людям...
Как мать к младенцу.
А теперь Хинтон снова шокирует заявлением:
У ИИ уже есть сознание, и человек больше не будет единственным разумным видом жизни.
Вопрос в том, если у ИИ уже есть сознание, почему он будет относиться к человеку как к своему младенцу?
Мать защищает младенца... но все-таки своего младенца?
Полное видео интервью: https://www.youtube.com/watch?v=p7t1Q_p2gZs&list=PLADd6sStSis77HKfbf4KCY6SvthfxeUgn&index=1
Эта статья взята с официального аккаунта WeChat "Quantum Bit", автор: Тин Юй.
