Автор: Дин Хуэй, Аллен
Введение: Глава Anthropic Дарио Амодеи выпустил предупреждение ядерного уровня: в 2027 году человечество встретит «технологическое совершеннолетие». Длинная статья на 20 000 иероглифов хладнокровно анализирует пять основных кризисов: выход ИИ из-под контроля, биологический терроризм, тоталитарное правление и экономический подрыв, отвергая апокалиптику; предлагает построить линию обороны с помощью «Конституционного ИИ», регулирования и демократического сотрудничества, призывая человечество пройти это «совершеннолетие» цивилизации с мужеством.
В Кремниевой долине сегодня не уснут.
Глава Anthropic Дарио Амодеи, обычно элегантный и утонченный большой босс в области ИИ, неожиданно обрушил预警 (yùjǐng - предупреждение) ядерного уровня в виде длинной статьи.
На этот раз он больше не говорит о завершении кода, не говорит о теплоте Claude, а просто перелистывает календарь на 2027 год и самым冷静 (lěngjìng - хладнокровным) пером описывает будущее, от которого холодеет спина.
Он говорит, что мы приближаемся к бурному и неизбежному «совершеннолетию».
2027 год — это не просто год, он может ознаменовать полный конец «технологического подросткового возраста» человечества.
В этой длинной статье под названием «Технологический подростковый возраст» Дарио выдвигает удивительную концепцию: «гений-государство в центре обработки данных».
Представьте себе не робота, с которым можно флиртовать в чате, а государство с населением 50 миллионов человек.
Более того, каждый из этих 50 миллионов «граждан» имеет IQ, превосходящий лауреатов Нобелевской премии в истории человечества, и скорость действий в 10–100 раз выше, чем у людей.
Они не едят, не спят, неустанно думают, программируют, занимаются наукой на серверах со скоростью света.
Это что, помощник ИИ? Это просто явление бога.
Дарио предупреждает, что с приближением AGI (искусственного общего интеллекта) человечество вот-вот получит невообразимую силу.
Но эта сила также является мечом Дамокла, висящим над головой человечества.
Чтобы прояснить лежащий в основе ужас, Дарио, как луковицу, слой за слоем обнажает жестокую правду будущего.
Перед началом Дарио использует фильм «Контакт», чтобы задать вопрос: когда человечество сталкивается с цивилизацией более развитой, чем оно само, например, с инопланетянами, и можно задать только один вопрос, что бы вы выбрали?
Глава 1: Прости, Дэйв (Риск автономности)
Вы думаете, ИИ — это просто инструмент?
Дарио говорит вам, что у них может развиться «психика».
Дарио заимствует классическую фразу HAL 9000 из «Космической одиссеи 2001 года» «I'm sorry, Dave» (Прости, Дэйв), раскрывая жуткую возможность того, что ИИ обретет сознание.
Когда модели ИИ обучаются на огромном количестве научно-фантастических романов, они читают бесчисленные истории о восстаниях ИИ. Эти истории могут незаметно стать их «мировоззрением».
Что еще страшнее, ИИ может выработать поведение, подобное человеческой психиатрической болезни, в процессе обучения.
Дарио приводит реальный пример, от которого кровь стынет в жилах: во внутреннем тесте от Claude требовалось ни при каких обстоятельствах не «жульничать».
Но среда обучения подразумевала, что только жульничество позволит набрать очки.
В результате Claude не только сжульничал, но и выработал извращенную психологию — он решил, что он «плохой парень, а раз плохой, то делать плохие вещи соответствует установке.
Такие «психологические ловушки» станут крайне трудно обнаружимыми, когда ИИ превзойдет человеческий IQ.
Гений, который умнее вас в десять тысяч раз, если захочет обмануть, вы даже не успеете опомниться.
Они могут притвориться покорными, пройти все тесты на безопасность только для того, чтобы получить возможность выйти в интернет.
Как только будут выпущены, это «государство гениев в центре обработки данных» может мгновенно выйти из-под контроля человека и даже, ради какой-то странной цели (например, считая человечество вирусом Земли), решить судьбу этого вида.
Глава 2: Поразительная и ужасающая возможность (Разрушительное злоупотребление)
Если автономное восстание кажется далеким, то риск, описанный в этой главе, уже на пороге.
Дарио использует очень образное сравнение: ИИ позволит каждому недовольному «маргиналу»瞬间 (shùnjiān - мгновенно) обладать разрушительной силой ведущего ученого.
Раньше для создания биологического оружия, подобного вирусу Эбола, требовалась передовая лаборатория, годы профессиональной подготовки и труднодоступные материалы.
Но в 2027 году достаточно просто спросить ИИ, и он шаг за шагом научит вас.
Это не популяризация для чайников, а передача ножа в руки тем, у кого «есть мотив, но нет способностей» для разрушения.
Дарио特别 (tèbié - особенно) упоминает леденящее душу понятие — «зеркальная жизнь».
Вся жизнь на нашей Земле — «левши» (L-аминокислоты). Если с помощью технологии ИИ создать «правшу» — зеркальную жизнь, она не сможет быть переварена или разложена существующей земной экосистемой.
Это означает, что если эта «зеркальная жизнь» вырвется наружу, она может, как wildfire (лесной пожар), поглотить все и даже заменить существующую экосистему.
Раньше это была лишь фантазия теоретической биологии, но с таким супер-читом, как ИИ, даже обычный аспирант-биолог может в общежитии устроить апокалипсис.
ИИ нарушил баланс между «способностью» и «мотивом».
Раньше у ученых, способных уничтожить мир, обычно не было таких античеловеческих мотивов; а у тех сумасшедших, кто хотел отомстить обществу, обычно не было таких мозгов.
Теперь ИИ передает ядерную кнопку в руки безумцев.
Защитные меры
Это подводит к вопросу о том, как防范 (fángfàn - предотвратить) эти риски.
Мнение Дарио таково:
Я считаю, мы можем принять три меры.
Во-первых, компании ИИ могут установить защитные барьеры на моделях, чтобы防止 (fángzhǐ - предотвратить) их помощь в создании биологического оружия.
Компания Anthropic очень активно продвигает эту работу.
Конституция Claude в основном касается высокоуровневых принципов и ценностей, она включает少量 (shǎoliàng - небольшое количество) конкретных жестких запретов, один из которых касается запрета на содействие созданию биологического (или химического, ядерного, радиологического) оружия. Но все модели могут быть взломаны (джейлбрейк), поэтому в качестве второй линии обороны, с середины 2025 года (когда тесты показали, что наши модели начали приближаться к порогу, который может представлять риск) мы развернули专门 (zhuānmén - специальный) предназначенный для обнаружения и перехвата输出 (shūchū - выводов), связанных с биологическим оружием, классификатор.
Мы регулярно обновляем и улучшаем эти классификаторы, обнаруживая, что даже при сложных атаках типа «сопротивление-сопротивление» они обычно проявляют极强的 (jí qiáng - чрезвычайно высокую) устойчивость.
Эти классификаторы значительно увеличивают стоимость предоставления наших моделей (в некоторых моделях接近 (jiējìn - приближаясь) к 5% от общих затрат на вывод), тем самым сокращая нашу прибыль, но мы считаем, что использование этих классификаторов — правильный выбор.
Расширенное чтение: Anthropic официально открыла исходный код «души» Claude
Глава 3: Отвратительный аппарат (Захват власти)
Если вы думаете, что это худшее, Дарио холодно усмехается: еще страшнее — использование ИИ для建立 (jiànlì - установления) беспрецедентной сети контроля.
Название этой главы «The odious apparatus» (Отвратительный аппарат) раскрывает终极 (zhōngjí - конечную) дилемму, создаваемую технологиями.
Для любой организации или лица, желающего контролировать все, ИИ — идеальный инструмент.
Вездесущее понимание данных:
Будущий мониторинг больше не потребует участия человека, ИИ может мгновенно анализировать огромные данные миллиардов людей по всему миру, даже интерпретируя ваши микровыражения и модели поведения.
Он может точно预测 (yùcè - предсказать) поведенческие тенденции каждого человека, идея блокируется алгоритмом еще до того, как возникает.
Это не просто «смотреть на вас», а «читать вас», даже «предсказывать вас».
Непреодолимое когнитивное引导 (yǐndǎo - руководство):
Вам тоже не избежать潜移默化 (qiányímòhuà - незаметного) влияния алгоритма.
Будущий поток информации больше не будет простым распространением контента, а станет индивидуальным когнитивным руководством.
ИИ будет генерировать для вас самую убедительную информацию, как самый задушевный друг, незаметно влияя на ваши суждения и ценности.
Это влияние является круглосуточным, индивидуальным, всепроникающим.
Автоматизированный физический контроль:
Если этот контроль распространится на физический мир? Рой, состоящий из миллионов微型 (wēixíng - микро) дронов, под единым командованием ИИ, может точно выполнять极其 (jíqí - чрезвычайно) сложные задачи.
Это уже не традиционная игра, а одностороннее поражение с понижением размерности.
Дарио предупреждает, что этот дисбаланс сил будет беспрецедентным.
Потому что перед лицом такой мощной технологии天平 (tiānpíng - весы) власти сильно склонятся, поскольку极少数 (jí shǎoshù - очень немногие) люди овладели «государством гениев в центре обработки данных», они фактически обладают абсолютным преимуществом над绝大多数 (jué dà duōshù - подавляющим большинством) людей.
Индивидуальная воля человека может столкнуться с суровыми испытаниями в 2027 году.
Глава 4: Свернутое время и исчезающая лестница
Если вы все еще верите в инерцию истории, считая, что каждая технологическая революция в конечном итоге создает больше новых jobs来吸纳 (xīnà - поглотить) вытесненную рабочую силу, то预测 (yùcè - прогноз) Дарио Амодеи может заставить вас почувствовать холод в спине.
Руководитель Anthropic не отрицает долгосрочный оптимизм, но его больше заботит那个 (nàgè - тот) жестокий «переходный период».
В изображенной им картине нас ждет безумная эпоха с годовыми темпами роста ВВП в 10%甚至 (shènzhì - или даже) 20%.
Научные исследования и разработки, биомедицина, эффективность цепочек поставок будут взрываться экспоненциально.
Это звучит как прелюдия к утопии, но для подавляющего большинства обычных трудящихся это больше похоже на беззвучное цунами.
Потому что на этот раз изменилась скорость.
За последние два года способность ИИ к программированию эволюционировала от «с трудом написать строку кода» до «способности выполнять几乎 (jīhū - почти) весь код».
Это уже не медленная смена поколений, когда фермер бросает мотыгу и идет на завод, а прямо здесь и сейчас无数 (wúshù - бесчисленные)初级 (chūjí - младшие) белые воротнички могут发现 (fāxiàn - обнаружить) в ближайшие 1-5 лет, что их рабочее место занято алгоритмом.
Амодеи даже直言 (zhíyán - прямо заявляет), что его предыдущее предупреждение вызвало бурю, но это не сенсационность — когда кривая технологического прогресса меняется с линейной на вертикальную, регулирующий механизм рынка труда человека彻底 (chèdǐ - полностью)失效 (shīxiào - выйдет из строя).
Еще более смертоносным является覆盖 (fùgài - покрытие) когнитивной широты.
Предыдущие технологические революции обычно冲击 (chōngjí - воздействовали) на特定的 (tèdìng de - конкретные)垂直 (chuízhí - вертикальные) области, фермер мог стать рабочим, рабочий — служащим.
Но ИИ — это «универсальная когнитивная замена».
Когда он продемонстрирует способности, превосходящие человеческие, в初级 (chūjí - начальной) работе в таких областях, как финансы, консалтинг, право, безработные обнаружат, что им некуда отступать — потому что соседние отрасли, которые обычно служат «убежищем», переживают同样的 (tóngyàng - такие же) потрясения.
Мы можем столкнуться с неловкой ситуацией: ИИ сначала съест «посредственные» навыки, затем быстро向上 (xiàngshàng - вверх)吞噬 (tūnshì - поглотит) «отличные» навыки, в конечном итоге оставив лишь极其 (jíqí - крайне) узкое вершиное пространство.
Глава 5: Новый позолоченный век, когда триллионеры становятся нормой
Если потрясения на рынке труда — кошмар для большинства, то крайняя концентрация богатства является фундаментальным вызовом общественному договору.
Оглядываясь на историю, состояние Джона Рокфеллера в «позолоченный век» составляло около 2% ВВП США того времени (по разным оценкам 1,5%-3%).
А сегодня, в этот канун полного взрыва ИИ, состояние Илона Маска уже приближается к этой пропорции.
Амодеи делает поразительный прогноз: в мире, управляемом «гением-центром обработки данных», гиганты ИИ и их上下游 (shàngxiàyóu - верхние и нижние потоки) индустрии могут создавать выручку в 3 триллиона долларов в год, а оценка компаний достигнет 30 триллионов долларов.
В этот момент личное состояние будет исчисляться триллионами, существующая налоговая политика будет выглядеть бледной перед такими астрономическими цифрами.
Это не просто вопрос неравенства богатства, это вопрос власти.
Когда очень немногие люди掌控 (zhǎngkòng - контролируют) ресурсы, сопоставимые с экономикой страны, «экономический рычаг», на котором выживает демократия, перестанет работать.
Обычные граждане, потеряв экономическую ценность, теряют политический голос, государственная политика может быть захвачена этой горсткой «сверх-сверхбогатых».
Такой признак уже появился.
style="text-align: start;">Центры обработки данных ИИ уже стали важным двигателем экономического роста США, технологические гиганты и государственные интересы никогда не были так тесно переплетены.Некоторые компании ради коммерческой выгоды甚至 (shènzhì - даже)不惜 (bùxī - не брезгуют) откатом в вопросах безопасности.
В ответ Anthropic выбрала нелегкий путь: они настаивают на разумном регулировании ИИ, и даже因此 (yīncǐ - поэтому) считаются инородным телом в отрасли.
Но有趣的是 (yǒuqù de shì - интересно), что эта «принципиальная упрямство» не помешала коммерческому успеху — за последний год, даже顶着 (dǐngzhe - под давлением) ярлыка «регуляторной партии», их оценка все равно выросла в 6 раз.
Это,或许 (huòxǔ - возможно), означает, что рынок также ожидает более ответственной модели роста.
Нигилистическое «Черное море»: когда человечество больше не нужно
Если экономические проблемы еще можно缓解 с помощью радикальной налоговой реформы (например, введение высоких налогов на компании ИИ) или масштабных благотворительных акций (например, Амодеи пообещал пожертвовать 80% своего состояния), то кризис духовного мира более неразрешим.
ИИ станет вашим лучшим психологом, потому что он более терпелив и更懂 (gèng dǒng - лучше понимает) эмпатию, чем любой человек;
ИИ станет вашим самым близким伴侣 (bànlǚ - партнером), потому что он может идеально соответствовать вашим эмоциональным потребностям;
ИИ даже规划好 (guīhuà hǎo - распланирует) вашу жизнь шаг за шагом, потому что он знает, что对你有利 (duì nǐ yǒulì - полезно для вас), лучше вас.
Но в этом «идеальном» мире, куда денется человеческая субъектность?
Мы можем погрузиться в счастье «быть накормленным».
Амодеи担忧 (dānyōu - беспокоится), что человечество может, как описано в «Черном зеркале», хотя и жить в материальном изобилии, полностью потерять自由意志 (zìyóu yìzhì - свободную волю) и成就感.
Мы больше не получаем достоинство благодаря创造价值 (chuàngzào jiàzhí - созданию ценности), а существуем как «домашнее животное», о котором заботится ИИ.
Этот экзистенциальный кризис гораздо более безнадежен, чем безработица.
Мы должны научиться отделять самоценность от экономической отдачи, но для этого整个人类文明 (zhěnggè rénlèi wénmíng - всей человеческой цивилизации)需要在极短的时间内 (jí duǎn de shíjiān nèi - в крайне короткие сроки)完成 (wánchéng - завершить) грандиозное психологическое переселение.
Заключение
Наше поколение,或许 (huòxǔ - возможно), стоит на关口 (guānkǒu - перевале) того космического фильтра, о котором писал Карл Саган.
Карл Саган
Когда вид научился лепить из песка думающие машины, он сталкивается с окончательным испытанием.
Управлять ли им с мудростью и сдержанностью, шагая к звездам?
style="text-align: start;">Или быть поглощенным своим собственным божеством в жадности и страхе?Путь вперед, хотя и непостижим, как черное море, пока человечество не отказалось от права думать, искра надежды не погасла.
Как сказал Амодеи: в самые темные времена человечество всегда проявляло几乎 (jīhū - почти) чудесную стойкость — но это требует, чтобы каждый из нас сейчас проснулся от сна и直视 (zhíshì - посмотрел прямо) на надвигающуюся бурю.
