Источник: Bloomberg
Подготовлено: Felix, PANews
Bloomberg недавно взял интервью у CEO Anthropic Дарио Амодеи, обсудив его путь предпринимателя в Сан-Франциско, конкуренцию с OpenAI и конечную цель искусственного интеллекта.
PANews обобщила ключевые моменты интервью.
Ведущий: Сейчас ты находишься в центре вселенной AI. Каково это?
Дарио: На протяжении всей моей карьеры, особенно за время в Anthropic, я испытываю ощущение плавной экспоненциальной кривой. Это ощущение выглядит так: ничего не происходит, ничего не происходит, происходит что-то небольшое, а затем начинается безумный рост. Такова реальность мира и масштаб компании по сравнению с другими компаниями и миром. Я наблюдал за этим графиком долгое время и говорил: "Мы, вероятно, станем AI-компанией с наибольшими доходами и оценкой примерно в это время". И это действительно произошло. Так что, с одной стороны, я не удивлен, потому что на графике — всего лишь плавная линия; но с другой стороны, когда это происходит в реальности, ты видишь больше деталей и красок, и это абсолютно поразительно. Нам всегда нужно помнить о самых фундаментальных вопросах: как хорошо обучать модели? Как превратить их в хорошие продукты? Как обеспечить безопасность? Как помочь людям и при этом управлять социальными рисками, которые несет технология? Все те же самые вопросы, только рассматриваемые под более мощным микроскопом.
Ведущий: Ты вырос в Сан-Франциско. Каким ты был в детстве? Я знаю, твой отец был ремесленником по коже, а мать работала в библиотеке. Как это на тебя повлияло?
Дарио: В то время вокруг меня происходила первая интернет-революция, но я ею абсолютно не интересовался. Меня интересовали только решение математических задач, рисование, понимание вселенной и научная фантастика. Такова была моя общая среда, я был полон любопытства к этому миру.
Ведущий: Ты вырос в этом центре технологий, который теперь стал центром AI. Повлияло ли что-то в этом городе на твое мировоззрение?
Дарио: Распространенный здесь дух нонконформизма, индивидуализма и того, что «быть чудаком — это нормально», действительно повлиял на меня. Если поехать в Европу или даже в другие части этой страны, обнаружишь, что думать по-другому или иметь безумные идеи не поощряется или даже считается странным. Хотя у меня много критики к Кремниевой долине, я считаю, что в ней есть одно хорошее качество: даже если все эксперты против тебя — это нормально, если у тебя есть последовательное видение мира, ты должен следовать ему. Возможно, оно вообще не сработает, но если сработает, это создаст эффект длинного хвоста, и ты можешь обнаружить огромные золотые жилы в определенных пластах. Я считаю, что этот дух очень важен.
Ведущий: Твое решение уйти из OpenAI уже стало легендой Кремниевой долины. Что же на самом деле произошло? Помимо слухов извне, в чем была реальная проблема? В чем вы расходились во мнениях?
Дарио: Скажу просто. При разработке мощных технологий возникает множество сложных вопросов, и Anthropic ежедневно сталкивается с дилеммами, где мы не знаем, правильное ли решение принимаем. Поэтому в вопросах безопасности может быть много разумных разногласий, и у нас действительно были такие разногласия с ними, но сами по себе они недостаточны для ухода. Даже в Anthropic у людей есть разногласия со мной и друг с другом. Но когда ты чувствуешь, что не можешь доверять кому-то, когда чувствуешь, что их ценности не соответствуют заявленным, когда чувствуешь, что они нечестны, действуют не из тех мотивов, которые декларируют, когда видишь тревожные модели обманчивого поведения, становится трудно продолжать сотрудничать с этой компанией и доверять ей. В конечном счете, если у тебя и другого человека разное видение и нет взаимного доверия, зачем спорить? Решение — идти своими путями. Я абсолютно спокойно принимаю тот факт, что мы делаем по-своему, а они — по-своему. Посмотрим, кто победит на рынке, кто победит в общественном мнении. Это убедительнее, чем любые драматические сплетни о том, кто ушел. Мы демонстрируем пример ответственного развертывания этой технологии. Если они не согласны, они могут представить свои аргументы. Думаю, больше сказать нечего.
Ведущий: На саммите по AI в Индии вы с Сэмом Олтманом, кажется, отказались взяться за руки на сцене. Что там произошло?
Дарио: Правда в том, что тот саммит был крайне неорганизованным. Мы все вышли на сцену в последний момент, они в последнюю секунду поменяли наш порядок, сфотографировали, а затем внезапно приказали всем нам взяться за руки. Если вы были на таких международных саммитах с участием глав государств, вы знаете, что они часто бывают сверххаотичными (я не имею в виду конкретно Индию).
Ведущий: Но все остальные взялись за руки.
Дарио: Не знаю, как это объяснить. Просто Нарендра Моди внезапно на сцене попросил всех взяться за руки.
Ведущий: Ладно. Сэм и Илон сейчас судятся друг с другом. Ты не любишь Сэма. Если люди, создающие самые важные технологии в мире, не могут взяться за руки на сцене, как мы можем поверить, что вы будете сотрудничать в вопросах рисков, угрожающих существованию человечества?
Дарио: Хочу сказать тебе, что среди людей, создающих эту технологию, есть огромная разница в качествах и надежности. Утверждение, что «никому нельзя доверять», неверно. Я знаю Демиса Хассабиса, разрабатывавшего модели Gemini, уже 15 лет — они конкуренты моделей Claude, но мы сотрудничали по многим вопросам. Мы покупаем вычислительные мощности у Google и часто обмениваемся идеями о безопасности. Поэтому я считаю, что, во-первых, некоторые участники действительно заслуживают большего доверия, чем другие; во-вторых, есть участники, которым я доверяю и вне Anthropic. Я считаю, что должно произойти следующее: надежные участники объединяются, а ненадежные участники оказываются в ситуации, когда им приходится придерживаться тех же стандартов. По моему опыту, некоторые сами по себе не станут делать правильные вещи, но если большинство в отрасли делает правильные вещи, у остальных не остается особого выбора. Здесь два аспекта: положительная сторона — это взаимное вдохновение (т.е. здоровая конкуренция), например, работа Демиса над Alpha Fold вдохновила нас, мы занимаемся биологическими исследованиями, наши исследования интерпретируемости вдохновили их — это не конкуренция с нулевой суммой. Это положительная «морковка» в гонке; а «палка» заключается в том, что если ты не делаешь правильные вещи, это выглядит ужасно. Они могут неохотно делать правильные вещи, притворяясь, что делают что-то другое, и даже думая, что у нас какие-то скрытые коварные цели — это ожидаемо, но именно так достигается единство и сотрудничество в отрасли.
Ведущий: Вначале другие сосредоточились на интересных, привлекательных потребительских приложениях, а ты сделал ставку на кодирование и корпоративный сектор. Claude Code и Claude Cowork очень успешны. Почему ты сделал такую ставку? Это было решение, основанное на ценностях, или бизнес-решение?
Дарио: Когда мы основали Anthropic, самым основным было желание делать все правильно. Но для финансирования чрезвычайно дорогого создания моделей нужна бизнес-модель. Если бизнес-модель фундаментально конфликтует с ценностями, будет очень трудно: либо предать ценности, либо стать нерелевантным. Гораздо лучше выбрать бизнес-модель, совместимую с ценностями. Мы смотрели на мир социальных сетей и потребительских приложений, который часто поощряет вовлеченность пользователей и даже зависимость (как, например, беспорядок с AI-видеомоделями), просто чтобы максимизировать время пребывания пользователей для получения дохода от рекламы. Напротив, в корпоративном секторе мы хотим использовать AI для лечения ранее неизлечимых болезней (сотрудничая с биотехнологическими, фармацевтическими компаниями и академическими учреждениями), сделать энергию дешевле и эффективнее, помочь образованию и некоммерческим организациям, способствовать экономическому росту. По сути, это корпоративные приложения. Другой фактор: предприятия очень ценят доверие и долгосрочные отношения. Потребительский сектор иногда имеет характер хайпа, тогда как корпоративный сектор требует построения доверия на годы, выполнения обещанного. Это очень хорошо согласуется с нашей целью ответственного и безопасного развертывания моделей.
Ведущий: Разработчик может за один день переключиться с Claude на ChatGPT или Gemini. Действительно ли возможно сохранить долгосрочное лидерство в этой отрасли? Сколько времени потребуется сильному конкуренту, чтобы скопировать то, что вы построили?
Дарио: Качество модели — самое важное. Сейчас мы значительно опережаем по качеству моделей. Хотя есть определенная инерция переключения, я (и Anthropic) никогда не полагаюсь на «липкость» продукта, чтобы удерживать людей от переключения. Нужно иметь лучшую модель, лучший продукт. Мы видим, что темпы роста вообще не замедлились. По крайней мере, на момент записи этого интервью, если что-то и изменилось, так это то, что они все еще растут. Поэтому я склонен считать, что качество модели — самое важное.
Ведущий: Вскоре после выпуска Claude Cowork рыночная капитализация в размере 2,85 триллиона долларов испарилась за одну ночь, трейдеры назвали это «SaaSpocalypse (Концом SaaS)». Если AI будет продолжать развиваться с такой скоростью, сколько традиционного программного обеспечения будет заменено и как быстро?
Дарио: Это сложно точно предсказать заранее. У всех традиционных программных компаний есть свои защитные рвы. Некоторые из этих рвов исчезнут, другие останутся. «Быстрое написание сложного программного обеспечения» как защитный ров определенно исчезнет, на это больше нельзя полагаться. Но отношения с клиентами, знания о работе отрасли и уникальная экспертиза в конкретной области по-прежнему важны. Я советую этим компаниям: не будьте самоуверенными, перечислите все ваши защитные рвы, поймите, какие исчезнут, какие усилятся, потому что появятся и новые рвы. Гибкие люди справятся хорошо, а те, кто обманывает себя и довольствуется прошлым опытом, будут переживать трудные времена. В целом, я считаю, что индустрия программного обеспечения станет больше, а не меньше, хотя, конечно, будут и крупные проигравшие.
Ведущий: Объясни это.
Дарио: Потому что «пирог» увеличивается. Если AI поднимает потолок отрасли в 10 раз, существующим компаниям легко вырасти в 1,5 раза, даже если их относительная доля в общем большом пироге уменьшится. Но если те, кто не адаптируется, зарывает голову в песок, они переживут трудные времена или даже обанкротятся.
Ведущий: Ваши крупнейшие сторонники — такие компании, как Amazon, Google, Microsoft и NVIDIA. У всех них свои повестки дня, они одновременно партнеры и конкуренты. Ваши огромные коммерческие вехи привязаны к финансированию. Кто на самом деле принимает решения?
Дарио: Во многих случаях мы открыто высказываем свое настоящее мнение. Все мы взрослые люди, мы можем находить общее в разногласиях, сотрудничать в одном вопросе и расходиться в другом.
Ведущий: Есть сообщения, что ваша оценка выше, чем у OpenAI. Для стартапа пятилетней давности оценка, близкая к триллиону долларов. Как ты воспринимаешь эту цифру? Если ты более дисциплинирован в использовании вычислительных мощностей и есть более быстрый путь к прибыли, зачем тебе столько денег?
Дарио: Потребность в вычислительных мощностях растет очень быстро. Фундаментальные показатели бизнеса хороши, но, возможно, через год потребность в мощностях вырастет в три-четыре раза, рост чрезвычайно быстрый. Мы полностью ожидаем, что рост доходов достигнет или даже превысит этот рост вычислительных мощностей. Привлечение средств — это буфер для влияния такой неопределенности, это очень рационально, размытие капитала компании минимально, и это абсолютно не свидетельствует о проблемах с фундаментальными показателями бизнеса.
Ведущий: Чувствуешь ли ты себя лучше, обогнав своего главного конкурента?
Дарио: Перед нами еще много сложных задач. Мы продвигаем концепцию «гонки вверх», пытаясь подтянуть другие компании до нашего уровня. Хотя иногда они это не признают, иногда атакуют нас, копируя при этом, но этот эффект подтягивания чрезвычайно ценен. Ценность лидерства компании заключается не в простом поражении соперников, а в способности вести за собой всю экосистему.
Ведущий: Но побеждать все же должно быть приятнее.
Дарио: Конечно, мы всегда стремимся к успеху и не хотим проигрывать. Я не думаю, что мы должны закрывать эту технологию, мы конкурируем в условиях свободного предпринимательства, нам просто нужно смягчать риски моделей. Мы всегда ищем баланс между двумя полюсами.
Ведущий: Скорость разработки ваших продуктов потрясающая. Как вы этого достигаете?
Дарио: Две причины: первая — у нас единая культура и организационная эффективность, все действуют согласованно; вторая — это сам Claude. Сейчас мы используем Claude для помощи в разработке наших моделей и продуктов, делая процесс более эффективным. Это дает значительный и все более надежный эффект ускорения.
Ведущий: Какое самое безумное, что ты видел, делал AI?
Дарио: Все связано с биологией и медициной. Я несколько раз видел, как Claude диагностировал медицинские проблемы, которые пропустили высококвалифицированные врачи. В биологии модели становятся поразительно хороши в дизайне лекарств или вычислительной химии. Как бывший биолог, я хорошо знаю, какой высокий уровень специальной подготовки для этого требуется. Это огромная положительная сторона AI, которая значительно повысит качество жизни людей. Представьте научный прогресс за сто лет с 1900 года до наших дней, а затем представьте, каким был бы еще один столетний прогресс. Если мы успешно преодолеем нынешние вызовы, мы получим намного лучший мир.
Ведущий: Я знаю, ты любишь писать. Ты используешь Claude для помощи в писательстве?
Дарио: Да, но я еще не позволяю ему писать готовые тексты за меня, потому что я довольно привередлив к определенному стилю. В основном я использую Claude для мозгового штурма, прояснения тем или поиска справочных материалов. Сейчас он играет поддерживающую роль, и хотя до того момента, когда он будет писать лучше меня, еще далеко, это неизбежно наступит.
Ведущий: Письмо помогает прояснять мысли, оно включает много критического мышления. Если мы позволим Claude делать это за нас, потеряем ли мы эту способность мыслить?
Дарио: Меня это действительно немного беспокоит. Я продолжаю писать сам, наполовину для читателей, но в равной степени и для прояснения собственных мыслей. Если просто попросить его «написать статью о рисках AI», это не только не выразит то, что я действительно хочу сказать, но и лишит меня преимуществ этого мыслительного процесса. В будущем, по мере улучшения моделей, нам, возможно, придется найти тонкий способ их использования, который позволит более непосредственно их применять, сохраняя при этом преимущества мышления.
Ведущий: Ты откровенно говорил о безработице, предсказывая, что AI может уничтожить половину начальных офисных должностей за 1-5 лет. Это было год назад. Сейчас эта доля 50% или больше?
Дарио: Если посмотреть оригинальное полное видео, мое реальное высказывание было: я не знаю, что произойдет, но это представляет порядок величины того, насколько безумными могут быть события. Однако, люди психологически склонны вырезать те три секунды «конца света», игнорируя все обсуждаемые мной решения (например, налог на токены, адаптация бизнеса, макроэкономическая политика и т.д.). Мое сообщение отнюдь не «конец света близок», а в том, что нам нужно предвидеть это, уделить внимание и активно реагировать. В краткосрочной перспективе AI сделает людей более эффективными, но это лишь переходный этап. Как мы видели в истории автоматизации, в конечном итоге AI может взять на себя эту часть работы. Возьмем, к примеру, инженеров-программистов в Anthropic: сейчас AI помогает им писать большую часть кода, делая их более эффективными, но также начинают появляться ситуации, когда просто лучше поручить AI выполнение определенных задач напрямую. С другой стороны, это порождает новые потребности, например, «архитекторов решений с применением AI (инженеров по развертыванию на переднем крае)», которые сочетают технические навыки с общением с клиентами. Разрушение и перестройка рабочих мест будут происходить одновременно.
Ведущий: Вы опубликовали диаграмму, показывающую потенциальное разрушение рабочих мест: какие исчезнут, какие появятся?
Дарио: Это сложно точно предсказать, как и предсказать фондовый рынок. Но в целом, начальные офисные должности (в банках, финансах и т.д.) с высокой вероятностью будут заменены AI. Общаясь с корпоративными клиентами, мы видим, что они сталкиваются с выбором: сокращать штат для экономии или использовать те же ресурсы для выполнения большего количества новых задач? Мы всегда стараемся подтолкнуть их к «игре с положительной суммой»: использовать рост эффективности для выполнения большего объема работы, а не для сокращений. По мере увеличения «пирога» люди, вероятно, найдут новые места, вопрос лишь в скорости этого соответствия. Масштаб разрушения будет велик, поэтому я и пытаюсь предупредить людей.
Ведущий: Если произойдет безработица в таких масштабах, разве это не причина для революции?
Дарио: Это абсолютно тот результат, которого мы хотим избежать. Я думаю, что возможности сохранятся в нескольких областях: во-первых, физический мир (поскольку развитие робототехники отстает от скорости обработки информации AI, производство и строительство по-прежнему потребуют много человеческих ресурсов); во-вторых, все работы, ориентированные на человека. Даже если AI будет более точен в диагностике, чем врач, или лучше в обслуживании клиентов, люди все равно будут хотеть и нуждаться в общении и установлении связи с другими людьми по важным вопросам. Люди также сохранят роль направляющих ценности и намерения AI.
Ведущий: Многие выступают против твоей точки зрения, например, Дженсен Хуанг говорит, что ты путаешь «задачи» и «работы», а другие говорят, что это «маркетинг конца света», выгодный для Anthropic.
Дарио: Я хочу четко возразить на это. В наших отчетах и статьях мы посвятили целых пять страниц детальному объяснению различий между задачами и работами, объяснению, почему на этот раз все иначе, и предложили шесть решений, охватывающих частный сектор и правительство. Но я обнаружил, что проблема Кремниевой долины и социальных сетей — лень: люди смотрят трехсекундный клип годичной давности и безответственно комментируют. Называть серьезную интеллектуальную работу «дешевым маркетингом» — это само по себе дешевый маркетинг и чрезвычайно ленивое поведение, отказывающееся от серьезного обсуждения.
Ведущий: Как ведущая глобальная AI-компания, вы глубоко вовлечены во многие сферы национальной безопасности США. У тебя с времен Калифорнийского технологического института были давние антивоенные взгляды, но вы были одной из первых AI-компаний, заключивших контракт с Министерством обороны на защищенные сетевые операции. Объясни, пожалуйста.
Дарио: Причина в том, что мир меняется. Когда я увидел вторжение России в Украину, я стал опасаться возрождения авторитарных групп. Нам нужно защищаться. Мы абсолютно не хотим, чтобы противник использовал AI для анализа разведданных, атаки Украины, а мы не могли бы защититься. Поэтому мы оказываем поддержку различным правительственным ведомствам. Кстати, мы делаем это отнюдь не ради денег, работать в правительственных сетях — это большая головная боль, и прибыль там невелика. Именно потому, что мы делаем это, потому что «нам не все равно», должны быть четкие ограничения и красные линии в использовании технологий, а именно: запрет на массовую слежку и разработку полностью автономного оружия. Если для победы в конкуренции придется отказаться от наших демократических ценностей, это тоже не стоит того. Это тот баланс и позиция, которых мы придерживаемся.
Ведущий: Вы с 2024 года сотрудничаете с Palantir, чьи технологии используются Иммиграционной и таможенной службой США, полицейскими департаментами и даже в Газе. Используется ли Claude для слежки?
Дарио: Мы не сотрудничаем с ICE и CBP, ни напрямую, ни через Palantir. Насколько мне известно, мы также не ведем деятельность в Газе. Мы очень осторожно ограничиваем наше участие теми сферами, которые соответствуют нашим ценностям.
Ведущий: Значит, ты провел красные линии, президент запретил некоторые ваши федеральные разрешения, Пентагон пометил вас как риск для цепочки поставок, а OpenAI вмешался и подписал контракты, которые вы не хотели подписывать. Как выглядит победа в этой борьбе?
Дарио: Я не считаю, что это борьба за «победу» или «поражение», это общественные дебаты о том, как правительство должно разумно использовать AI. Мы стараемся установить прецеденты использования для вызывающих беспокойство сценариев и привлечь внимание к этой проблеме. Мы видим двухпартийные усилия в Конгрессе по запрету приложений с высоким риском и установке защитных барьеров. Если уж говорить о победе, то стимулирование нашей страны к более осторожному обдумыванию подходящих границ использования новых технологий — это и есть победа.
Ведущий: Некоторые описывают тебя как идеологического фанатика или левого экстремиста, которому не должна принадлежать такая большая власть. Тебя это беспокоит?
Дарио: Меня часто ругают, и гораздо сильнее. Люди могут называть меня и Anthropic как угодно, меня волнуют только две вещи: успех компании и наша приверженность собственным ценностям. На самом деле, это делает мою жизнь очень простой, я всегда четко знаю свою позицию.
Ведущий: Более вероятно, что война AI предотвратит Третью мировую войну или легче спровоцирует ее?
Дарио: В целом, более вероятно, что предотвратит. Но если не будет ограничений в использовании, она может и спровоцировать войну. Без надлежащего регулирования конфликт из-за недопонимания может легко вспыхнуть с обеих сторон. Если мы обладаем подавляющим преимуществом в сборе разведданных и способности реагировать, противник трижды подумает, прежде чем предпринимать действия. Превосходный интеллект может эффективно сдерживать конфликты.
Ведущий: Anthropic появляется в заголовках почти каждую неделю, недавно речь шла о модели Mythos. Ты сказал, что Mythos слишком мощная, чтобы выпускать ее для публики. Что больше всего удивило тебя в ней?
Дарио: Больше всего меня удивило то, что она не только обнаруживает уязвимости, но и может превращать их в инструменты для реальных атак, произошел огромный скачок в этой способности. Некоторые компании, тестировавшие ее на раннем этапе, даже просили нас не выпускать ее и называли ее «супероружием», считая, что для ее использования нужна лицензия на оружие. Мы не выпускаем ее для публики не потому, что хотим навсегда запереть, а потому, что нынешние механизмы киберзащиты все еще уязвимы для взлома («джейлбрейка»). Мы подождем, пока механизмы защиты не станут достаточно уверенными, чтобы противостоять ей, а затем выпустим ее вместе с надежными гарантиями безопасности.
Ведущий: Но есть много возражений извне: исследователи говорят, что могут воспроизвести ее с помощью более дешевых открытых моделей, другие говорят, что это просто грандиозный пиар и маркетинговый ход. Как ты на это отвечаешь?
Дарио: Утверждение, что ее можно воспроизвести с помощью открытых моделей, крайне абсурдно. Модель Mythos обнаружила 271 новую уязвимость в браузере Firefox, тысячи новых уязвимостей во многих частных компаниях, которые мы не можем назвать, — предыдущие модели их вообще не находили. Тот, кто в Twitter утверждал, что может воспроизвести ее с помощью открытой модели, просто перепозиционировал ту же строку кода с помощью открытой модели после того, как мы указали, в какой именно строке проблема. Это совсем не одно и то же.
Что касается утверждения о «маркетинге», то невыпуск этой супермощной модели наносит нам огромный коммерческий ущерб, она могла бы значительно ускорить внутренние и внешние исследования и разработки. Если она помогает защитникам, то она в равной степени помогает и атакующим. Поэтому наша текущая стратегия — сначала передать ее защитникам для исправления уязвимостей в системах. Как только все уязвимости будут «залатаны», будущая интернет-экосистема станет чрезвычайно безопасной. Те, кто занимается снайперской стрельбой и играет против течения в X (включая некоторых конкурентов), не относятся серьезно к общественным компромиссам рисков, что является признаком крайней незрелости.
Ведущий: Были ли у вас компромиссы, которыми ты не полностью доволен?
Дарио: Вся история Anthropic полна компромиссов. В идеальном мире ты мог бы потратить годы на изучение каждой ловушки чат-бота перед выпуском. Хотя мы действительно отложили первоначальный выпуск Claude на несколько месяцев, все равно все было компромиссом. Сейчас мы находимся в положении коммерческого лидера, и я с Даниэлой делаю все возможное, чтобы еще больше сдвинуть указатель в сторону «осторожности». Этим и был мотивирован отказ от выпуска Mythos; если ты не ведущий игрок, тебе трудно принять такое решение.
Ведущий: Поскольку эта технология настолько мощная, почему правительство просто не берет вас под свой контроль?
Дарио: Это очень серьезное опасение. На протяжении всей истории все беспрецедентно мощные технологии (ядерное оружие, интернет, GPS, мобильные телефоны) изначально рождались в правительственных и федеральных лабораториях. AI — это первая технология, полностью построенная в частном секторе, а правительство подключилось поздно, и такое положение действительно опасно и нестабильно. Но сейчас опасность от бездействия правительства действительно больше, чем от действий частного сектора. Поэтому нам нужны сдержки и противовесы власти: мы создали «Траст долгосрочных интересов», у которого есть право уволить большинство директоров и даже меня самого, что вводит элемент публичного управления.
На правительственном уровне нам нужны законодательные и судебные органы, чтобы ввести обязательное тестирование перед выпуском и регулирование красных линий. Я боюсь как контроля компаний над ней, так и государственной монополии на нее; обе стороны должны уравновешивать друг друга. Очень забавно, что в Кремниевой долине есть группа людей, которые с одной крайности — полного противодействия любым регуляциям и даже требованиям прозрачности (утверждая, что это задушит инновации), увидев первую реальную опасность, тут же переметнулись к заявлениям, что «правительство должно национализировать это». Такая реакция, метающаяся между двумя крайностями, очень незрелая, нам нужна рациональная золотая середина.
Ведущий: В вашей области часто говорят о моменте, когда AI станет достаточно хорош для «самоулучшения». Ваши исследователи считают, что это скоро произойдет. Как скоро именно?
Дарио: Я не считаю, что это конкретный «момент», а скорее продолжающийся ускоряющийся экспоненциальный процесс. Мы уже видим, как AI начинает помогать в разработке архитектуры следующего поколения AI. Год назад AI повышал общую факторную производительность на 10-15%, сейчас, возможно, на 20-30%. Он не выйдет из-под контроля в какой-то конкретный момент, а на этой плавной экспоненциальной кривой нам нужно оценивать на каждом этапе, следует ли замедлиться и ввести больше контроля. Разумный подход — позволить нашим контрмерам плавно усиливаться по мере роста силы технологии, а не паниковать.
Ведущий: Ты говорил, что вероятность краха человеческой цивилизации составляет 10-25%. Это немало. Может ли возникнуть ситуация, когда что-то созданное Anthropic приведет к такому краху?
Дарио: Я, конечно, надеюсь, что нет. Этот вероятностный риск исходит из внутренней непредсказуемости технологии и сложности мировой обстановки. Меры, которые мы принимаем, как раз и направлены на снижение, а не увеличение этой вероятности краха. Как и в авиационной промышленности: даже если ты строишь самолеты в десять раз безопаснее, чем у других, ты не можешь абсолютно гарантировать другим, что они «никогда не разобьются».
Похожие материалы: OpenAI и Anthropic хором меняют позицию: теория конца света для рабочих мест от AI выходит из моды?
