2026 год, YC Startup School. Голос Джеффа Дина слегка охрипший.
В начале интервью он объяснил, что сегодня звучит не совсем обычно. Но это не отвлекло внимание аудитории. Перед ним сидела партнер YC Диана Ху, которая перечислила целую серию имен, достойных войти в историю компьютерных наук: MapReduce, BigTable, TensorFlow, TPU, Gemini.
Любой из этих проектов мог бы стать вершиной карьеры для инженера. Но все они собраны в послужном списке Джеффа Дина и его коллег из Google.
Диана не стала превращать беседу в обзор достижений. Её больше волновал другой вопрос: когда генеративный ИИ уже захватил индустрию программного обеспечения, что же смотрят такие люди, как Джефф Дин, которые лучше всех умеют переосмысливать системы с самых основ?
Ответом оказались не более крупные модели.
В ходе почти часового разговора Джефф Дин неоднократно упоминал аппаратное обеспечение для инференса, энергию, перемещение данных, инженерию контекста, долго работающих агентов, системы автоматизации экспериментов и то, как стартапам избежать лобового столкновения с универсальными моделями. Казалось бы, разбросанные темы на самом деле связывала одна четкая линия: следующий этап развития ИИ — это не просто обучение более умных моделей, а помещение моделей в систему, способную работать долгосрочно, постоянно экспериментировать, автоматически проверять и накапливать возможности.
Это также означает, что конкуренция в области ИИ смещается от вопроса «у кого модель больше» к вопросу «кто лучше умеет организовывать интеллект».
I. ИИ уже похож на начинающего инженера, но это не самое важное изменение
В мае 2025 года Джефф Дин высказал суждение, вызвавшее широкое обсуждение: способности ИИ уже приближаются к способностям начинающего инженера.
Год спустя Диана спросила его, насколько оправдался этот прогноз.
Ответ Джеффа Дина был прямолинейным. Он считает, что это суждение «довольно точно». Прогресс в области агентов, длинных последовательностей кодирования и сложных задач оказался даже быстрее, чем он тогда предполагал.
«Способность моделей выполнять всё более сложные задачи растет быстрее, чем я ожидал», — сказал он.
Более того, эта способность уже не ограничивается написанием кода. Все больше агентских систем проникают в научные, инженерные и другие профессиональные области. Они не просто отвечают на вопросы, а разбивают задачи, используют инструменты, проводят эксперименты, считывают результаты и продолжают действовать на основе обратной связи.
Сравнение ИИ с начинающим инженером легко заставляет сосредоточиться на замене человеческого труда. Но Джеффа Дина больше интересует другое изменение: что произойдет со способом организации производства, когда одного «начинающего инженера» можно будет скопировать десятки, сотни раз и заставить их работать параллельно в течение нескольких дней или даже недель?
В традиционной команде начинающему инженеру нужно освоить бизнес-процессы, понять инструменты и постоянно получать обратную связь. То же самое и с агентом. Только его учебными материалами становятся не документы, а промпты, описания инструментов, файлы навыков, системы тестирования, оценивающие модели и вся контекстная среда.
Это создает новое разделение труда в ИИ-инженерии.
Раньше инженеры в основном писали код. В будущем больше инженеров будут отвечать за определение проблем, создание среды, написание спецификаций, проектирование циклов обратной связи и распределение задач между группой агентов.
Именно таким был прогноз Джеффа Дина на 2027 год. Он считает, что машинное обучение будет всё больше участвовать в улучшении самих систем машинного обучения. Они будут разбивать цели на подзадачи, автоматически запускать множество экспериментов, сравнивать результаты и комбинировать эффективные решения, формируя более мощные новые системы.
«В любой области, где существует измеримая цель, есть возможность достичь значительного прогресса».
Эта фраза стала первым ключом ко всему интервью.
Первыми областями, куда проникнет автоматизация ИИ, будут не обязательно те, где больше всего знаний, а те, где обратная связь наиболее четкая. Проходит ли код тесты, уменьшает ли размещение чипов площадь, повышает ли архитектура модели точность, соответствуют ли свойства материала требованиям — у всех этих вопросов есть относительно четкие критерии оценки. Если оценщик достаточно надежен, машина может экспериментировать с чрезвычайно высокой частотой.
Таким образом, по-настоящему важной единицей в эпоху ИИ может стать не один ответ, а полный цикл: предложение решения, его выполнение, измерение результата и корректировка направления.
II. То, что изменило Google Поиск, — это арифметическая задача
Многие значимые работы Джеффа Дина начинались с очень простого старта: сначала посчитать порядок величин.
В 2001 году Google Поиск все еще сильно зависел от жестких дисков. У дисков была большая емкость, но низкая скорость доступа. Джефф Дин и Санджай Гемават сделали расчет и обнаружили, что весь поисковый индекс Google того времени уже можно было разместить в оперативной памяти всех серверов.
Сегодня это звучит как простое обновление носителя информации. Но в то время это означало совершенно другую архитектуру системы.
Если индекс в основном находится на жестких дисках, запросы требуют времени на механическое позиционирование. Но если загрузить индекс в память, задержка доступа резко снижается. Вскоре они написали новую версию и за несколько дней внедрили ее в производственную среду. Google Поиск стал заметно быстрее.
Эту историю легко можно представить как озарение гения. Но рассказ Джеффа Дина больше похож на изложение здравого смысла инженером: изменились системные условия — решение, которое раньше не работало, внезапно стало возможным, и нужно было пересчитать.
Многие инновации в индустрии происходят в такие моменты.
Старая проблема существует давно, и люди привыкли обходить её ограничения. Позже цена оборудования, объем памяти, пропускная способность сети или возможности моделей преодолевают некий критический порог, и старые ограничения исчезают. Но большинство продолжает использовать старую архитектуру, потому что она стала общепринятой нормой.
То, в чем силен Джефф Дин, — это превращать общепринятые нормы обратно в гипотезы.
Он задает вопросы: почему это обязательно должно быть так? Соответствует ли сегодняшний порядок величин вчерашнему? Если заменить самый дорогой шаг, не примет ли вся система совершенно иную форму?
Это также его совет предпринимателям. Не смотрите только на недостатки существующих решений, а переосмыслите проблему с первых принципов. Можно ли повысить производительность на порядок? Можно ли снизить затраты на два порядка? Можно ли перестать следовать общепринятому пути реализации?
«Иногда нужно просто прищуриться на проблему, не зацикливаясь на сегодняшних решениях, а подумать с первых принципов, как её следует решать».
Звучит не так уж загадочно. Настоящая трудность в том, что большинство людей, попадая в отрасль, быстро усваивают все её стандартные ответы. Опыт помогает повысить эффективность, но также лишает способности заново задавать вопросы.
III. Три минуты речи, породившие TPU
В 2013 году глубокое обучение для распознавания речи в Google стало заметно превосходить старые системы. Уровень ошибок снизился вдвое, что эквивалентно двадцатилетнему прогрессу в распознавании речи, произошедшему за несколько месяцев.
Команда продукта, конечно, была в восторге. Но Джефф Дин сначала посчитал.
Если распознавание речи действительно станет лучше, пользователи будут использовать его охотнее. Предположим, каждый пользователь Google будет использовать распознавание речи всего по три минуты в день — сколько серверов понадобится Google для поддержки такого объема?
Результаты были не очень оптимистичными. По эффективности процессоров того времени Google, возможно, пришлось бы удвоить парк серверов.
Так появился TPU.
Его создание не было вызвано внезапным желанием исследовательской команды создать чип или доказать, что Google способен делать оборудование. Причина была в том, что успешная модель вот-вот создаст неприемлемо высокую стоимость обслуживания.
Эта история раскрывает часто упускаемый закон в продуктах ИИ: улучшение эффективности модели не всегда снижает затраты. Наоборот, чем лучше эффективность, тем выше использование и нагрузка на систему.
Когда распознавание речи работало плохо, пользователи редко его вызывали. Стоимость системы не была проблемой. Когда уровень ошибок резко упал, спрос внезапно вырос, и ограничения вычислительных мощностей, скрытые в бэкенде, вышли на поверхность.
Путь, выбранный для TPU, заключался в создании специализированного оборудования для наиболее распространенных вычислительных паттернов машинного обучения. Ему не нужно запускать браузер или обрабатывать все универсальные программы. Он в основном хорошо справляется с низкоточными плотными линейными алгебраическими операциями. Именно такие вычисления лежат в основе современного машинного обучения.
Первый TPU в итоге принес выигрыш на порядок. По словам Джеффа Дина, он был в 30–80 раз энергоэффективнее и в 20–30 раз быстрее по задержке, чем процессоры и графические процессоры того времени.
Здесь также есть легко упускаемый аспект проектирования.
TPU специализирован, но не настолько, чтобы запускать только одну фиксированную модель. Команда знала, что алгоритмы машинного обучения будут быстро меняться, поэтому спроектировала чип как довольно универсальную систему линейной алгебры. Он пожертвовал способностью запускать Chrome или Word, но сохранил пространство для поддержки будущей эволюции алгоритмов.
Это сложный баланс. Слишком низкая специализация — выигрыш неочевиден. Слишком высокая — алгоритм изменится, и оборудование устареет.
Суждение Джеффа Дина о современном аппаратном обеспечении для инференса явно перекликается с историей TPU. Он считает, что следующий важный этап возможностей по-прежнему лежит в специализации, но акцент сместится в сторону инференса с низкой задержкой и низким энергопотреблением.
«Представьте, что можно сделать, если задержка уменьшится в 50 раз».
Когда ответ модели требует десятков секунд, люди воспринимают её как инструмент для эпизодических консультаций. Когда задержка приближается к мгновенной, она действительно может стать частью интерфейсов, робототехники, обработки видео в реальном времени, операционных систем и процессов принятия решений.
Ожидание — это не просто вопрос удобства. Ожидание меняет форму продукта.
IV. Центр затрат в ИИ — не вычисления, а перемещение данных
Если бы нужно было обновить для ИИ-инженеров 2026 года версию статьи «Числа, которые должен знать каждый инженер» о задержках, Джефф Дин считает, что акцент должен сместиться с позиционирования жестких дисков, промахов кэша и межконтинентальных сетевых задержек на потоки данных внутри чипа.
Инженерам нужно знать: какова пропускная способность от основной памяти к внутрикристальной, от внутрикристальной к вычислительным блокам, сколько энергии требуется для одного умножения, как соединяются чипы между собой и как падает эффективность сети при масштабировании с 500 до 10 000 чипов.
Эти цифры кажутся далекими от продукта, но на самом деле они определяют, какой продукт может быть реализован.
Джефф Дин привел впечатляющее соотношение. Выполнение одного математического умножения требует примерно одного пикоджоуля энергии. Перемещение данных из высокоскоростной памяти в вычислительный блок может стоить примерно в 1000 раз дороже.
Другими словами, дорогостоящей операцией в современных системах ИИ часто является не «вычисление», а «перемещение того, что нужно вычислить».
Это также объясняет, почему пакетная обработка так важна.
Если набор весов модели перемещается из памяти в вычислительные блоки и обрабатывает всего один токен, все затраты на перемещение данных ложатся на этот токен. Если же одновременно обрабатывается больший пакет запросов, одни и те же веса обслуживают больше вычислений, и затраты на энергию и пропускную способность распределяются.
Но пакетная обработка и низкая задержка — это естественное противоречие. Чтобы набрать пакет запросов, системе часто приходится ждать. Пропускная способность растет, но отклик для отдельного пользователя может замедляться.
Таким образом, многие проблемы, которые кажутся связанными с моделью, на самом деле являются проблемами оборудования и системы. Почему при обучении используются большие пакеты, почему для инференса нужен KV Cache, почему модели стремятся к низкой точности, почему система требует квантования — за всем этим стоят ограничения по перемещению данных и энергии.
То, что Джефф Дин в последнее время больше сосредоточен на инференсе, также связано с тем, что инференс крайне чувствителен к задержкам. Если задача обучения выполняется медленнее, это часто означает лишь более позднее завершение эксперимента. Если ответ на запрос инференса задерживается на лишнюю секунду, это напрямую влияет на пользовательский опыт и эффективность работы агента.
Если агенту нужно последовательно вызывать модель 1000 раз, снижение единичной задержки на 50% может привести к огромной разнице во времени выполнения всей задачи. Не говоря уже о том, что в будущем агенты будут работать дни или недели.
Таким образом, «энергетическая проблема» ИИ — это не отдаленная экологическая тема. Она напрямую определяет, сможет ли модель дешево обслуживать больше людей, сможет ли агент работать непрерывно, а также будут ли у стартапа здоровые показатели прибыли.
V. Модель — это лишь деталь, контекст — это рабочая среда агента
За последние несколько лет ИИ-индустрия привыкла измерять прогресс количеством параметров, обучающими данными и результатами тестов. В 2026 году Джефф Дин больше подчеркивает всё, что окружает модель.
По-настоящему полезная система ИИ, помимо модели, требует поиска, инструментов, памяти, исторической информации, среды выполнения и механизмов обратной связи. Модель должна знать, какие инструменты доступны, когда их вызывать, как разбивать сложные задачи на последовательность действий, а также уметь сравнивать варианты и определять, какой из них с большей вероятностью приведет к успеху.
Вот почему «инженерия контекста» выходит на первый план.
Джефф Дин говорит, что информация, которую модель видела на этапе обучения, в итоге «перемешивается» в сотнях миллиардов или даже триллионах параметров. Она похожа на густой суп: знания есть, но не обязательно четко выражены. Информация, помещенная непосредственно в текущий контекст, для модели более прямая и её легче точно использовать.
Это оставляет важную возможность для небольших команд.
Для обучения базовой модели требуются огромный капитал, данные и вычислительные мощности. Но инженерию контекста можно начать с API. Предприниматели могут структурировать знания предметной области, рабочие процессы, данные клиентов и критерии оценки вокруг конкретного бизнеса, чтобы универсальная модель вела себя надежнее в узком сценарии.
Джефф Дин привел собственный пример.
Он и Санджай Гемават часто оптимизируют низкоуровневые библиотеки внутри Google. Эти структуры данных могут работать в миллионах процессов, и даже небольшая разница в производительности усиливается масштабом. Традиционный подход: инженер сначала пишет микротесты, измеряет текущую производительность, затем изменяет код, снова запускает тесты, наблюдает за использованием кэша и изменениями производительности и продолжает итерации.
Они превратили этот рабочий метод в навык агента. Модель научилась запускать тесты, изменять код, сравнивать результаты и продолжать оптимизацию на основе измерений.
«Мы просто предоставили модели метод, которым пользуется человек, в форме, удобной для её использования».
Эту фразу можно считать простым определением инженерии контекста.
Это не загадочная техника промптов или добавление большего количества фоновой информации. Это ответ на три вопроса: какие шаги предпримет эксперт, какие надежные инструменты есть в системе и как следует проверять результат.
Когда этот контент структурирован, модель получает не больше знаний, а повторяемый метод выполнения.
Вот почему «навык (skill)» может стать ключевым активом в экосистеме агентов. Хороший файл навыка может инкапсулировать многолетний неявный опыт команды. Он сообщает модели, что делать в первую очередь при определенном типе проблем, какие ошибки наиболее часты, каким инструментам можно доверять и какой результат считается успешным.
Дифференциация будущих компаний, вероятно, будет существовать не только в весах моделей, но и в этом опыте, закодированном в рабочих процессах.
VI. Почему агент начинает выходить из-под контроля на 30-м шаге
Почти каждая команда, которая действительно работала с агентами, сталкивалась с одной и той же ситуацией.
Первые несколько шагов проходят гладко. Модель может прочитать требования, использовать инструменты, написать код. На 30-м или 50-м шаге она начинает забывать цель, неправильно интерпретировать состояние, повторять действия или идти всё дальше по неверному пути.
Джефф Дин объясняет одну из причин проблемой распределения, не представленного в обучающих данных (out-of-distribution).
Модель видела множество типичных задач в процессе обучения. Пока задача остается на знакомом ей «освещенном пути», производительность обычно хорошая. Но как только последовательные операции выводят её в незнакомое состояние, производительность внезапно падает. Чем дальше от зоны комфорта, тем больше накапливается ошибок.
Одно из решений — предоставить навыки и промпты, чтобы максимально ограничить модель знакомыми путями. Другой метод — использование системы с несколькими агентами.
Несколько агентов могут пробовать разные подходы, а другая модель-оценщик определяет, какие направления более перспективны. Неудачные ветки отбрасываются, успешные продолжают развиваться. По сути, это поиск на этапе вывода.
Этот способ не чужд работе человеческих команд. Столкнувшись со сложной проблемой, один предлагает решение, другой оценивает риски, третий проводит эксперимент. Команда не ставит все надежды на первую идею, а снижает вероятность единичной ошибки за счет разделения труда и обратной связи.
Чем дольше работает агент, тем меньше проектирование системы может полагаться на единичную правильность.
По-настоящему надежный агент для долгих задач требует контрольных точек, управления состоянием, откатов, исследования веток, внешней оценки, контроля доступа и восстановления после сбоев. Он больше похож на распределенную систему, чем на сверхдлинное окно чата.
Именно здесь опыт Джеффа Дина снова становится ключевым.
Одной из ключевых проблем, решаемых MapReduce, было выполнение надежных вычислений на множестве ненадежных машин. Современные агентские системы сталкиваются с аналогичным противоречием: единичный вызов модели не идеален, инструменты тоже могут давать сбои, но вся задача по-прежнему должна быть выполнена максимально стабильно.
Будущие продвинутые платформы для агентов могут унаследовать многие идеи распределенных систем. Задачи можно разбивать, результаты проверять, неудачи перезапускать, состояния восстанавливать — локальная ошибка не должна разрушать весь процесс.
Когда Джефф Дин говорит, что агенты будут работать дни или недели, он описывает не более длинный чат. Он описывает новую вычислительную инфраструктуру.
VII. Как два-три человека могут победить Google: поиск задач, где успех модели составляет всего 1%
В контексте Startup School, конечно, наибольший интерес вызывает вопрос возможностей для стартапов.
Google может совместно проектировать чипы, дата-центры, модели и продукты. Универсальные модели вроде Gemini быстро расширяют границы своих возможностей. На что могут рассчитывать команды из двух-трех человек?
Ответ Джеффа Дина не романтичен.
Возможности для небольших команд обычно существуют в конкретных областях, на которые универсальные модели не обращают достаточного внимания. Предприниматели могут комбинировать пользовательский интерфейс, уникальные данные, рабочие процессы и навыки предметной области, чтобы обеспечить более высокую точность и лучший опыт в узком сценарии.
Но тут же он предупреждает: универсальные модели быстро становятся сильнее. Функции, которые сегодня кажутся независимыми продуктами, через шесть или двенадцать месяцев могут быть напрямую покрыты базовой моделью.
Поэтому предпринимателям нужно оценивать, является ли их преимущество долговечным.
Джефф Дин предлагает очень конкретный критерий отбора: искать задачи, где текущий уровень успеха универсальной модели близок к 0% или 1%, а не те, где он уже достигает 20%.
«Если модель полностью терпит неудачу, это может быть хорошим признаком. Если она уже делает часть работы, просто не очень хорошо, то это не обязательно хороший признак».
Причина проста. 20% означают, что способность уже начала проявляться. Больше данных, большая модель и более длинный вывод, скорее всего, быстро доведут её до уровня практической применимости. 0% или 1% указывают на то, что задаче может не хватать ключевых данных, специальных инструментов, обратной связи от предметной области или способности, которую универсальной модели трудно получить в короткие сроки.
Это можно назвать «правилом 1%» Джеффа Дина.
Он не советует предпринимателям выбирать исключительно самые сложные проблемы, а искать те, где у универсальных моделей есть структурные слепые зоны.
Таких слепых зон, грубо говоря, три типа.
Первый — уникальные данные. Универсальная модель может организовывать мировую информацию, но не обязательно имеет доступ ко всем личным данным пользователя, внутренним процессам компании или данным в реальном времени от определенного устройства. Как только стартап-продукт получает такие данные, он формирует картину, отличную от базовой модели.
Второй — профессиональная оценка. Многим отраслям не хватает не генеративных возможностей, а надежных критериев оценки. Медицина, материаловедение, проектирование чипов, производство и научные исследования требуют качественных оценщиков. Тот, кто может определить, «что правильно», тот может заставить агента постоянно оптимизироваться.
Третий — узкоспециализированные, глубокие модели. AlphaFold — это не универсальная чат-модель; она построила высоко специализированные возможности для задачи предсказания структуры белков. Подобные возможности могут появиться в материаловедении, проектировании чипов и других профессиональных областях.
Такая оценка непроста для предпринимателей. Она требует от команды понимания как границ возможностей моделей, так и глубинных проблем отрасли. Понимание только ИИ приводит к созданию функций, которые быстро поглощаются платформой. Понимание только отрасли может недооценить скорость прогресса моделей.
Истинные возможности лежат на пересечении того и другого.
VIII. Когда код перестает быть дефицитом, спецификации, вкус и выбор проблем станут дороже
Диана выдвинула гипотезу: если в будущем каждый основатель сможет одновременно управлять 50 или 100 агентами, и весь код будет писать агент, какие способности станут дефицитными?
Ответ Джеффа Дина — «вкус».
Точнее, способность решать, что должен делать агент.
Он считает, что большая часть ценности исследовательской работы заключается не в том, насколько безупречно выполняется эксперимент, а в том, выбрана ли для изучения стоящая проблема. Команда может использовать самые изощренные методы для завершения несущественного исследования. А можно ухватить ключевую проблему, решение которой изменит всю область.
Когда стоимость выполнения задач снижается благодаря агентам, важность выбора проблемы возрастет еще больше.
Раньше расплывчатая идея могла естественным образом исчезнуть из-за высокой стоимости разработки. В будущем, если задействовать достаточно агентов, многие идеи можно будет быстро превратить в прототипы. Мир от этого автоматически не наполнится хорошими продуктами, их просто станет больше.
Спецификации также станут важнее.
Джефф Дин говорит, что при сотрудничестве с виртуальными агентами чем четче цель, тем выше вероятность успеха. Раньше расплывчатое требование можно было передать опытному инженеру, который мог задать уточняющие вопросы или дополнить намерение, опираясь на общий контекст. Агент тоже может задавать вопросы, но ему легче начать догадываться при отсутствии контекста.
Типичная задача с высокой вероятностью успеха — миграция программного обеспечения с одного языка программирования на другой. Причина не в простоте миграции, а в исключительной полноте спецификации. Исходный код определяет поведение, тесты определяют границы, и агент может последовательно сверяться с ними, пока новая версия не будет вести себя идентично.
«Теперь агент может писать программное обеспечение за вас, но объяснить, чего именно вы хотите, стало важнее».
Эта фраза имеет прямое отношение к так называемым «AI-native» (изначально ИИ) организациям.
Будущие менеджеры будут не просто распределять задачи, а формулировать более четкие цели и критерии приемки. Технические задания станут не только материалом для общения в команде, но и входными данными для выполнения машиной. Тестирование, метрики, ограничения и примеры переместятся с конечного этапа процесса разработки на этап определения задачи.
Что касается того, как тренировать «вкус», метод Джеффа Дина практичен.
Запишите ряд вещей, которые, по вашему мнению, станут важными в следующие 12 месяцев. Вам не обязательно делать их все. Через 12 месяцев проверьте, какие из предсказаний сбылись, какие реализовали другие, а какие не сдвинулись с места. Постоянно накапливая примеры прогнозов и анализируя их, человек постепенно откалибрует свое суждение.
Вкус — это не совсем врожденный талант. Его можно тренировать через анализ.
IX. Хороший мысленный эксперимент начинается с устранения самых устоявшихся предпосылок отрасли
Во второй половине интервью Джефф Дин поделился довольно безумным мысленным экспериментом.
Последние 60 лет индустрия чипов стремилась создать транзисторы меньшего размера, более стабильные и с меньшим уровнем ошибок. Люди исходили из того, что чипы, произведенные по одному проекту, должны быть максимально идентичны, а битовые перевороты (bit flips) должны быть как можно реже.
Но в крупных распределенных системах инженеры давно приняли, что отдельные компоненты выходят из строя. Жесткие диски ломаются, машины отключаются, коммутаторы выдают сбои. Надежность системы достигается не за счет абсолютной безотказности каждого компонента, а за счет репликации, проверок, избыточности и восстановления.
Поэтому Джефф Дин задается вопросом: что, если бы транзисторы давали сбой 20 раз в день, а не один раз в несколько миллионов лет?
Это не план реального продукта. Он просто пытается устранить привычную предпосылку. Возможно, чрезвычайно ненадежные транзисторы можно производить совершенно иначе, а система будет гарантировать результат за счет множества путей и избыточности на высоком уровне.
Большинство мысленных экспериментов в итоге не становятся продуктами. Многие отраслевые практики существуют десятилетиями, и на то есть веские причины. Но Джефф Дин считает, что эти причины все равно следует периодически перепроверять.
MapReduce родился в результате похожего процесса.
Ранние системы сканирования и индексации Google содержали множество ручного параллельного кода, контрольных точек и логики восстановления после сбоев. Настоящие бизнес-вычисления часто были простыми: прочитать все веб-страницы, определить язык страницы. Но простые намерения тонули в массе системного кода.
Джефф Дин и Санджай Гемават нашли вдохновение в функциональном программировании. Они абстрагировали множество задач в Map и Reduce, спустив параллелизацию, планирование, отказоустойчивость и повторные попытки в единую инфраструктуру. Разработчикам приложений оставалось лишь выразить само вычисление.
Этот дизайн не сделал машины безотказными. Он позволил системе поглощать ошибки.
Современная инженерия агентов, возможно, находится на аналогичном этапе. Многие команды все еще вручную прописывают промпты, логику повторных попыток и вызовы инструментов для каждой задачи. Появится ли в будущем абстракция, столь же элегантная, как MapReduce, которая превратит декомпозицию, проверку, восстановление и параллельное исследование в долго работающих агентах в низкоуровневые возможности?
Возможно, это и есть возможность для следующего поколения инфраструктурных компаний.
X. ИИ начинает строить лучший ИИ, научный метод сжимается в высокоскоростной цикл
Наиболее вдохновляющее Джеффа Дина направление на будущее — автоматизация самого научного метода.
Традиционный исследовательский процесс: выдвижение гипотезы, планирование эксперимента, его проведение, анализ результатов и формирование следующей гипотезы. Скорость этого цикла долгое время ограничивалась стоимостью экспериментов и задержкой верификации.
ИИ может изменить две части.
Первая — автоматическое предложение и выполнение большего количества экспериментов. Вторая — превращение дорогих верификаторов в дешевые приближенные модели.
Джефф Дин привел пример квантовой химии. Чтобы определить свойства молекулярной конфигурации, исследователи могут запустить моделирование по теории функционала плотности. Одно моделирование может занять целую ночь. Исследователи Google использовали большое количество входных и выходных данных моделирования для обучения нейронной сети-аппроксиматору. Он приближался к точности исходного симулятора, но был примерно в 300 000 раз быстрее.
Изменение скорости верификации меняет и форму научных проблем.
Раньше скрининг 10 миллионов кандидатов мог быть проектом, требующим месяцы вычислительных ресурсов. Теперь система может выполнить первоначальный отбор за время обеда исследователя. Эксперимент перестает быть ценным единичным вложением и превращается в высокочастотный поиск.
Это также общая логика, стоящая за такими системами, как AlphaEvolve, AlphaChip. Модель предлагает варианты, инструменты их выполняют, оценщик фильтрует результаты, успешные попадают в следующий раунд. Если цикл достаточно быстр, система может непрерывно исследовать огромное пространство решений.
Машинное обучение само станет объектом такой автоматизированной науки.
Сегодня крупные исследовательские команды обычно выдвигают новые архитектуры или методы обучения на основе человеческих решений, сначала запускают эксперименты в малом масштабе, а затем масштабируют перспективные подходы. Джефф Дин считает, что нет фундаментальных препятствий для того, чтобы модель взяла на себя всё больше этапов этого процесса. Человек задает общее направление, система автоматически исследует архитектуры, рецепты данных и стратегии обучения, а затем комбинирует успешные эксперименты в новые модели.
В будущем показатель эффективности исследований может измеряться не только в флопс, но и в «количестве значимых открытий на единицу вычислительных мощностей».
Вычислительные мощности, конечно, важны. Но то, как превратить их в открытия, важнее.
XI. Отвергнутая NeurIPS статья о дистилляции и взгляд на неудачи
В 2014 году Джефф Дин, Джеффри Хинтон и Ориол Виньялс отправили статью о дистилляции знаний. Сегодня дистилляция знаний — это фундаментальный метод сжатия моделей и передачи способностей. Большая модель выступает в роли учителя, передавая свои способности более мелкой, быстрой и дешевой модели-ученику.
Эту статью, оказавшую впоследствии большое влияние, в тот год отклонили на конференции NeurIPS.
Один из рецензентов счел, что она «вряд ли окажет значительное влияние». Заинтересованные читатели могут обратиться к статье «Отклонение ≠ неудача! Эти влиятельные статьи тоже отвергались топ-конференциями».
Рассказывая об этом эпизоде, Джефф Дин не выражал гнева. Он сказал, что рецензент, возможно, не понимал реальных проблем, с которыми сталкиваются крупномасштабные ИИ-сервисы. Для Google превращение дорогой большой модели в маленькую, способную обслуживать сотни миллионов пользователей, очевидно, было очень важным. Для рецензента, сосредоточенного только на теоретической новизне, это могло не казаться достаточно «фундаментальным».
После отклонения статьи команда выложила её на arXiv. Отрасль всё равно прочитала её и начала использовать.
Сегодня модель Gemini Flash способна сохранять высокие способности при относительно небольшом размере и низкой задержке, и дистилляция — один из важных методов, лежащих в основе этого.
Эта история — не просто вдохновляющий материал о «настойчивости, ведущей к успеху». Она показывает, что системы оценки всегда имеют слепые зоны. Ценность решения иногда может сразу увидеть только тот, кто действительно сталкивался с этим системным узким местом.
Для предпринимателей это также важно.
Отрицание со стороны рынка, инвесторов или коллег может означать ошибочность направления, а может быть следствием того, что они не находятся на передовой той же проблемы. Различие в том, есть ли у команды достаточно конкретных доказательств, понимания, почему эта проблема важна и почему её можно решить именно сейчас.
Джефф Дин не призывает слепо упорствовать. Он призывает: понимать проблему, постоянно проверять решения, а затем не принимать одну оценку за окончательный вердикт мира.
XII. Чем бы занялся молодой Джефф Дин сегодня
Ближе к концу интервью Диана задала вопрос, требующий воображения.
Если бы молодого Джеффа Дина 1999 года, только что присоединившегося к Google, переместили в 2026 год, присоединился ли бы он к передовой лаборатории или основал бы компанию с двумя-тремя друзьями?
Джефф Дин не дал стандартного ответа.
Крупные организации обладают структурой, платформами и множеством отличных коллег. В них человек может получить доступ к знаниям, которых у него нет, и использовать зрелые продукты, чтобы влиять на пользователей по всему миру. Небольшие команды более свободны, но и несут большие риски. Основатели должны по-настоящему верить в проблему и быть готовы годами выдерживать неопределенность.
Критерий, который он предложил, более фундаментален, чем вопрос «идти в крупную компанию или создавать стартап».
«Если я решу эту проблему, и произойдет лучший из возможных исходов, станет ли мир от этого заметно лучше? Или люди просто скажут: "Да, круто", и на том всё закончится?»
Если ответ только «круто», то, возможно, не стоит вкладывать самое ценное время.
Он также подчеркнул важность соратников. Нужно искать людей с дополнительными навыками, но также с низким эго, готовых к сотрудничеству и приятных в общении. По-настоящему сложные проблемы часто требуют длительной совместной работы. Члены команды должны обладать инструментами, которых нет у других, и продолжать пополнять свой «инструментарий» в процессе совместной работы.
В этих словах есть некоторая простота старой школы инженеров.
ИИ-индустрия любит говорить об экспоненциальном росте, сверхинтеллекте и огромных инвестициях. Джефф Дин в итоге сводит выбор к трем простым вещам: работать над проблемой, которая действительно волнует, вместе с людьми, которые нравятся, и стараться сделать мир лучше.
Заключение: Самый дефицитный ресурс в эпоху ИИ по-прежнему — ясное видение проблемы
В карьере Джеффа Дина много легенд, которые часто пересказывают.
Он и Санджай Гемават за несколько дней переписали поисковую систему, поместив индекс в память. Один расчет о трех минутах речи подтолкнул Google к созданию TPU. MapReduce скрыл масштабный параллелизм и отказоустойчивость в единой абстракции. Дистилляция знаний из отвергнутой статьи превратилась в базовую технологию отрасли.
Эти истории легко заставляют представлять его гением, постоянно получающим озарения.
Но судя по этому интервью, его метод на самом деле очень последователен.
Сначала определить порядок величин. Затем найти истинное узкое место. После этого поставить под сомнение принятые допущения и создать более простую абстракцию. И, наконец, использовать измерения и обратную связь для постоянной итерации системы.
Современная ИИ-индустрия переживает аналогичный поворот.
Модели уже достаточно сильны, чтобы брать на себя задачи уровня начинающего инженера. Далее фактическую производительность будут определять не только "IQ" модели, но и стоимость инференса, организация контекста, качество инструментов, скорость верификации и надежность долговременной работы.
Агенты всё больше будут походить на членов команды. Но им нужны четкие спецификации, навыки, контрольные точки, оценщики и система, способная допускать ошибки.
Возможности для стартапов также не исчезнут, просто они станут более жесткими. Лучше не заниматься тем, что универсальная модель уже может делать на 20%, а искать задачи, где уровень успеха всё еще близок к 0% или 1%. Там могут скрываться уникальные данные, профессиональные оценщики, узкоспециализированные модели или совершенно новые системные абстракции.
Когда генерация кода становится всё дешевле, по-настоящему дорогим становится сама проблема.
Что стоит делать? Какие ограничения устарели? Какие изменения только что преодолели критический порог? Какой продукт станет совершенно другим, если система станет быстрее в 50 раз?
Джефф Дин не дал 6000 предпринимателям список возможностей. Он дал более долговечный способ мышления.
Не спешите гнаться за самыми горячими ответами.
Сначала посчитайте проблему.
Ссылки
https://x.com/ycombinator/status/2082938685071491219
https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building
Эта статья взята с официального аккаунта WeChat «Машина почти человек» (ID: almosthuman2014), автор: Panda
