Днем 1 июля один твит взорвал академические круги Кремниевой долины.
Джелани Нельсон, глава отделения компьютерных наук факультета электротехники и компьютерных наук (EECS) Калифорнийского университета в Беркли, профессор теоретической информатики, временно отложил ключи от своего кабинета и перешел в Anthropic.
Он написал в X:
Я присоединился к Anthropic и взял отпуск в университете. Рад работать со многими талантливыми и целеустремленными людьми над ключевыми технологиями нашего времени.
Всего две фразы, но информации полно: уже приступил к работе, академическая должность сохранена, способ — отпуск. Что касается должности, команды, направления работы — обо всем этом ни слова.
Описание Нельсона в X уже обновлено: технический сотрудник (Member of Technical Staff) в Anthropic, теперь коллега Карпати, который присоединился в мае.
Джелани Нельсон, заведующий отделением компьютерных наук факультета электротехники и компьютерных наук (EECS) Калифорнийского университета в Беркли
Человек, возглавляющий одно из ведущих в США отделений компьютерных наук, взял и ушел.
AI-компании три года переманивают специалистов — от инженеров до продуктовиков, от специалистов по alignment до экспертов по мультимодальности.
На этот раз рука потянулась к самой вершине теоретической информатики.
От MIT до Беркли: человек, добившийся мирового оптимума в «подсчете»
Резюме Нельсона — практически идеальный образец теоретического информатика.
В средней школе он самоучкой освоил HTML и создал сайт, в старших классах научился программировать, а в университете на соревнованиях доказал, что может быстрее всех писать код без ошибок.
Получил все степени (бакалавр, магистр, доктор) в MIT, в 2011 году защитил докторскую диссертацию по компьютерным наукам в области эффективных алгоритмов для работы с огромными объемами данных.
Он описывает привлекательность этой дисциплины для себя как «почти религиозную»: это и фундаментальные проблемы человеческого мышления, и тесная связь с реальным миром.
После защиты он работал постдоком в Беркли, Принстонском университете и Институте перспективных исследований (IAS), а в 2013 году стал преподавателем в Гарварде.
В 2019 году Нельсон покинул Гарвард и переехал на запад, в UC Berkeley.
Гарвардская газета прямо написала о сожалении в заголовке: его уход оставил в отделе компьютерных наук огромную брешь (Big Hole).
В Беркли он чувствовал себя как рыба в воде, погрузившись в теоретические круги Института теоретических вычислений Саймонса (Simons Institute).
Осенью 2024 года Нельсон занял пост заведующего отделением компьютерных наук (Chair) факультета EECS, возглавив одно из самых передовых в мире отделений CS.
Его основные направления — потоковые алгоритмы (streaming algorithms), снижение размерности (dimensionality reduction), рандомизированные алгоритмы (randomized algorithms).
Проще говоря, Нельсон изучает одну и ту же проблему: как вычислять, когда данных так много, что они не помещаются.
Несколько лет назад он заинтересовался проблемой, немного похожей на школьную задачу: научить компьютер считать.
Кажется простым, но когда числа становятся настолько большими, что ни телефон, ни сервер не могут запомнить, «до какого места уже досчитали», затраты на память и скорость становятся неподъемными.
Его команда представила математическую формулу, доказывающую, какой минимум памяти необходим любому алгоритму, решающему эту задачу.
Статья команды Нельсона, доказывающая нижнюю границу памяти для задачи приблизительного подсчета. https://arxiv.org/pdf/2010.02116
Инженеры заставляют программы работать быстрее, а Нельсон доказывает, насколько быстрой программа может быть в принципе. Вот работа теоретического информатика: устанавливать физические пределы вычислений.
Вклад Нельсона в академические круги далеко не ограничивается одним лишь «подсчетом».
Во-первых, вместе с Каспером Грином Ларсеном он доказал оптимальность леммы Джонсона — Линденштрауса (Johnson–Lindenstrauss lemma).
Это краеугольный камень в области снижения размерности, теоретический предел которого он установил окончательно. Ранее он также совместно с Дэниелом Кейном предложил разреженное JL-преобразование.
Во-вторых, вместе с Кейном и Дэвидом Вудраффом он представил асимптотически оптимальный алгоритм для задачи count-distinct (сколько различных элементов содержится в потоке данных).
По его мнению, даже такое умение, как «счет», которое есть у каждого, скрывает за собой теоретически оптимальное решение.
Эти работы принесли ему длинный список наград: Sloan Research Fellowship, президентскую награду США для молодых ученых и инженеров (PECASE) и многие другие.
Помимо науки, у Нельсона есть и другая сторона.
В 2011 году, еще будучи докторантом в MIT, он поехал в Эфиопию и основал бесплатный лагерь по программированию AddisCoder.
За четырнадцать лет через него прошло около 700 студентов, многие из которых поступили в докторантуру Гарварда, MIT, Стэнфорда.
Позже ямайская регги-звезда Chronixx сам предложил пожертвовать деньги, что привело к созданию родственного проекта JamCoders.
Бесплатный лагерь по программированию AddisCoder, основанный Нельсоном в 2011 году, уже подготовил около 700 студентов. (Источник: официальный сайт AddisCoder)
Нельсон также является одним из самых ярых противников реформы учебной программы по математике в Калифорнии, и причина проста: его дед, выходец из бедной семьи, благодаря качественному государственному образованию стал врачом и изменил судьбу всей семьи.
Поэтому, с его точки зрения, убрать строгие математические курсы из государственных школ — все равно что вытащить лестницу, по которой следующее поколение могло бы подняться в жизни.
Эта деятельность «вне науки» впоследствии принесла ему также ACM Lawler Prize for Humanitarian Contributions.
Зачем Anthropic нужен теоретик?
Какое отношение имеет профессор, занимающийся потоковыми алгоритмами, к компании по созданию больших моделей?
Направления исследований Нельсона (потоковые алгоритмы, снижение размерности, рандомизированные алгоритмы) по сути изучают одно: как обрабатывать самые большие данные, используя минимум памяти и вычислений.
Применительно к большим моделям это как раз те самые дорогостоящие задачи: эффективность обучения, сжатие данных, вычислительная сложность.
Возьмем, к примеру, лемму JL, последний пазл в доказательстве которой был вставлен им. Она отвечает на вопрос, наивный до банальности: до какого минимума можно сжать высокоразмерные данные без потери информации.
Интуиция, лежащая в основе сегодняшнего повсеместного векторного поиска и сжатия эмбеддингов, основана именно на этой лемме.
Обучение передовой модели по своей сути — это сжатие и отбор в потоке астрономических объемов данных; что касается логического вывода (inference), то объем видеопамяти, кэш, контекстное окно — все упирается в память и сложность.
А это именно та проблемная область, которую Нельсон изучает уже двадцать лет.
Когда масштабы моделей сталкиваются с потолком вычислительных мощностей и данных, ценность «экономии» начинает превышать ценность «накопления». Фокус конкуренции в AI смещается с вопроса «чья модель мощнее» к вопросу «чья базовая алгоритмика экономичнее».
А инструментарий потоковых и рандомизированных алгоритмов идеально подходит для проблемы «приближение к оптимальному решению с ограниченными ресурсами», что точно попадает в общую тревогу всех передовых лабораторий сегодня.
С этой точки зрения, привлечение Anthropic теоретического информатика больше похоже на наверстывание упущенного: помимо моделей, инженерии и alignment, углубить еще один теоретический фундамент.
Топ-профессора в AI-компаниях: сейчас модно не увольняться
О своем присоединении к Anthropic Нельсон сказал буквально: «taken leave from the university» — взял отпуск (leave of absence) в университете.
Отпуск — это не то же самое, что увольнение: академическая должность сохраняется, можно вернуться в любой момент.
Это устоявшаяся система в американском академическом сообществе: профессор уходит из университета на оплачиваемый или неоплачиваемый отпуск на определенный срок — в индустрию, в стартап, заниматься чем угодно.
Этот путь уже давно опробован.
В 2017 году Фей-Фей Ли, воспользовавшись академическим отпуском, стала вице-президентом Google и главным научным сотрудником по AI в облаке, а через два года вернулась в Стэнфорд.
Сейчас дверь-вертушка между академией и индустрией вращается все быстрее, и «трудоустройство в отпуске» становится основной моделью.
Для ученого это страховочный билет, не говоря уже о том, что в индустрии есть вычислительные мощности, данные и реальные задачи, недоступные в академии.
Для AI-компаний это канал привлечения талантов с низким трением. Что еще выгоднее: привлекая ученого, привлекаешь не только одного человека, но и его студентов, коллег и всю академическую сеть.
Традиционный односторонний путь «получить пожизненную должность (tenure) и работать до пенсии» постепенно заменяется моделью «отпуска», когда одна нога уже в индустрии.
Для университетов, если эта лазейка открыта, закрыть ее будет сложно.
Переманив конкурентов, AI-гиганты начали переманивать университеты
Насколько безумным был рынок AI-талантов в июне?
18 июня соавтор статьи о Transformer, один из руководителей проекта Gemini Ноам Шазер объявил об уходе из Google в OpenAI.
Учтите, что Google купил его у Character.AI в 2024 году за сделку на 27 миллиардов долларов, и менее чем через два года он снова ушел.
19 июня получивший Нобелевскую премию по химии 2024 года за AlphaFold Джон Джампер официально объявил: покидает DeepMind, где проработал почти девять лет, и присоединяется к Anthropic.
Из-за условий неконкуренции для высшего руководства DeepMind он, возможно, сможет официально приступить к работе только в следующем году.
24 июня Bloomberg сообщил: ключевые исследователи Gemini Йонас Адлер и Александр Притцель также последуют за ним в Anthropic. Оба были соавторами Джампера по работе над структурой белков.
Акции Alphabet упали, и инвесторы начали открыто сомневаться, удержит ли Google людей.
На этом этапе битва все еще шла между AI-компаниями. Вскоре пожар перекинулся на университеты.
25 июня преподававшая в Беркли 19 лет исследовательница безопасности AI Дон Сон объявила о присоединении к Лаборатории сверхинтеллекта (Superintelligence Lab) Meta на должность вице-президента по исследованиям AI.
1 июля — Нельсон.
Всего за две недели: один нобелевский лауреат, два ключевых исследователя Gemini, один опытный профессор и еще один действующий заведующий кафедрой.
Из них четверо — Джампер, Адлер, Притцель, Нельсон — перешли в Anthropic.
Контекст этой безумной миграции талантов тоже легко угадать.
OpenAI уже тайно подала документы на IPO, а Anthropic, согласно нескольким источникам, также приближается к выходу на биржу. Для ведущих исследователей вступление в компанию сейчас означает опционы до IPO, что крупные компании не могут предложить.
Роль Беркли в этой миграции особенно заметна.
Здесь находится Институт теоретических вычислений Саймонса (Simons Institute), здесь же расположен один из ведущих в США факультетов EECS — три направления: теория, системы машинного обучения, безопасность AI, непрерывно подпитывают Anthropic, OpenAI, DeepMind.
AI-гиганты в предыдущем раунде переманивали людей, умеющих обучать модели, в этом раунде они переманивают людей, знающих пределы моделей.
Когда ведущие ученые приходят, AI-компании фактически превращаются во «вторую систему исследовательских институтов».
Если лучшие теоретики находятся в «отпуске» в компаниях, что останется у университетов? Никто не знает.
Единственное, что можно сказать наверняка: фокус конкуренции в AI сместился с возможностей моделей на фундаментальный слой алгоритмической теории.
Источники:
https://x.com/minilek/status/2072322757908664728?s=20
https://www2.eecs.berkeley.edu/Faculty/Homepages/minilek.html
https://vcresearch.berkeley.edu/news/jelani-nelson-considers-human-thought-computer-science-tools
https://arxiv.org/pdf/2010.02116
Эта статья из WeChat Official Account «新智元», автор: ASI启示录
