Сегодня начал распространяться твит двухдневной давности, содержащий всего 5 слов: Скотт Грей покинул OpenAI.
Этот известный инженер, носящий титулы «Бог ядер CUDA, сильнейший в мире программист для GPU», стал ещё одной значительной потерей талантов для OpenAI в этом году. Хотя он сам не подтвердил этого в твите, и его страница в LinkedIn ещё не обновлена, его личные описания в X и Bluesky уже изменились с «GPU Geek at @OpenAI» на «Former GPU geek at @OpenAI», и в начале добавлена фраза: «Сейчас независим, изучаю некоторые методы ИИ, вдохновлённые нейронаукой».
Инженер, проработавший в OpenAI десять лет, одной строкой в описании объявил о своём уходе.
Удивительное совпадение. Ровно десять лет назад, 16 августа, OpenAI опубликовала в блоге статью под названием «Team update», представляя пять новых полноценных членов команды, присоединившихся в том месяце. В списке были Дарио Амодей, Филип Волски, Джек Кларк, Скотт Грей и Зейн Шах.
https://openai.com/index/team-update-august/
Десять лет спустя, сегодня Дарио — генеральный директор Anthropic, Джек Кларк отвечает за политику в Anthropic, а Скотт Грей пометил OpenAI как «бывший».
На данный момент OpenAI не сделала никаких заявлений об уходе Скотта Грея, и сам Грей не опубликовал подробных объяснений. Единственным общим источником для всех текущих сообщений является изменение описания в его социальных сетях, а затем распространившийся в X пост-разоблачение. Конкретная дата ухода, дальнейшие планы, есть ли уже новая компания — публичной информации нет.
Стоит отметить ещё одну деталь в его аккаунте. Последний оригинальный твит Грея в X датируется 20 ноября 2023 года и содержит одну фразу: «OpenAI is nothing without its people.» («OpenAI — ничто без своих людей»). Это был третий день после увольнения Сэма Олтмана советом директоров, более семисот сотрудников подписали петицию с требованием отставки совета, и эта фраза в то время многократно копировалась и вставлялась внутри OpenAI, что можно считать коллективной клятвой верности. После этого он отвечал на некоторые твиты (последние ответы прекратились в феврале 2025 года), но больше не публиковал оригинальных твитов.
Краткая биография Скотта Грея
У нас ранее была статья, подробно представлявшая Скотта Грея, см. «Бог ядер CUDA, сильнейший в мире программист для GPU? Кто этот закулисный гений OpenAI?». Здесь кратко перечислим основные моменты.
Его слава началась в период работы в Nervana Systems. В то время подавляющее большинство разработчиков полагалось на официальные библиотеки NVIDIA, такие как CUDA C/C++, cuBLAS, cuDNN и другие. Многоуровневые программные абстракции скрывали аппаратные детали, но также создавали потолок производительности. Грей пришёл к выводу, что необходимо обойти эти слои абстракции, поэтому он написал maxas — ассемблер для архитектуры Maxwell, позволяющий разработчикам писать машинный код SASS напрямую, вручную распределять регистры, управлять задержками памяти, контролировать конвейер инструкций.
Чтобы доказать, что этот путь可行м, он вручную написал ядро SGEMM с помощью maxas. На GPU GM204 это ядро достигло 98% теоретического пика производительности аппаратного обеспечения и оказалось на 4,8% быстрее, чем закрытый исходный код cuBLAS от NVIDIA, также написанный вручную экспертами. Последующий maxDNN распространил ту же методологию на свёртку: на всех свёрточных слоях AlexNet стабильно достигалась вычислительная эффективность от 93% до 95%, в то время как эффективность cuDNN в тот же период сильно колебалась от 32% до 57%.
Это методологическая основа всей его последующей работы: не принимать заданный абстракциями потолок производительности.
В том обновлении команды OpenAI в августе 2016 года официальное описание о нём состояло всего из двух технических оценок, в общих чертах говорящих, что ранее в Nervana он сосредоточился на оптимизации производительности глубоких сетей на GPU, а его оптимизации на уровне ассемблера для плотной линейной алгебры и свёртки «до сих пор остаются самыми быстрыми». В том же абзаце упоминалось, что когда он не пишет код, он обычно читает последние исследования в нейронауке и смежных областях.
Похоже, спустя десять лет его новое направление — «методы ИИ, вдохновлённые нейронаукой» — фактически является возвращением к тому неизменному интересу.
После присоединения к OpenAI его роль изменилась с «оптимизатора» на «создателя возможностей». В 2017 году он вместе с Алеком Радфордом и Дёрком Кингмой выпустил ядра для блочно-разреженных матриц на GPU. В отличие от неструктурированной разрежённости, удаляющей отдельные веса, блочная разрежённость разрезает матрицу весов на блоки фиксированного размера и обнуляет целые блоки. Специализированные ядра при вычислениях полностью пропускают нулевые блоки, и скорость может быть на порядки выше, чем у cuBLAS, обрабатывающего плотные матрицы, или cuSPARSE, работающего с общими разрежёнными матрицами. Этот набор ядр был открыт в то время, что напрямую способствовало появлению последующих работ по разрежённому вниманию.
Схема блочно-разреженных ядер OpenAI, https://cdn.openai.com/blocksparse/blocksparsepaper.pdf
Продолжая эту линию, в статье 2019 года «Generating Long Sequences with Sparse Transformers» авторами являются Ревон Чайлд, Скотт Грей, Алек Радфорд и Илья Суцкевер — снижение временных и затрат памяти на внимание с O(n2) до O(n√n). В статье явно указано, что «быстрые ядра для обучения внимания» являются одним из трёх вкладов.
Далее его имя появляется в списке авторов GPT-3, в списке авторов «Scaling Laws for Neural Language Models», в списке авторов DALL·E и в техническом отчёте OpenAI Five.
За это время он также получил титул «Бог ядер CUDA». Это произошло в сентябре 2025 года, когда бывший сотрудник OpenAI Рохан Пандей в посте в X заявил, что в компании примерно один человек отвечает за ядра CUDA для инференса, и коллеги называют написанное им ядро внимания «the Bob kernel». Это ядро ежедневно выполняется триллионы раз на сотнях тысяч GPU. После того как пост стал вирусным, в комментариях в основном предполагали, что «Bob» — это Скотт Грей.
В связанных постах также упоминалось: во всём мире, возможно, не наберётся и сотни людей, способных написать высокопроизводительные ядра CUDA для процесса обучения (особенно для обратного распространения ошибки). Этот навык требует одновременного глубокого знания теории параллельных вычислений, архитектуры аппаратного обеспечения GPU и алгоритмов глубокого обучения, в то время как большинство практиков остаются на прикладном уровне или уровне оптимизации инференса.
И теперь Скотт Грей ушёл.
2026 год: OpenAI уже потеряла немало людей
В этом году OpenAI потеряла немало талантов. По подсчётам блогера X Chubby, в этом году из OpenAI ушли 12 старших руководителей, охватывая операции, бизнес, продукт, исследования, безопасность, этику и аппаратное обеспечение.
Недавно проработавший в OpenAI восемь лет, бывший финансовый директор и операционный директор Брэд Лайткэп объявил в X об уходе, заявив, что хочет «start something new» («начать что-то новое»); двумя днями позже объявила об уходе главный коммерческий директор Дениз Дрессер, назначенная только в декабре прошлого года; её сменил бывший президент и COO компании Wiz Дали Раджич.
В бизнес- и продуктовых линиях: генеральный директор направления приложений Фиджи Симо в апреле взяла отпуск по состоянию здоровья, а в июле оставила должность, перейдя на неполный рабочий день в качестве консультанта; бывший главный маркетолог Кейт Роуч в апреле ушла с поста по медицинским показаниям; технический директор корпоративного бизнеса Шринивас Нараянан также объявил об уходе в апреле. В области исследований и продуктов: возглавлявший направление OpenAI for Science Кевин Вейл и руководитель Sora Билл Пиблс объявили об уходе в один день в апреле; Вейл сейчас занимается стартапом в области ИИ для науки. Баррет Зоф вернулся в OpenAI в январе этого года из Thinking Machines Lab, чтобы возглавить продажи корпоративного ИИ, и ушёл снова в июне; компания не назвала причину.
Трое из линий безопасности и этики сосредоточились в июле: руководитель системы безопасности Йоханнес Хайдеке ушёл в ходе реорганизации команды безопасности, его обязанности перешли к исследовательскому подразделению под руководством Мии Глезе; главный футуролог Джошуа Ахиам ушёл после почти девяти лет работы, возглавляемая им ранее команда миссионерского согласования была расформирована в феврале этого года; руководитель отдела этики Хлоя Бакалар ушла менее чем через год после прихода. Ещё раньше, в марте, руководитель направления робототехники и потребительского аппаратного обеспечения Кейтлин Калиновски уволилась, не согласившись с сотрудничеством компании с Пентагоном; она написала в LinkedIn, что такие вопросы должны проходить более тщательное рассмотрение, а позже добавила, что её возражения в основном касаются процесса управления.
В этом списке также пропущен один человек: в январе этого года вице-президент по исследованиям, отвечавший за модели инференса, Джерри Творек ушёл после почти семи лет работы, чтобы основать собственный бизнес, сославшись на желание заниматься направлениями исследований, которые «трудно реализовать внутри OpenAI».
Заключение
Уход Скотта Грея, возможно, не изменит немедленно график выпуска моделей OpenAI. Инженерная система, накопленная за десять лет, не остановится из-за ухода одного человека. Но для компании, которая всё больше зависит от масштаба, эффективности и контроля затрат, потеря такого инженера, способного выжимать максимум из аппаратного обеспечения и глубоко вовлечённого в создание многих поколений ключевых моделей, всё же не является изменением, которое можно описать легкомысленно.
Также стоит отметить момент, в который произошёл этот уход: OpenAI готовится к выходу на биржу, превращаясь в гигантскую корпорацию, стремящуюся к доходам и участвующую в глобальной инфраструктурной гонке. Теперь те, кто формировал её с самого начала, также заново оценивают, чем они хотят заниматься дальше.
Выбор Скотта Грея — не присоединиться к другой передовой лаборатории или объявить о стартапе, а лишь указать в личном описании, что он независимо изучает «методы ИИ, вдохновлённые нейронаукой». От инженера, который в 2016 году в официальном описании читал статьи по нейронауке в свободное время, до возвращения к нейронауке в личном описании десять лет спустя — это больше похоже на возвращение после долгого обходного пути: выжав существующие вычислительные парадигмы до предела, он начал искать другую возможность.
В 2023 году Грей написал «OpenAI is nothing without its people». Оглядываясь назад сегодня, эта фраза выглядит и как позиция в тот корпоративный кризис, и как запоздалый комментарий. OpenAI не потеряет всё из-за ухода одного человека, но направление компании в конечном итоге формируется теми, кто остаётся, теми, кто уходит, и теми проблемами, которые каждый из них выбирает для изучения.
Статья из официального аккаунта WeChat «Машинный разум» (ID: almosthuman2014), автор: Focus on AI.
