Недавно компания DeepSeek начала агрессивно набирать сотрудников на должности, связанные с алгоритмами, разработкой, продуктом, эксплуатацией, инженерией данных и другими функциональными отделами.
В это же время официальная версия DeepSeek V4 будет выпущена в середине этого месяца. В списке авторов статьи о DeepSeek V4 мы обнаружили имя Гу Юсяня (Yuxian Gu) — аспиранта 2021 года Тхуа Хуа, лауреата специальной стипендии для аспирантов 2025 года.
Насколько нам известно, Гу Юсянь официально присоединился к DeepSeek.
Гу Юсянь также был удостоен стипендии Apple PhD Fellowship 2025 года и стипендии Ant In-Tech.
«Когда ресурсы оборудования ограничены, инновации в алгоритмах становятся ключом к преодолению узких мест в вычислениях», — сказал выпускник Тхуа Хуа Гу Юсянь. Он является аспирантом выпускного курса факультета компьютерных наук Тхуа Хуа, бакалаврскую степень также получил в Тхуа Хуа.
Как указано на его персональной странице, Гу Юсянь учился в группе интерактивного искусственного интеллекта (Conversational AI, CoAI) Тхуа Хуа под руководством профессора Хуан Миньле.
Адрес персональной страницы: https://t1101675.github.io/
Его исследования в основном сосредоточены на повышении эффективности на протяжении всего жизненного цикла больших языковых моделей, охватывая ключевые этапы: предварительное обучение, адаптацию и логический вывод. В последнее время он в основном проводит исследования по трём направлениям:
Отбор данных для предварительного обучения: Нацелен на построение теории и алгоритмов для оптимизации процесса отбора данных при обучении больших языковых моделей, чтобы обучать более мощные и эффективные модели. Ключевые работы включают PDS, Instruction Pre-training и Learning Law.
Дистилляция знаний при сжатии моделей: Разработка новых методов эффективного переноса знаний из больших моделей в более маленькие и удобные для развертывания модели. Представительские работы в этом направлении включают MiniLLM и MiniPLM.
Эффективные архитектуры моделей: Исследование и разработка новых архитектур моделей, которые снижают вычислительные затраты, одновременно повышая производительность модели. Связанные работы включают Jet-Nemotron.
На странице Google Scholar количество цитирований статей Гу Юсяня приближается к 5000, у двух статей количество цитирований превышает 1000: «Pre-trained models: Past, present and future» и «MiniLLM: Knowledge distillation of large language models».
Гу Юсянь, как первый автор, неоднократно публиковал статьи на ведущих международных AI-конференциях, таких как NeurIPS, ICLR, ACL.
В прошлом году Machine Heart сообщало о «Jet-Nemotron» — новой серии языковых моделей со смешанной архитектурой, которая демонстрирует точность SOTA-моделей с полным вниманием, одновременно обладая превосходной эффективностью.
Основные инновации Jet-Nemotron в основном проявляются в двух аспектах:
Поиск архитектуры после нейросети (Post Neural Architecture Search, PostNAS): Эффективный конвейер для исследования архитектуры после обучения и адаптации, применимый к любым предварительно обученным моделям Transformer.
JetBlock: Новый тип модуля линейного внимания, производительность которого значительно превосходит предыдущие разработки, такие как Mamba2.
Адрес статьи: https://arxiv.org/pdf/2508.15884
В то время версия Jet-Nemotron с 2B параметрами по производительности могла сравниться с самыми современными открытыми языковыми моделями с полным вниманием, такими как Qwen3, Qwen2.5, Gemma3 и Llama3.2, одновременно обеспечивая значительное повышение эффективности. На GPU H100 скорость генерации увеличилась до 53,6 раз (при длине контекста 256K, максимальном размере пакета).
На бенчмарках MMLU и MMLU-Pro точность Jet-Nemotron также превысила точность некоторых MoE-моделей с полным вниманием, таких как DeepSeek-V3-Small и Moonlight, несмотря на то, что эти модели имели больший размер параметров.
Ещё раньше, в 2024 году, Гу Юсянь и его коллеги предложили метод дистилляции знаний из больших языковых моделей в более маленькие языковые модели. Сначала они заменили стандартную целевую функцию прямого расхождения Кульбака-Лейблера (KLD) в методах дистилляции знаний на обратное расхождение KLD, а затем вывели эффективный метод оптимизации для изучения этой цели.
Полученную студенческую модель они назвали «MiniLLM». Многочисленные эксперименты в сценариях следования инструкциям показали, что по сравнению с базовыми методами MiniLLM генерирует более точные ответы, обладает более высоким общим качеством, одновременно демонстрируя меньшее смещение экспозиции, лучшие калибровочные способности и более высокую производительность в генерации длинных текстов.
Этот метод был принят ведущими открытыми сообществами и промышленными платформами, такими как Google, Alibaba, Nvidia.
Адрес статьи: https://arxiv.org/pdf/2306.08543
Мы также надеемся, что Гу Юсянь в своём следующем жизненном этапе в «DeepSeek» принесёт ещё больше новых достижений.
Эта статья взята с официального аккаунта WeChat «Machine Heart» (ID:almosthuman2014), автор: Machine Heart, фокусирующийся на AI-талантах
