Récemment, DeepSeek a lancé une campagne de recrutement intensive, avec des postes couvrant les départements d'algorithmes, de R&D, de produits, d'opérations, d'ingénierie de données ainsi que des fonctions supports.
Dans le même temps, la version officielle de DeepSeek V4 sera lancée à la mi-juillet. Dans la liste des auteurs de l'article précédent sur DeepSeek V4, nous avons découvert le nom de Gu Yuxian, doctorant de première année 2021 à l'Université Tsinghua et récipiendaire du Prix d'Excellence pour les étudiants diplômés en 2025.
À notre connaissance, Gu Yuxian a officiellement rejoint DeepSeek.
Gu Yuxian a également reçu la bourse doctorale Apple en 2025 et la bourse In-Tech d'Ant Group.
« Lorsque les ressources matérielles sont limitées, l'innovation algorithmique devient la clé pour briser les goulots d'étranglement de calcul. » a déclaré Gu Yuxian, diplômé de Tsinghua. Il est doctorant en dernière année au Département d'Informatique de l'Université Tsinghua, où il a également obtenu son diplôme de licence.
Sa page personnelle indique que Gu Yuxian étudie au sein du groupe de recherche sur l'Intelligence Artificielle Conversationnelle (Conversational AI, CoAI) de l'Université Tsinghua, sous la direction du Professeur Huang Minlie.
Adresse de la page personnelle : https://t1101675.github.io/
Ses recherches portent principalement sur l'amélioration de l'efficacité tout au long du cycle de vie des grands modèles de langage, couvrant les étapes clés telles que le pré-entraînement, l'adaptation en aval et l'inférence. Récemment, ses travaux se sont développés autour de trois axes principaux :
Filtrage des données de pré-entraînement : Il s'efforce de développer une théorie et des algorithmes pour optimiser le processus de sélection des données lors de l'entraînement des grands modèles de langage, afin de former des modèles plus puissants et efficaces. Ses travaux représentatifs incluent PDS, Instruction Pre-training et Learning Law.
Distillation des connaissances dans la compression de modèles : Il conçoit de nouvelles méthodes pour transférer efficacement les connaissances des grands modèles vers des modèles plus petits et plus faciles à déployer. Les résultats marquants dans cette direction incluent MiniLLM et MiniPLM.
Architecture de modèles efficaces : Il explore et conçoit de nouvelles architectures de modèles pour améliorer les performances tout en réduisant les coûts de calcul. Ses travaux connexes incluent Jet-Nemotron.
Sur sa page Google Scholar, le nombre de citations des articles de Gu Yuxian approche les 5000. Deux de ses articles ont dépassé les 1000 citations : « Pre-trained models: Past, present and future » et « MiniLLM: Knowledge distillation of large language models ».
En tant que premier auteur, Gu Yuxian a publié plusieurs articles dans des conférences académiques de renommée mondiale en IA telles que NeurIPS, ICLR et ACL.
L'année dernière, la publication Machine Heart a rapporté sur « Jet-Nemotron », une nouvelle série de modèles de langage à architecture hybride, qui atteint la précision des modèles SOTA à pleine attention tout en offrant une efficacité exceptionnelle.
Les innovations clés de Jet-Nemotron se manifestent principalement en deux points :
Recherche d'Architecture Neuromorphique Post-Entraînement (Post Neural Architecture Search, PostNAS) : Un pipeline efficace d'exploration et d'adaptation d'architecture après entraînement, applicable à tout modèle Transformer pré-entraîné.
JetBlock : Un nouveau module d'attention linéaire dont les performances sont nettement supérieures aux conceptions précédentes comme Mamba2.
Adresse de l'article : https://arxiv.org/pdf/2508.15884
À l'époque, la version 2B de Jet-Nemotron pouvait égaler les performances des modèles de langage open source SOTA à pleine attention les plus avancés, comme Qwen3, Qwen2.5, Gemma3 et Llama3.2, tout en réalisant une amélioration significative de l'efficacité. Sur un GPU H100, son débit de génération a atteint une accélération allant jusqu'à 53,6 fois (pour une longueur de contexte de 256K et une taille de lot maximale).
Sur les bancs d'essai MMLU et MMLU-Pro, la précision de Jet-Nemotron a également dépassé celle de certains modèles à pleine attention de type MoE, comme DeepSeek-V3-Small et Moonlight, bien que ces modèles aient une taille de paramètres plus grande.
Plus tôt, en 2024, Gu Yuxian et ses collaborateurs ont proposé une méthode de distillation des connaissances des grands modèles de langage vers des modèles plus petits. Ils ont d'abord remplacé l'objectif de divergence de Kullback-Leibler (KLD) directe utilisé dans les méthodes standard de distillation des connaissances par une divergence KLD inverse, puis ont dérivé une méthode d'optimisation efficace pour apprendre cet objectif.
Ils ont nommé le modèle étudiant résultant « MiniLLM ». De nombreuses expériences dans des scénarios de suivi d'instructions ont montré que, par rapport aux méthodes de base, MiniLLM peut générer des réponses plus précises, de qualité globale supérieure, avec un biais d'exposition plus faible, une meilleure capacité d'étalonnage et de meilleures performances de génération de texte long.
Cette méthode a été adoptée par des communautés open source et des plateformes industrielles leaders comme Google, Alibaba et NVIDIA.
Adresse de l'article : https://arxiv.org/pdf/2306.08543
Nous attendons également avec impatience que Gu Yuxian apporte davantage de nouveaux résultats dans la prochaine étape de son parcours chez « DeepSeek ».
Cet article provient du compte officiel WeChat « Machine Heart » (ID : almosthuman2014), auteur : Machine Heart, se concentrant sur les talents en IA.
