Recientemente, DeepSeek ha comenzado una contratación intensiva, con puestos en múltiples departamentos como algoritmos, desarrollo, producto, operaciones, ingeniería de datos y funciones de apoyo.
Al mismo tiempo, la versión oficial de DeepSeek V4 se lanzará a mediados de este mes. En la lista de autores del artículo de investigación de DeepSeek V4, descubrimos el nombre de Gu Yuxian (Yuxian Gu), estudiante de doctorado de la promoción 2021 de la Universidad de Tsinghua y ganador de la Beca de Premio Especial para Posgraduados en 2025.
Según nuestra información, Gu Yuxian ya se ha unido oficialmente a DeepSeek.
Gu Yuxian también recibió la Beca de Doctorado Apple 2025 y la Beca Ant In-Tech.
«Cuando los recursos de hardware son limitados, la innovación en algoritmos se convierte en la clave para superar los cuellos de botella computacionales», dijo Gu Yuxian, graduado de Tsinghua. Es un estudiante de doctorado en su último año en el Departamento de Ciencias de la Computación de la Universidad de Tsinghua, y también completó su licenciatura en Tsinghua.
Su página personal muestra que Gu Yuxian estudia en el grupo de investigación de Inteligencia Artificial Conversacional (CoAI) de la Universidad de Tsinghua, bajo la supervisión del profesor Huang Minlie.
Dirección de la página personal: https://t1101675.github.io/
Su investigación se centra principalmente en cómo mejorar la eficiencia en todo el ciclo de vida de los grandes modelos de lenguaje, cubriendo etapas clave como el preentrenamiento, la adaptación a tareas específicas y la inferencia. Recientemente, su investigación se ha desarrollado en tres direcciones principales:
Selección de datos para preentrenamiento: Dedicado a construir teoría y algoritmos para optimizar el proceso de selección de datos en el entrenamiento de grandes modelos de lenguaje, con el fin de entrenar modelos más potentes y eficientes. Los trabajos representativos incluyen PDS, Instruction Pre-training y Learning Law.
Distilación de conocimiento en compresión de modelos: Diseña nuevos métodos para transferir efectivamente el conocimiento de modelos grandes a modelos más pequeños y fáciles de desplegar. Los resultados representativos en esta dirección incluyen MiniLLM y MiniPLM.
Arquitecturas de modelos eficientes: Explora y diseña nuevas arquitecturas de modelos que mejoren el rendimiento mientras reducen el coste computacional. Trabajos relacionados incluyen Jet-Nemotron.
En su página de Google Scholar, las citas de los artículos de Gu Yuxian ya superan las 5000. Tiene dos artículos con más de 1000 citas: "Pre-trained models: Past, present and future" y "MiniLLM: Knowledge distillation of large language models".
Como primer autor, Gu Yuxian ha publicado múltiples artículos en conferencias académicas de IA de primer nivel internacional como NeurIPS, ICLR y ACL.
El año pasado, Machine Heart informó sobre "Jet-Nemotron", una nueva serie de modelos de lenguaje con arquitectura híbrida, que logra la precisión de los modelos de atención completa de última generación (SOTA) mientras posee una eficiencia excepcional.
Las principales innovaciones de Jet-Nemotron se reflejan en dos puntos:
Búsqueda de Arquitectura Neuronal Posterior (Post Neural Architecture Search, PostNAS): Una tubería (pipeline) eficiente para la exploración de arquitecturas y la adaptación posterior al entrenamiento, aplicable a cualquier modelo Transformer preentrenado.
JetBlock: Un nuevo módulo de atención lineal, cuyo rendimiento supera significativamente a diseños anteriores como Mamba2.
Dirección del artículo: https://arxiv.org/pdf/2508.15884
En ese momento, la versión 2B de Jet-Nemotron ya podía igualar el rendimiento de los modelos de lenguaje de atención completa de código abierto más SOTA como Qwen3, Qwen2.5, Gemma3 y Llama3.2, logrando al mismo tiempo mejoras significativas en eficiencia. En GPU H100, su rendimiento de generación logró una aceleración de hasta 53.6 veces (con una longitud de contexto de 256K y el tamaño máximo de lote).
En los puntos de referencia MMLU y MMLU-Pro, la precisión de Jet-Nemotron también superó a algunos modelos de atención completa Mixture of Experts (MoE), como DeepSeek-V3-Small y Moonlight, a pesar de que estos modelos tienen un mayor número de parámetros.
A principios de 2024, Gu Yuxian y sus colaboradores propusieron un método de destilación de conocimiento que transforma grandes modelos de lenguaje en modelos de lenguaje más pequeños. Primero, utilizaron la divergencia inversa de Kullback-Leibler (KLD) para reemplazar el objetivo de KLD directa en los métodos estándar de destilación de conocimiento, y luego derivaron un método de optimización eficaz para aprender este objetivo.
Llamaron al modelo estudiante resultante "MiniLLM". Extensos experimentos en escenarios de seguimiento de instrucciones mostraron que, en comparación con los métodos de referencia, MiniLLM puede generar respuestas más precisas, con una calidad general más alta, a la vez que presenta un sesgo de exposición más bajo, una mejor capacidad de calibración y un rendimiento superior en la generación de textos largos.
Comunidades líderes de código abierto y plataformas industriales como Google, Alibaba y NVIDIA han adoptado este método.
Dirección del artículo: https://arxiv.org/pdf/2306.08543
También esperamos que Gu Yuxian logre más resultados nuevos en la próxima etapa de su vida en "DeepSeek".
Este artículo proviene del WeChat oficial "Machine Heart" (ID:almosthuman2014), autor: Machine Heart enfocado en talento de IA.
