Лауреат специальной стипендии Тхуа Хуа Гу Юсянь присоединился к DeepSeek
清华大学博士生、研究生特等奖学金获得者顾煜贤正式加入了AI公司DeepSeek。他是清华大学交互式人工智能课题组（CoAI）的成员，师从黄民烈教授。
顾煜贤的研究专注于提升大语言模型全生命周期的效率，主要包括三个方向：优化预训练数据筛选、设计模型压缩中的知识蒸馏方法（如MiniLLM），以及探索高效的模型架构（如Jet-Nemotron）。他在NeurIPS、ICLR、ACL等顶级会议上发表过多篇论文，谷歌学术引用量近5000。
其重要工作之一Jet-Nemotron是一种创新的混合架构语言模型，通过后训练神经架构搜索（PostNAS）和新型线性注意力模块JetBlock，在保持高性能的同时实现了显著的效率提升。例如，2B版本的Jet-Nemotron在多项基准测试中超越了更大规模的模型，并在长上下文生成中实现了大幅加速。
此前，他提出的MiniLLM知识蒸馏方法已被谷歌、阿里巴巴和英伟达等公司采用。随着DeepSeek V4正式版即将上线，顾煜贤的加入有望为公司带来更多算法创新。
marsbit07/06 02:08
