Gần đây, DeepSeek đã khởi động chiến dịch tuyển dụng ồ ạt với nhiều vị trí liên quan đến thuật toán, nghiên cứu phát triển, sản phẩm, vận hành, kỹ sư dữ liệu và các phòng ban chức năng khác.
Đồng thời, phiên bản chính thức DeepSeek V4 sẽ ra mắt vào giữa tháng này. Trong danh sách tác giả của bài báo DeepSeek V4 trước đó, chúng tôi đã phát hiện tên của tiến sĩ sinh năm 2021 Đại học Thanh Hoa, người nhận học bổng đặc biệt cho nghiên cứu sinh năm 2025, Cố Dục Hiền (Yuxian Gu).
Theo thông tin chúng tôi biết, Cố Dục Hiền đã chính thức gia nhập DeepSeek.
Cố Dục Hiền cũng từng nhận được Học bổng Tiến sĩ Apple năm 2025 và Học bổng Ant In-Tech.
"Khi tài nguyên phần cứng bị hạn chế, đổi mới thuật toán trở thành chìa khóa để phá vỡ nút thắt tính toán." Cố Dục Hiền, cựu sinh viên Đại học Thanh Hoa, chia sẻ. Anh là nghiên cứu sinh tiến sĩ năm cuối tại Khoa Khoa học Máy tính, Đại học Thanh Hoa, và cũng tốt nghiệp đại học tại đây.
Trang cá nhân cho thấy, Cố Dục Hiền học tại Nhóm nghiên cứu Trí tuệ Nhân tạo Tương tác (Conversational AI, CoAI) của Đại học Thanh Hoa, dưới sự hướng dẫn của Giáo sư Hoàng Dân Liệt.
Địa chỉ trang cá nhân: https://t1101675.github.io/
Nghiên cứu của anh chủ yếu tập trung vào việc nâng cao hiệu quả trong toàn bộ vòng đời của mô hình ngôn ngữ lớn, bao gồm các giai đoạn then chốt như tiền huấn luyện, tinh chỉnh cho tác vụ cụ thể và suy luận. Gần đây, nghiên cứu chủ yếu được triển khai theo ba hướng:
Lọc dữ liệu tiền huấn luyện: Nỗ lực xây dựng lý thuyết và thuật toán để tối ưu hóa quá trình lựa chọn dữ liệu trong quá trình huấn luyện mô hình ngôn ngữ lớn, từ đó huấn luyện ra các mô hình mạnh mẽ và hiệu quả hơn. Các công trình tiêu biểu bao gồm PDS, Instruction Pre-training và Learning Law.
Cô đặc kiến thức trong nén mô hình: Thiết kế các phương pháp mới để chuyển giao hiệu quả kiến thức từ mô hình lớn sang các mô hình nhỏ hơn, dễ triển khai hơn. Thành tựu tiêu biểu của hướng này bao gồm MiniLLM và MiniPLM.
Kiến trúc mô hình hiệu quả: Khám phá và thiết kế các kiến trúc mô hình mới, giảm chi phí tính toán trong khi vẫn nâng cao hiệu suất mô hình. Các công việc liên quan bao gồm Jet-Nemotron.
Trên trang Google Scholar, lượng trích dẫn bài báo của Cố Dục Hiền đã gần 5000, với hai bài báo có trên 1000 trích dẫn, lần lượt là "Pre-trained models: Past, present and future" và "MiniLLM: Knowledge distillation of large language models".
Cố Dục Hiền, với tư cách là tác giả chính, đã nhiều lần công bố bài báo tại các hội nghị học thuật hàng đầu về AI quốc tế như NeurIPS, ICLR, ACL.
Năm ngoái, Machine Heart đã đưa tin về "Jet-Nemotron", một loạt mô hình ngôn ngữ kiến trúc lai hoàn toàn mới, đạt được độ chính xác của mô hình chú ý toàn phần SOTA đồng thời sở hữu hiệu quả vượt trội.
Điểm đổi mới cốt lõi của Jet-Nemotron chủ yếu thể hiện ở hai điểm sau:
Tìm kiếm kiến trúc thần kinh hậu kỳ (Post Neural Architecture Search, PostNAS): Một pipeline khám phá và thích ứng kiến trúc hậu huấn luyện hiệu quả, có thể áp dụng cho bất kỳ mô hình Transformer đã được tiền huấn luyện nào.
JetBlock: Một mô-đun chú ý tuyến tính mới, có hiệu suất vượt trội hơn hẳn so với các thiết kế trước đó như Mamba2.
Địa chỉ bài báo: https://arxiv.org/pdf/2508.15884
Khi đó, phiên bản 2B của Jet-Nemotron đã có thể sánh ngang với các mô hình ngôn ngữ chú ý toàn phần mã nguồn mở SOTA nhất như Qwen3, Qwen2.5, Gemma3 và Llama3.2, đồng thời đạt được cải thiện hiệu quả đáng kể. Trên GPU H100, thông lượng tạo văn bản của nó đạt được tốc độ tăng tốc lên đến 53.6 lần (độ dài ngữ cảnh 256K, batch size tối đa).
Trên các benchmark MMLU và MMLU-Pro, độ chính xác của Jet-Nemotron cũng vượt qua một số mô hình chú ý toàn phần MoE, như DeepSeek-V3-Small và Moonlight, mặc dù các mô hình này có quy mô tham số lớn hơn.
Vào năm 2024, sớm hơn, Cố Dục Hiền và các cộng tác viên đã đề xuất một phương pháp cô đặc kiến thức, chuyển mô hình ngôn ngữ lớn thành mô hình ngôn ngữ nhỏ hơn. Phương pháp này đầu tiên sử dụng độ phân kỳ Kullback-Leibler ngược (KLD) thay thế mục tiêu KLD thuận trong phương pháp cô đặc kiến thức tiêu chuẩn, sau đó rút ra một phương pháp tối ưu hóa hiệu quả để học mục tiêu này.
Họ đặt tên cho mô hình sinh viên thu được là "MiniLLM". Các thử nghiệm rộng rãi trong các tình huống tuân theo chỉ dẫn cho thấy, so với phương pháp cơ sở, MiniLLM có thể tạo ra câu trả lời chính xác hơn, chất lượng tổng thể cao hơn, đồng thời có độ lệch phơi nhiễm thấp hơn, khả năng hiệu chỉnh tốt hơn và hiệu suất tạo văn bản dài mạnh hơn.
Các cộng đồng và nền tảng công nghiệp hàng đầu như Google, Alibaba, NVIDIA đã áp dụng phương pháp này.
Địa chỉ bài báo: https://arxiv.org/pdf/2306.08543
Chúng tôi cũng mong đợi Cố Dục Hiền trong chặng đường "DeepSeek" tiếp theo của cuộc đời, sẽ mang đến nhiều thành quả mới hơn nữa.
Bài viết này từ tài khoản WeChat công khai "Machine Heart" (ID: almosthuman2014), tác giả: Machine Heart quan tâm đến nhân tài AI
