Belum lama ini, DeepSeek membuka rekrutmen besar-besaran, dengan posisi yang meliputi algoritma, pengembangan, produk, operasi, insinyur data, serta berbagai departemen fungsional lainnya.
Di saat yang sama, DeepSeek V4 versi resmi akan diluncurkan pertengahan bulan ini. Dalam daftar penulis makalah DeepSeek V4 sebelumnya, kami menemukan nama Gu Yuxian (Yuxian Gu), kandidat doktor angkatan 2021 Universitas Tsinghua dan pemenang Beasiswa Khusus Pasca Sarjana tahun 2025.
Seperti yang kami ketahui, Gu Yuxian telah secara resmi bergabung dengan DeepSeek.
Gu Yuxian juga pernah memenangkan Beasiswa Doktor Apple tahun 2025 serta Beasiswa In-Tech Ant Group.
"Ketika sumber daya perangkat keras terbatas, inovasi algoritma menjadi kunci untuk menembus hambatan komputasi," ujar Gu Yuxian, alumni Tsinghua. Ia adalah mahasiswa doktoral tingkat akhir di Departemen Ilmu Komputer Universitas Tsinghua, dengan gelar sarjana juga dari universitas yang sama.
Halaman pribadinya menunjukkan bahwa Gu Yuxian belajar di Kelompok Penelitian Kecerdasan Buatan Interaktif (Conversational AI, CoAI) Universitas Tsinghua, di bawah bimbingan Profesor Huang Minlie.
Alamat halaman pribadi: https://t1101675.github.io/
Penelitiannya terutama berfokus pada cara meningkatkan efisiensi selama siklus hidup penuh model bahasa besar, mencakup tahapan kunci seperti pra-pelatihan, adaptasi ke bawah (downstream adaptation), dan inferensi. Baru-baru ini, penelitiannya terutama dikembangkan dari tiga arah:
Penyaringan Data Pra-Pelatihan: Berkomitmen untuk membangun teori dan algoritma untuk mengoptimalkan proses pemilihan data dalam pelatihan model bahasa besar, sehingga dapat melatih model yang lebih kuat dan efisien. Karya representatif termasuk PDS, Instruction Pre-training, dan Learning Law.
Distilasi Pengetahuan dalam Kompresi Model: Merancang metode baru untuk secara efektif mentransfer pengetahuan dari model besar ke model yang lebih kecil dan lebih mudah di-deploy. Hasil representatif dari arah ini termasuk MiniLLM dan MiniPLM.
Arsitektur Model yang Efisien: Mengeksplorasi dan merancang arsitektur model baru yang dapat meningkatkan kinerja model sambil mengurangi biaya komputasi. Pekerjaan terkait termasuk Jet-Nemotron.
Di halaman Google Scholar, kutipan makalah Gu Yuxian telah mendekati 5000, dengan dua makalah yang dikutip lebih dari 1000 kali, yaitu "Pre-trained models: Past, present and future" dan "MiniLLM: Knowledge distillation of large language models".
Sebagai penulis pertama, Gu Yuxian telah berkali-kali mempublikasikan makalah di konferensi akademik AI internasional terkemuka seperti NeurIPS, ICLR, dan ACL.
Machine Heart melaporkan "Jet-Nemotron" tahun lalu, sebuah seri baru model bahasa dengan arsitektur hibrida yang inovatif, yang mencapai akurasi model perhatian penuh (full attention) SOTA sekaligus memiliki efisiensi yang luar biasa.
Inovasi inti Jet-Nemotron terutama terwujud dalam dua poin berikut:
Pencarian Arsitektur Saraf Pasca (Post Neural Architecture Search, PostNAS): Sebuah pipeline eksplorasi arsitektur dan adaptasi pasca pelatihan yang efisien, dapat diterapkan pada model Transformer apa pun yang telah dilatih sebelumnya.
JetBlock: Sebuah modul perhatian linier (linear attention) baru, yang kinerjanya secara signifikan lebih unggul dari desain sebelumnya seperti Mamba2.
Alamat makalah: https://arxiv.org/pdf/2508.15884
Saat itu, versi Jet-Nemotron 2B sudah mampu menyaingi kinerja model bahasa perhatian penuh sumber terbuka SOTA terbaru seperti Qwen3, Qwen2.5, Gemma3, dan Llama3.2, sekaligus mencapai peningkatan efisiensi yang signifikan. Pada GPU H100, throughput generasinya mencapai percepatan hingga 53,6 kali lipat (panjang konteks 256K, batch size maksimum).
Pada benchmark MMLU dan MMLU-Pro, akurasi Jet-Nemotron juga melebihi beberapa model perhatian penuh MoE, seperti DeepSeek-V3-Small dan Moonlight, meskipun model-model tersebut memiliki skala parameter yang lebih besar.
Lebih awal lagi pada tahun 2024, Gu Yuxian dan rekan-rekannya mengusulkan metode distilasi pengetahuan untuk menyuling model bahasa besar menjadi model bahasa yang lebih kecil. Pertama, mereka menggunakan divergensi Kullback-Leibler (KLD) terbalik untuk menggantikan tujuan KLD maju dalam metode distilasi pengetahuan standar, kemudian menurunkan metode optimasi yang efektif untuk mempelajari tujuan ini.
Mereka menamai model siswa yang dihasilkan sebagai "MiniLLM". Eksperimen ekstensif dalam skenario instruksi-following menunjukkan bahwa dibandingkan dengan metode baseline, MiniLLM dapat menghasilkan jawaban yang lebih akurat, kualitas keseluruhan yang lebih tinggi, sekaligus memiliki bias eksposur yang lebih rendah, kemampuan kalibrasi yang lebih baik, dan kinerja pembuatan teks panjang yang lebih kuat.
>Metode ini telah diadopsi oleh komunitas sumber terbuka dan platform industri terkemuka seperti Google, Alibaba, dan NVIDIA.
Alamat makalah: https://arxiv.org/pdf/2306.08543
Kami juga berharap Gu Yuxian dapat menghadirkan lebih banyak pencapaian baru dalam fase kehidupan selanjutnya di "DeepSeek".
Artikel ini berasal dari akun WeChat publik "Machine Heart" (ID: almosthuman2014), penulis: Machine Heart yang fokus pada talenta AI.
