Teknologi Baru DeepSeek Diterapkan ke Chip Apple, Model Besar Lokal Mac Dipercepat 60%
Teknologi DeepSeek 'DSpark' yang baru dibuka sumbernya kini telah diadaptasi untuk chip Apple, mempercepat model bahasa besar di Mac hingga 60%. Versi adaptasi bernama 'mlx-dspark' ini menjalankan model Gemma-4 12B dan Qwen3-4B, meningkatkan kecepatan generasi masing-masing 1,6 kali dan 1,4 kali lipat pada Mac M4 Pro.
Keunggulan utama adaptasi ini adalah kemampuannya menghasilkan keluaran yang identik persis byte demi byte dengan model asli, tanpa mengorbankan kualitas. Insinyur Abdur Rahim yang mengerjakan proyek ini juga menerapkan metode sampling suhu dari makalah DSpark, memastikan distribusi keluaran yang akurat, bukan hanya versi perkiraan.
Dalam pengujian, DSpark unggul dalam tugas percakapan terbuka. Sementara itu, teknologi spekulatif decoding lain, 'DFlash' dari z-lab, yang diintegrasikan kemudian, menunjukkan kecepatan lebih tinggi (hingga 2,1x) untuk tugas terkode dan matematika dengan mendekode blok token secara paralel. Rahim menggabungkan kedua pendekatan dalam mlx-dspark v0.0.3, memungkinkan pengguna menyesuaikan panjang blok DFlash untuk tugas yang berbeda dalam satu paket.
Adaptasi ini membuka potensi percepatan serupa untuk model yang lebih besar seperti Qwen3-8B dan 14B di perangkat Mac.
marsbit07/03 12:25
