DeepSeek переносит новую технологию на чипы Apple, ускоряя локальные большие модели на Mac на 60%
Технология DeepSeek DSpark, недавно представленная для серверных GPU, теперь адаптирована для чипов Apple Silicon в проекте mlx-dspark. Это первая нативная реализация, ускоряющая генерацию текста локальными большими языковыми моделями (LLM) на Mac.
Инженер Abdur Rahim перенёс технологию "спекулятивного декодирования" (speculative decoding) в экосистему MLX. Этот метод использует небольшую "черновую" модель для быстрого создания нескольких кандидатов-токенов, которые затем проверяются основной целевой моделью. В результате модели Gemma-4 12B и Qwen3-4B на чипе M4 Pro показывают ускорение генерации примерно в 1.6 и 1.4 раза соответственно (до 30 и 73 токенов в секунду), сохраняя при этом точное соответствие выходным данным исходных моделей.
Ключевые особенности реализации:
* Поддержка как жадного декодирования, так и стохастической семплирующей генерации с температурой, что обеспечивает высокое качество и разнообразие вывода.
* Использование 4-битной квантизации для черновой модели (размер ~1.8 ГБ) и 8-битной — для основной модели для оптимального баланса скорости и точности.
* Интеграция альтернативного метода DFlash (от z-lab), который показывает ещё большее ускорение (до ~2.1x) на структурированных задачах, таких как генерация кода и математические вычисления, за счёт параллельного декодирования целых блоков токенов.
Таким образом, mlx-dspark предоставляет гибкий инструмент для значительного ускорения работы LLM на устройствах Apple, поддерживая различные сценарии — от чата до программирования.
marsbit07/03 12:23
