- Tether Data интегрировала полноценную LoRA-тренировку в llama.cpp с кроссплатформенной поддержкой.
- QVAC-fabric-llm работает благодаря Vulkan, Metal и LoRA.
- Новая ИИ-система Tether позволяет дообучать Qwen3 и Gemma3 на любом устройстве — от смартфона до сервера.
Исследовательское подразделение искусственного интеллекта (ИИ) компании Tether — Tether Data AI — представило QVAC-fabric-llm. Это новая инфраструктура для Low-Rank Adaptation (LoRA)-дообучения больших языковых моделей (LLM) непосредственно в рамках экосистемы llama.cpp.
Как отмечает компания, это первое решение, позволяющее проводить параметро-эффективное обучение LLM на всем спектре потребительского оборудования — от мобильных графических процессоров (GPU) до десктопных видеокарт.
В Tether говорят, что проект является «значительным шагом в миссии QVAC», ведь система обеспечивает настоящую аппаратно-независимую совместимость и устраняет зависимость от конкретных вендоров.
Разработчики отметили, что технология позволяет выполнять дообучение «на любом современном устройстве — от мобильного до серверного».
Одной из ключевых инноваций является возможность запускать LoRA-дообучение на мобильных графических процессорах, что до этого считалось недоступным. В Tether заявили:
«Мы демонстрируем первые успешные результаты точной настройки на мобильных GPU, ранее недоступные возможности, которые открывают путь к настоящей персонализации на устройстве».
Поддержка охватывает GPU Adreno, Mali и Apple, а также настольные графические решения AMD, Intel, NVIDIA и Apple.
QVAC-fabric-llm также добавляет первую кроссплатформенную поддержку LoRA-обучения для моделей Qwen3 и Gemma3, что существенно расширяет функциональность llama.cpp.
Чтобы ускорить развитие экосистемы, Tether Data AI открывает доступ к:
- мультиплатформенным бинарным файлам;
- LoRA-адаптерам, дообученным непосредственно на устройствах;
- исходному коду новых модулей.
Компания подчеркивает:
«Все взносы являются безопасными для высших уровней: мы не меняли публичные API llama.cpp и добавляли только новые модули».
Код опубликовали под лицензией Apache 2.0.
Зачем это криптовалютной индустрии и Tether
Для Tether, крупнейшего эмитента стейблкоинов, развитие собственного ИИ-направления направлено на:
- создание автономных систем, которые могут работать локально в регионах с высокой задержкой или нестабильной инфраструктурой;
- защиту приватности, ведь чувствительные данные пользователей не нужно передавать в облако;
- масштабируемость, которая не зависит от вендора GPU.
В Tether Data подчеркнули важность локального дообучения:
«Способность к точной настройке LLM на персональных данных пользователя является критической для персонализации и более широкого принятия технологии».
Среди ключевых технических решений:
- перенос полного LoRA-workflow в llama.cpp с API для инициализации, тренировки, чекпойнтинга и слияния адаптеров;
- использование Vulkan для универсальной GPU-совместимости (NVIDIA, AMD, Intel, Adreno, Mali);
- поддержка Apple Metal для M-серии и мобильных A-серий;
- поддержка инструкционного дообучения благодаря маскированным потерям (обучение только на токенах ассистента);
- добавление обратных проходов для современных архитектур, включая GEGLU;
- динамический алгоритм разбиения на блоки для обхода жестких ограничений драйверов Adreno и выполнения больших матричных операций.
Результаты тестов: мобильное дообучение и качество на уровне PyTorch
Проект показал жизнеспособность LoRA-тренировки на самых разных устройствах — от RTX 4090 до мобильных Mali.
Согласно тестам, качество моделей после дообучения в QVAC-fabric-llm сопоставимо с PyTorch-HuggingFace:
- процент побед LLM-судей: 45-48% (против 52-55% в PyTorch);
- биомедицинская точность: 79-94% (против 78-86%);
- косинусное сходство: 0.82 против 0.77.
В Tether отметили, что технология особенно полезна для сфер со строгими требованиями к приватности — медицины, науки, регулируемых финансовых сервисов.
Дальнейшие планы
Среди следующих шагов команда назвала расширение поддержки количественных форматов (GPTQ-INT8, Q5_K_M), оптимизацию GPU-операторов и улучшение управления памятью.
Представив QVAC-fabric-llm, Tether сделала попытку перенести ИИ-возможности, которые обычно доступны только в дата-центрах, непосредственно на потребительские устройства.
Компания заявила, что эта технология «разрушает давние аппаратные ограничения» и открывает путь к эпохе частных, локальных, устойчивых ИИ-решений.
Напомним, что недавно Tether подписала арендное соглашение на 20 000 GPU для поддержки ИИ-сферы на фоне партнерства видеоплатформы Rumble и немецкой майнинговой компании Northern Data.
