GPT-5.6 скоро будет запущен, скорость рассуждений взлетела до 750 токенов в секунду, подозревается работа на 100 кремниевых пластинах
По данным утечек, OpenAI готовится к запуску GPT-5.6 Sol — новой высокоскоростной версии своей модели. Как утверждается, она будет работать на оборудовании Cerebras с феноменальной скоростью генерации в 750 токенов в секунду, что позволит выполнять сложные задачи почти мгновенно.
Ключевым техническим прорывом, по мнению экспертов, является архитектура развертывания, при которой каждый слой нейронной сети размещается на отдельной пластине (wafer) чипа Cerebras. Это позволяет масштабировать модель до 3 триллионов параметров, используя от 70 до 100 таких пластин. Для преодоления ограничений памяти также применяются оптимизированные, облегченные методы кэширования KV, возможно, в сочетании с гибридными архитектурами, подобными Mamba.
OpenAI параллельно развивает собственную экосистему, представив свой первый специализированный чип для вывода ИИ — Jalapeño. Это демонстрирует стратегию компании по созданию полного стека технологий: от проектирования моделей и чипов до оптимизации развертывания. Цель — построить масштабируемую инфраструктуру для следующего поколения сверхбыстрого и мощного искусственного интеллекта.
marsbit07/09 11:55
