GPT-5.6即将上线,推理狂飙750 Tokens/s,疑似横跨100张晶圆
【导读】GPT-5.6推理速度高达750 tokens/秒,将在芯片公司Cerebras的定制硬件上推出,标志着AI实时交互时代的到来。过去需要数分钟的复杂任务,现在可瞬间完成。
这一速度相当于人类每秒阅读约500-600个汉字。开发者指出,这将彻底改变计算机使用体验,解决大模型在实时多步任务中的延迟瓶颈。传统GPU集群在处理万亿参数模型时面临通信瓶颈,而OpenAI的方案是让硬件与模型深度融合。
GPT-5.6 Sol预计在7月小规模开放,针对愿意为极致速度付费的企业客户。其参数量约3万亿,激活参数约1500亿,网络层数达70-90层。为部署如此庞大的模型,OpenAI与Cerebras采用了一种“一晶圆,一层网络”的震撼方式,将每一层神经网络单独部署在一整张晶圆上,总计可能横跨70-100张晶圆。
为实现高速推理,模型架构可能进行了重构,放弃了传统的重型KV缓存,转而采用类似DeepSeekV4的轻量化缓存或混合SSM设计,以适配Cerebras芯片海量但珍贵的片上SRAM。也有猜测认为,注意力计算可能由GPU处理,而Cerebras晶圆集群专门暴力计算前馈网络部分。
此前,OpenAI还发布了首款自研AI推理芯片Jalapeño,专为大模型推理优化,并兼容行业主流模型,展示了其构建全栈AI生态的野心。通过结合顶尖第三方硬件探索与自研芯片,OpenAI正朝着控制从模型训练到硬件部署的完整产业链迈进,计划建设GW级超级数据中心,用AI加速AI基础设施的迭代。
marsbit07/09 11:53