【Resumen】 ¡La velocidad de inferencia de GPT-5.6 alcanza la asombrosa cifra de 750 tokens por segundo! Un experto revela detalles internos: funcionará repartido en 100 obleas de silicio. La IA pasa de pensar a relampaguear, ¿ha llegado realmente la era de la inteligencia en tiempo real?
Según diversas filtraciones, GPT-5.6 estará disponible para el público muy pronto.
Últimamente, todo tipo de especulaciones sobre este modelo han sido tendencia en X.
El 26 de junio, OpenAI anunció oficialmente la nueva familia GPT-5.6.
Y en su blog oficial había una frase que decía: OpenAI planea lanzar este mes un nuevo modelo de vanguardia, GPT-5.6 Sol, en el hardware personalizado del gigante de chips Cerebras, ¡con una velocidad de inferencia aterradora de 750 tokens por segundo!
Esto significa que las operaciones complejas de Agente que antes requerían varios minutos de espera, ahora pueden completarse en un abrir y cerrar de ojos.
Evidentemente, OpenAI ya ha dado un paso revolucionario al ser pionero en el diseño conjunto de hardware y modelo.
Sumado a la reciente exposición del primer chip de inferencia de IA de desarrollo propio, el Jalapeño, podemos sentir que OpenAI ya tiene la ambición de convertirse en un imperio de IA de pila completa.
En las artes marciales, solo la velocidad es invencible: el ataque abrumador de 750 Tokens/s
¿Qué significa "750 tokens por segundo"?
Para los humanos, equivale a leer y generar entre 500 y 600 caracteres chinos en un segundo.
Este texto que estás leyendo, GPT-5.6 Sol podría generarlo en menos de unas décimas de segundo.
En X, el conocido desarrollador Caleb Shepherd expresó con emoción: "Esto es lo que más me entusiasma, GPT-5.6 Sol ejecutándose en Cerebras. No solo porque escribir código será más rápido, sino porque la velocidad de uso de la computadora experimentará un cambio cualitativo. Ya no tendremos que esperar dos minutos angustiosos a que una IA haga clic en un botón."
Durante mucho tiempo, aunque los modelos grandes se han vuelto más inteligentes, la "latencia de inferencia" ha sido el mayor cuello de botella para la implementación de tareas de agente en tiempo real que requieren múltiples pasos.
Cuando un modelo es tan grande que tiene billones de parámetros, los clústeres tradicionales de GPU suelen encontrar cuellos de botella físicos en la comunicación entre nodos (interconexión NVLink).
Y la respuesta de OpenAI es: no hagas que el modelo se adapte al hardware, haz que el hardware y el modelo se fusionen en uno.
Según la información preliminar revelada oficialmente, GPT-5.6 Sol se lanzará en julio a una escala extremadamente limitada para clientes específicos, y se irá desplegando gradualmente a medida que aumente la capacidad de producción.
Como se ha especulado en línea, será un servicio extremadamente caro, un privilegio hecho a medida para esas empresas de élite dispuestas a pagar por la velocidad.
¿Cómo meter una bestia de 3 billones de parámetros en un chip?
Cuando se filtró la noticia de los 750 Tokens/s, Peter Gostev, responsable de LLM Arena, planteó una pregunta que a todos les generaba dudas:
¿Qué está pasando con GPT-5.6 Sol en Cerebras? Por lo que sé, parece ser el mismo modelo completo (incluidas capacidades multimodales como la visión), y no una versión reducida y limitada como el anterior GPT-5.3-Codex-Spark, al que le faltaban la visión y el contexto.
Pero mi entendimiento es que un solo chip de Cerebras como máximo puede albergar un modelo de 700 a 900 mil millones de parámetros. Entonces, ¿el modelo se ha hecho más pequeño? ¿O hay un nuevo tipo de chip que desconozco? ¿O es alguna nueva tecnología de colaboración entre múltiples chips?
Esta duda desató inmediatamente un debate entre muchos usuarios.
Algunos bromeaban diciendo que era como hacer una "auditoría forense de chips a medianoche", y comentaron: "Si realmente es el mismo modelo completo, es como si alguien hubiera metido a la fuerza un superyate en una botella de vidrio, sin explicar cómo lo hizo."
Rápidamente, la experta técnica Bleys Goodson presentó una deducción extremadamente convincente y técnica:
¡GPT-5.6 Sol no está metido en un solo chip, sino distribuido en 70 a 100 chips a nivel de oblea de Cerebras!
La estética extrema del despliegue: "Una oblea, una capa de red"
Los expertos del sector estiman que las especificaciones de GPT-5.6 Sol son extremadamente grandes:
- Parámetros totales: Aproximadamente 3 billones
- Parámetros activados: Aproximadamente 150 mil millones
- Número de capas de red: Entre 70 y 90 capas aproximadamente
Para lograr características saludables en el servicio de inferencia, OpenAI y Cerebras han adoptado un método de despliegue extremadamente lujoso e impactante: desplegar cada capa de la red neuronal individualmente en una oblea completa de Cerebras.
Como señaló un usuario, al aumentar las etapas del pipeline, siempre que tengas suficientes obleas para enlazarlas, teóricamente puedes escalar a modelos de cualquier tamaño, sin afectar la velocidad de generación de tokens, solo podría haber un impacto leve en el tiempo del primer token (TTFT).
Reestructuración radical de la arquitectura: la KV Cache ligera forzada por las circunstancias
Sin embargo, solo con una gran cantidad de obleas no es suficiente. Una característica clave de la arquitectura de chips Cerebras es la enorme cantidad de SRAM (memoria de acceso aleatorio estático) en el chip, que es extremadamente rápida, pero cuya capacidad es extremadamente valiosa.
Si OpenAI usara en GPT-5.6 Sol la tradicional caché KV pesada como en el pasado, el ancho de banda de esta costosa SRAM se agotaría instantáneamente.
Esto lleva al giro estratégico más central de esta colaboración: la reestructuración del modelo en torno a un hardware específico.
Bleys Goodson señala que, dado que OpenAI participa profundamente en el diseño conjunto del hardware, es muy probable que hayan abandonado el esquema tradicional de caché del mecanismo de atención, adoptando en su lugar un diseño más ligero y vanguardista.
Los esquemas más probables incluyen:
Una arquitectura similar a DeepSeekV4: Optimización extrema del uso de la caché.
Diseño SSM híbrido: Combinar modelos con complejidad de tiempo lineal como Mamba con Transformer, deshaciéndose por completo de la carga histórica de la KV Cache.
Además, el conocido desarrollador John Lam planteó una conjetura impactante: la desacoplamiento de Atención y FFN.
Especula que OpenAI podría estar utilizando GPUs tradicionales para manejar los cálculos de atención, mientras que emplea una gran cantidad de obleas Cerebras para impulsar de manera masiva los cálculos de la red neuronal de avance (FFN).
Esto no es una suposición sin fundamento. Los usuarios pronto desenterraron detalles que Cerebras había compartido anteriormente en su blog sobre el despliegue de Kimi K2.6:
Cerebras almacenó los pesos originales de Kimi K2.6 en 4 bits en el sistema CS-3, mientras realizaba los cálculos en punto flotante de 16 bits para garantizar la precisión. Los pesos se distribuyeron en múltiples obleas, y los valores de activación se transmitieron en flujo entre las obleas. La comunicación totalmente interconectada entre capas dependía completamente de la estructura de red en la oblea, ¡cuyo ancho de banda era más de 200 veces superior al NVLink en Nvidia NVL72! Combinado con operadores personalizados y decodificación especulativa, podían ejecutar modelos MoE de billones de parámetros a velocidades cercanas a los 1000 tokens/s.
Las especificaciones oficiales muestran que el revolucionario sistema CS-3 no solo es imbatible en velocidad, sino que puede escalar fácilmente a modelos de 24 billones de parámetros en un solo dispositivo lógico.
Como alguien exclamó asombrado: "Si realmente es la versión completa de Sol ejecutándose en Cerebras, entonces el techo de tamaño de modelo que todos asumían, acaba de ser superado esta misma noche."
La verdadera carta bajo la manga: el primer chip de desarrollo propio de OpenAI, "Jalapeño"
Y justo antes de esto, OpenAI lanzó oficialmente su primer chip de desarrollo propio: el Jalapeño.
La aparición de este chip explica directamente la lógica profunda de la colaboración de OpenAI con Cerebras: al explorar hardware de inferencia de terceros de primera clase, OpenAI ha comprendido completamente las claves y el valor de la arquitectura de inferencia especializada, y lo ha transformado en una plataforma base controlable por ellos mismos.
Jalapeño es una de las variedades más suaves de chile mexicano. Que OpenAI lo use como nombre claramente indica: esto es solo un aperitivo.
Este chip es un ASIC personalizado diseñado específicamente para la inferencia de modelos grandes. Desde que se trazó la primera línea, cada uno de sus transistores ha sido optimizado para una sola cosa: ejecutar modelos grandes.
De manera sorprendente, Jalapeño no solo ejecuta los modelos propios de OpenAI, sino que su arquitectura también es compatible con los LLM de toda la industria, mostrando una gran ambición de plataforma.
Además, el diseño y fabricación de este chip tomó solo 9 meses.
Detrás de esto, hay una alianza industrial extremadamente poderosa:
Liderazgo de arquitectura: OpenAI se encarga personalmente del diseño de la arquitectura subyacente.
Implementación de chips e interconexión: El gigante de chips Broadcom proporciona una potente capacidad de implementación y tecnología de soporte para interconexión de red.
Integración de sistemas: Celestica se encarga de la fabricación final de las placas y la integración física a nivel de bastidor.
Devorando toda la cadena de la industria: la ambición de un imperio de pila completa de OpenAI
Entrenan sus propios modelos, diseñan sus propios chips, optimizan su propia inferencia, controlan su propio despliegue.
Evidentemente, el objetivo de OpenAI es un vasto imperio de IA de pila completa.
Pero la ambición de OpenAI es incluso más desmesurada que la de Apple y Google, poseen una super rueda de inercia sin precedentes: usar la IA para acelerar la construcción de la infraestructura de IA, y luego usar la infraestructura más fuerte construida para ejecutar una IA aún más poderosa.
De acuerdo con el ambicioso plan anunciado por OpenAI, los primeros centros de datos supergigantes a nivel de GW comenzarán a desplegarse a finales de 2026, en conjunto con socios clave como Microsoft.
El consumo eléctrico total de una ciudad mediana se utilizará para impulsar los bastidores de inferencia de Jalapeño y la próxima generación de chips "chile".
Prepárense, pronto estaremos listos para recibir a GPT-5.6 Sol acelerando a 750 Tokens/s en las obleas de Cerebras, rompiendo los encantos físicos de los parámetros y la velocidad de inferencia.
Referencias: https://x.com/bleysg/status/2073937651150029084
Este artículo proviene de la cuenta pública de WeChat "New Zhiyuan", autor: Revelación de ASI; editor: Aeneas
