Por | Alpha Comunidad
La capacidad de los grandes modelos de IA ya supera a la de los humanos promedio en ciertos aspectos, como la programación y las matemáticas. Según informes, Anthropic ha logrado casi un 100% de programación con IA internamente, y Gemini Deep Think de Google resolvió 5 de los 6 problemas de la IMO 2025, alcanzando un nivel de medalla de oro.
Sin embargo, en cuanto al razonamiento visual, incluso el avanzado Gemini 3 Pro solo alcanzó el nivel de un niño de 3 años en BabyVision, un benchmark que evalúa capacidades básicas de razonamiento visual.
¿Por qué los grandes modelos son fuertes en programación y matemáticas, pero débiles en razonamiento visual? Esto se debe a las limitaciones en su "forma de pensar". Los modelos de lenguaje visual (VLM) necesitan convertir primero la entrada visual en lenguaje y luego realizar un razonamiento basado en texto. Pero muchas tareas visuales simplemente no pueden describirse con precisión mediante palabras, lo que resulta en una pobre capacidad de razonamiento visual del modelo.
Andrew Dai, quien trabajó 14 años en Google DeepMind, se unió al experto en IA de Apple, Yinfei Yang, para fundar una empresa llamada Elorian AI. Su objetivo es elevar la capacidad de razonamiento visual del modelo de "nivel infantil" a "nivel adulto", dotándolo de la capacidad de pensar de forma nativa en el "espacio visual" y así impulsar hacia la AGI del mundo físico.
Elorian AI ha recaudado 55 millones de dólares en una ronda inicial de financiación copilotada por Striker Venture Partners, Menlo Ventures y Altimeter, con la participación de 49 Palms y destacados científicos de IA, incluido Jeff Dean.
Pioneros en modelos multimodales buscan dotar de capacidad de razonamiento a los modelos visuales
Andrew Dai, de origen chino, es licenciado en Informática por Cambridge y doctor en Aprendizaje Automático por Edimburgo. Realizó prácticas en Google durante su doctorado y se unió a la empresa en 2012, permaneciendo allí durante 14 años hasta emprender.
Fuente de la imagen:Linkedin de Andrew Dai
Poco después de unirse a Google, coescribió con Quoc V. Le el primer artículo sobre el preentrenamiento de modelos de lenguaje y el ajuste fino supervisado, "Semi-supervised Sequence Learning". Este artículo sentó las bases para el nacimiento de GPT. Otro artículo fundamental suyo es "Glam: Efficient scaling of language models with mixture-of-experts", que abrió el camino a la arquitectura MoE, ahora predominante.
Durante su tiempo en Google, participó profundamente en casi todos los entrenamientos de grandes modelos, desde Palm hasta Gemini 1.5 y Gemini 2.5. Bajo la dirección de Jeff Dean, en 2023 comenzó a liderar el área de datos de Gemini (incluidos los datos sintéticos), equipo que luego creció hasta contar con cientos de personas.
El cofundador de Elorian AI es Yinfei Yang, quien trabajó durante cuatro años en Google Research, centrándose en el aprendizaje de representaciones multimodales, y luego se unió a Apple, donde dirigió la investigación y desarrollo de modelos multimodales.
Su investigación representativa, "Scaling up visual and vision-language representation learning with noisy text supervision", impulsó el desarrollo del aprendizaje de representaciones multimodales.
El otro cofundador de Elorian AI es Seth Neel, ex profesor asistente (AP) en la Universidad de Harvard y también experto en datos e IA.
¿Por qué es relevante mencionar qué artículos pioneros escribieron los cofundadores de Elorian AI? Porque lo que pretenden hacer no es una optimización a nivel de ingeniería, sino una actualización de paradigma desde la arquitectura subyacente: hacer que la IA evolucione de una comprensión inteligente basada en texto a una basada en lo visual.
La situación actual de los modelos de IA es que, aunque son excelentes en tareas basadas en texto, incluso los modelos multimodales más avanzados tropiezan en las tareas más básicas de grounding visual.
Por ejemplo, ¿cómo encajar una pieza perfectamente en un dispositivo mecánico para que funcione con mayor precisión y eficiencia? Este tipo de tareas espaciales y físicas son simples para un niño de primaria, pero muy difíciles para los modelos multimodales actuales.
La clave sigue estando en la biología. En el cerebro humano, la visión es el sustrato subyacente que sustenta muchos procesos de pensamiento. La capacidad humana para utilizar la visión y el razonamiento espacial es mucho más antigua que el razonamiento lógico-lingüístico.
Por ejemplo, enseñar a alguien a recorrer un laberinto con descripciones verbales puede resultar confuso, pero con un simple dibujo se entiende al instante.
Incluso un pájaro, aunque carece de lenguaje, puede reconocer y razonar sobre características geográficas through la visión para realizar migraciones globales de larga distancia. Esta es una señal poderosa de que la visión es probablemente la dirección correcta para avanzar verdaderamente en la capacidad de razonamiento de las máquinas.
Imaginemos entonces que, si desde el inicio de la construcción del modelo se intenta incorporar este instinto visual biológico en el ADN de la IA, construyendo un modelo multimodal nativo capaz de "comprender y procesar simultáneamente texto, imágenes, video y audio", se podrá dotar al modelo de capacidad de comprensión visual. Andrew Dai y su equipo quieren construir un "sinestésico" innato, enseñando a la máquina no solo a "ver" el mundo, sino a "entenderlo".
Para Andrew Dai y su equipo, la comprensión profunda del "mundo físico" real es la clave para lograr el próximo salto en la inteligencia de las máquinas y alcanzar finalmente la "IA General Visual (Visual AGI)".
Los VLM con razonamiento posterior no son el camino correcto hacia el razonamiento visual
No es que no haya habido equipos que quisieran hacer esto antes. De hecho, el equipo de Gemini en el que estaba Andrew Dai ya era uno de los más avanzados del mundo en multimodalidad. Pero los modelos multimodales tradicionales siguen siendo principalmente VLM (Modelos de Lenguaje Visual), cuya lógica se basa en un enfoque de "dos pasos": primero convertir la entrada visual en lenguaje y luego realizar un razonamiento basado en texto (a veces auxiliándose de herramientas externas).
Sin embargo, el razonamiento posterior tiene limitaciones inherentes: por un lado, es propenso a generar alucinaciones en el modelo, y por otro, muchas tareas visuales simplemente no se pueden describir con precisión mediante texto.
Además, los modelos de generación visual como NanoBanana son excelentes en generación multimodal, pero la capacidad de generación no equivale a la capacidad de razonamiento. Su "pensamiento" previo a la generación depende esencialmente de modelos de lenguaje, no de una capacidad de razonamiento nativa.
Para desarrollar modelos que realmente puedan discernir las complejidades espaciales, estructurales y relacionales del mundo visual, es imperativo realizar innovaciones disruptivas en la tecnología subyacente.
Entonces, ¿cómo innovar? Los fundadores de Elorian AI, con años de experiencia en el campo multimodal, proponen: fusionar profundamente el entrenamiento multimodal con una nueva arquitectura diseñada específicamente para el razonamiento multimodal. Abandonan el enfoque tradicional de tratar las imágenes como entradas estáticas y en su lugar entrenan al modelo para que interactúe y opere directamente con las representaciones visuales, analizando de forma autónoma su estructura, relaciones y restricciones físicas.
Por supuesto, otro elemento central son los datos, cruciales para el rendimiento y el éxito de estos modelos.
Andrew Dai señaló que dan mucha importancia a la calidad de los datos, la proporción de la mezcla de datos, la fuente de los datos y su diversidad, y que han innovado a nivel de la capa de datos, reconstruyendo la cadena de razonamiento en el espacio visual y utilizando datos sintéticos de forma masiva y profunda.
Estos esfuerzos combinados darán lugar a nuevos sistemas de IA que transiten de la simple "percepción" visual a un "razonamiento" visual de alto nivel.
Este sistema de IA podría ser un modelo base de razonamiento visual: es decir, construir un modelo altamente general pero extremadamente competente en un conjunto específico de capacidades, que es el razonamiento visual.
Al ser un modelo base general, su campo de aplicación debería ser amplio.
En primer lugar, en el campo de la robótica, podría convertirse en el sistema nervioso central subyacente de potentes sistemas, dotándolos de capacidad para operar autónomamente en diversos entornos desconocidos.
Por ejemplo, enviar un robot a manejar una falla de seguridad repentina en un entorno peligroso. Esto requiere que el robot tome decisiones instantáneas rápidas y precisas. Si el robot carece de un modelo base con capacidad de razonamiento profundo, no nos atreveríamos a dejar que presione botones o opere palancas a ciegas. Pero si tuviera una capacidad de razonamiento extremadamente fuerte, podría pensar: "Antes de operar este panel, quizás debería jalar primero esta palanca para activar el mecanismo de seguridad".
Además, en la gestión de desastres, un modelo con razonamiento visual podría analizar imágenes satelitales para monitorear y prevenir incendios forestales; en ingeniería, podría comprender con precisión planos visuales complejos y diagramas de sistemas. La importancia de esta capacidad radica en que las reglas de funcionamiento del mundo físico son fundamentalmente diferentes a las del mundo del código puro; no se puede diseñar el ala de un avión simplemente escribiendo unas líneas de código.
Sin embargo, por ahora, el modelo y las capacidades de Elorian AI permanecen solo sobre el papel. Planean lanzar en 2026 un modelo que alcance un nivel SOTA (state-of-the-art) en el campo del razonamiento visual. Entonces podremos comprobar si sus resultados se ajustan a lo anunciado.
Cuando la IA tenga realmente capacidad de "razonamiento visual", ¿cómo cambiará el mundo físico?
Para que la IA comprenda e influya en el mundo físico real, la tecnología ha iterado varias veces.
Desde el reconocimiento de imágenes en la era de la CV tradicional, pasando por los modelos de generación de imágenes/modelos multimodales de la IA generativa, hasta los modelos mundiales (world models), la comprensión del mundo físico no ha dejado de mejorar.
Y es muy probable que los modelos base de razonamiento visual vayan un paso más allá, porque al poder realizar un razonamiento visual, la IA podrá comprender el mundo físico más profundamente, logrando así un nivel superior de inteligencia artificial.
Imaginen que, cuando modelos con una comprensión profunda y una operación precisa alimenten la industria de la inteligencia embodada (embodied AI) y la de hardware de IA, se expandirá enormemente su rango de aplicaciones. Por ejemplo, los robots podrán realizar tareas de producción industrial o de cuidado médico más confiables; el hardware de IA, especialmente los dispositivos wearables, se convertirán en asistentes personales más inteligentes.
No obstante, en la base de estas tecnologías siguen estando los datos. Como mencionó anteriormente Andrew Dai, la calidad de los datos, la proporción de la mezcla, la fuente y la diversidad determinan el rendimiento del modelo.
En el campo de la IA física, las empresas chinas, tanto a nivel de modelos como de datos, están más cerca del liderazgo mundial en comparación con los grandes modelos de texto. Si pueden aprovechar la ventaja de contar con datos y escenarios de aplicación más abundantes para acelerar la velocidad de iteración, entonces, ya sea en inteligencia embodada o hardware de IA, ya sea aplicada en industria, medicina o hogares, tendrán una mayor oportunidad de alcanzar un nivel líder y, por supuesto, de dar lugar a empresas de clase mundial.
