AI2 Releases Fully Open-Source Web Agent MolmoWeb: Controlling Web Pages Using Only "Vision"

marsbitPublicado a 2026-03-26Actualizado a 2026-03-26

Resumen

AI2 has released MolmoWeb, a groundbreaking, fully open-source web agent that operates solely by analyzing screenshots, marking a significant leap in vision-driven web navigation. Unlike traditional agents that rely on DOM, MolmoWeb captures and interprets visual data to make decisions—such as clicking, scrolling, or typing—making its process transparent and robust. Despite its compact size (4B and 8B parameters), MolmoWeb performs impressively: it scores 78.2% on the WebVoyager benchmark, nearing OpenAI’s proprietary o3 model (79.3%), and achieves up to 94.7% success with multiple attempts. It even surpasses Anthropic’s Claude3.7 in UI element localization. AI2 also released MolmoWebMix, a massive open dataset with 36K human-browsing tasks, over 2.2M screenshot-QA pairs, and GPT-4o-verified synthetic data. The model and data are fully available on Hugging Face and GitHub under Apache 2.0, promoting transparency and collaboration in AI development. Challenges remain in complex instructions, logins, and legal compliance.

The Allen Institute for Artificial Intelligence (AI2) recently released the groundbreaking fully open-source web agent MolmoWeb . Unlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions solely by reading screenshots, marking a significant leap forward in "vision-driven" web navigation technology.

Core Technology: "Seeing" Web Pages Like a Human

MolmoWeb's operating logic is very intuitive: it captures a screenshot of the current browser window, decides the next action (such as clicking, scrolling, or paging) through visual analysis, then executes it and repeats. This "what you see is what you get" model makes it more robust than traditional agents because the visual layout of a webpage is generally more stable than its underlying code, and its decision-making process is completely transparent and explainable to human users.

Performance Leap: Small Model Outperforms Giants

Despite having parameter sizes of only 4B and 8B, MolmoWeb demonstrates a "small but mighty" performance:

  • Topping the Charts: In the WebVoyager test, the 8B version scored an impressive 78.2%, not only ranking among the top open-source models but also approaching the performance of OpenAI's proprietary model o3 (79.3%).

  • Huge Potential: Research found that by running tasks multiple times and selecting the optimal result, its success rate could further jump to 94.7%.

  • Precise Localization: In UI element localization benchmark tests, it even surpassed Anthropic's Claude3.7.

Data Support: The Largest Open Dataset to Date

AI2 has not only open-sourced the model weights but also contributed a massive dataset named MolmoWebMix. This dataset contains:

  • 36,000 real browsing tasks completed by human volunteers.

  • Over 2.2 million screenshot-question-answer pairs.

  • Automated synthetic data verified by GPT-4o. Experiments show that synthetic data is even better than human trajectories at guiding the agent to find the "optimal path".

Open-Source Spirit and Future Challenges

Currently, MolmoWeb is fully available under the Apache 2.0 license on Hugging Face and GitHub. Although it still faces challenges in handling complex instructions, login authentication, and legal compliance (such as terms of service), AI2 firmly believes that only through complete transparency and community collaboration can we truly counter the data monopoly of large tech companies.

Preguntas relacionadas

QWhat is the name of the fully open-source web agent released by the Allen Institute for AI (AI2) that navigates using only screenshots?

AThe web agent is called MolmoWeb.

QHow does MolmoWeb's approach to web navigation differ from traditional web agents?

AUnlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions by reading and analyzing screenshots, making it a 'vision-driven' technology.

QWhat was the performance score of the 8B parameter version of MolmoWeb on the WebVoyager test, and how does it compare to OpenAI's model?

AThe 8B version scored 78.2% on the WebVoyager test, which is very close to the performance of OpenAI's proprietary model o3, which scored 79.3%.

QWhat is the name of the large, open dataset released alongside MolmoWeb, and what does it contain?

AThe dataset is called MolmoWebMix. It contains 36,000 real browsing tasks completed by human volunteers, over 2.2 million screenshot-QA pairs, and automated synthetic data verified by GPT-4o.

QOn which platforms has MolmoWeb been made available, and under what license?

AMolmoWeb has been fully released on Hugging Face and GitHub under the Apache 2.0 license.

Lecturas Relacionadas

Wall Street comenta la decisión de la Fed: ¿Warsh celebra que el mercado sustituya la «subida de tipos»?

La Fed mantuvo las tasas sin cambios en su reunión de julio, destacándose la actitud permisiva del presidente Walsh ante el alza de los rendimientos a largo plazo. Instituciones como Goldman Sachs, Barclays y Nomura interpretan esto como una señal de que el endurecimiento espontáneo del mercado podría estar reemplazando alzas oficiales de tasas. Aunque la reunión careció de guía clara, Walsh envió señales consideradas moderadas, incluyendo su bienvenida al endurecimiento de las condiciones financieras por parte del mercado. Advirtió que, mientras los rendimientos a largo plazo se mantengan altos, la necesidad de que la Fed actúe directamente disminuye. Sin embargo, esta estrategia conlleva riesgos, como un posible desanclaje de las expectativas inflacionarias y una mayor volatilidad futura en la política monetaria, especialmente si se percibe una pérdida de credibilidad en el compromiso antiinflacionario de la Fed.

marsbitHace 3 min(s)

Wall Street comenta la decisión de la Fed: ¿Warsh celebra que el mercado sustituya la «subida de tipos»?

marsbitHace 3 min(s)

Antes de su segundo intento en la Bolsa de Hong Kong, Tuosda 'otorga' pedidos relacionados por 548 millones de yuanes

Luego de que su primera solicitud caducara hace apenas cuatro días, el fabricante líder de robots industriales Tuosda (300607.SZ) presentó recientemente una nueva solicitud para cotizar en la Junta Principal de la Bolsa de Hong Kong, con Huatai International como único patrocinador. Tras ocho años cotizando en el mercado doméstico, el desempeño de Tuosda ha tenido altibajos. La empresa ha pasado por una importante reestructuración estratégica, reduciendo drásticamente su negocio de sistemas de gestión de energía inteligente y medio ambiente, lo que ha llevado a una caída de casi el 50% en sus ingresos entre 2022 (4.984 millones de RMB) y 2025 (2.510 millones de RMB). Sin embargo, este recorte se tradujo en una mejora de la rentabilidad, logrando un beneficio neto de 73,87 millones de RMB en 2025 y un crecimiento interanual del 1147% en el primer trimestre de 2026. La empresa ahora se centra en sus tres negocios principales: robots, máquinas de moldeo por inyección y máquinas herramienta de control numérico. Un punto de atención destacado en el artículo es el fuerte aumento de las transacciones con partes vinculadas previstas para 2026, que alcanzan un total de 548 millones de RMB. Este aumento está relacionado con la salida del ex vicepresidente Huang Daibo, quien renunció en diciembre de 2025 y luego se unió a dos empresas (Suzhou Boyi y Dongguan Junye), ahora consideradas partes vinculadas. Tuosda planea externalizar los nuevos pedidos del negocio residual de gestión de energía a estas empresas, cobrando una tarifa de gestión del 3%. Los expertos señalan que la sostenibilidad y la equidad de este modelo necesitan seguimiento. La empresa también enfrenta desafíos en la eficiencia de la recuperación de cuentas por cobrar, con un ciclo de cobro promedio que se ha alargado. Además, los inventarios, particularmente de robots, aumentaron significativamente en 2025 (un 162,98% en volumen), lo que la empresa atribuye a pedidos de reserva para mercados en el extranjero, aunque esto conlleva riesgos de depreciación. En cuanto a la expansión internacional, considerada una segunda curva de crecimiento, los ingresos en el extranjero alcanzaron los 660 millones de RMB en 2025, representando el 26,29% de los ingresos totales. Sin embargo, la rentabilidad de los negocios en el extranjero es menor, con un margen bruto del 17,31% en 2025, en comparación con el 32,16% del mercado nacional. Un proyecto importante en América del Norte ha experimentado retrasos, afectando los activos contractuales de la empresa. Tuosda recibió una advertencia regulatoria de la oficina de la CSRC en Guangdong a fines de 2025 por irregularidades, incluido el reconocimiento inexacto de ingresos y el cálculo de provisiones para deudas incobrables, que la empresa afirma haber corregido. La nueva solicitud de cotización en Hong Kong actualiza estos y otros aspectos financieros.

marsbitHace 20 min(s)

Antes de su segundo intento en la Bolsa de Hong Kong, Tuosda 'otorga' pedidos relacionados por 548 millones de yuanes

marsbitHace 20 min(s)

¿Está en peligro el mercado alcista de la IA? El índice de semiconductores de Filadelfia rompe el soporte clave de 11,200 puntos

El índice de semiconductores SOX se encuentra en una encrucijada técnica y fundamental, habiendo perforado el soporte clave de 11,200 puntos. Factores como señales técnicos bajistas (cruce bajista de medias móviles), preocupaciones sobre la calidad cíclica del gasto en IA y fuertes ventas, especialmente en acciones de chips de memoria, presionan al sector. A pesar de esto, existen algunos soportes potenciales: las posiciones institucionales se han normalizado tras liquidarse las apuestas altamente concentradas, y los factores estacionales históricamente se vuelven favorables. La clave a corto plazo será si el SOX logra mantener el nivel de 11,200 puntos. Si no lo hace, podría buscar soporte en su media móvil de 200 días; si se sostiene, la estructura más ligera del mercado y posibles flujos estacionales podrían ofrecer una ventana de recuperación.

marsbitHace 22 min(s)

¿Está en peligro el mercado alcista de la IA? El índice de semiconductores de Filadelfia rompe el soporte clave de 11,200 puntos

marsbitHace 22 min(s)

Caídas de Qualcomm y Arm: la factura del aumento de precio de la memoria finalmente llega a las compañías de chips para móviles

El 29 de julio, tras el cierre del mercado estadounidense, Qualcomm y Arm publicaron sus resultados financieros. Qualcomm reportó ingresos superiores a las expectativas (99.470 millones de dólares), pero sus ganancias por acción y sus perspectivas para el próximo trimestre estuvieron por debajo de lo previsto. La compañía atribuyó una caída interanual del 20% en sus ingresos por móviles Android y una presión en los márgenes al aumento de los costos de la memoria. Su negocio automotriz, sin embargo, creció un 61%. Además, confirmó que su participación en los chips de radiofrecuencia para los próximos iPhone de Apple será "significativamente menor" del 20% estimado. Arm, por su parte, superó las expectativas tanto en ingresos (12.890 millones) como en beneficios. No obstante, sus acciones cayeron. La compañía redujo su previsión de crecimiento anual de regalías, citando la debilidad del mercado de smartphones y los altos precios de la memoria. A pesar del fuerte crecimiento en su segmento de centros de datos, el mercado reaccionó negativamente ante las señales de ralentización en móviles y su elevada valoración bursátil. Ambas empresas reflejan cómo los altos precios de los componentes de memoria, que han impulsado los beneficios de fabricantes como Samsung, ahora están afectando a las empresas de semiconductores para móviles. El contexto general del sector en julio fue negativo, con el índice de semiconductores de Filadelfia cayendo un 18,2% tras un fuerte repunte en el primer semestre.

marsbitHace 36 min(s)

Caídas de Qualcomm y Arm: la factura del aumento de precio de la memoria finalmente llega a las compañías de chips para móviles

marsbitHace 36 min(s)

Silicon Valley desata una ola de oposición contra Anthropic

San Francisco, 29 de julio (según The Wall Street Journal) - Se está gestando un sentimiento de rechazo hacia Anthropic en Silicon Valley. Las críticas se centran en que sus productos compiten directamente con socios existentes y en su defensa de ecosistemas de IA cerrados. Un punto de discordia clave fue el lanzamiento en abril de Claude Design, visto como un rival directo de Figma, socio de Anthropic. Esto generó desconfianza entre fundadores y ejecutivos, quienes empezaron a buscar modelos de IA alternativos de código más abierto y menor costo. Anthropic también es criticada por sus advertencias sobre los riesgos de los modelos de "pesos abiertos" (open-weight). Críticos, incluyendo investigadores y funcionarios, argumentan que estas alertas sobre seguridad buscan frenar a competidores que podrían amenazar su modelo de negocio, especialmente de cara a una posible oferta pública este otoño. La compañía defiende que sus medidas son necesarias para garantizar la seguridad. La firma enfrenta más polémicas por cambios en sus políticas de retención de datos y por el lanzamiento de Fable 5, una versión restringida de su modelo más potente que inicialmente limitaba respuestas sobre desarrollo de IA de forma no transparente. Aunque luego se disculpó y aclaró las restricciones, esto aumentó la desconfianza. Mientras más de 70 empresas, incluidas OpenAI y Google, firmaron una carta apoyando los modelos abiertos, Anthropic se mantuvo al margen. Esto alimenta la preocupación de que la industria avance hacia un duopolio dominado por Anthropic y OpenAI, un tema central en recientes protestas en San Francisco a favor de democratizar la IA.

marsbitHace 37 min(s)

Silicon Valley desata una ola de oposición contra Anthropic

marsbitHace 37 min(s)

Trading

Spot
活动图片

Categorías popularesright-arrow

Etiquetas Popularesright-arrow