AI2 Releases Fully Open-Source Web Agent MolmoWeb: Controlling Web Pages Using Only "Vision"

marsbitPublicado a 2026-03-26Actualizado a 2026-03-26

Resumen

AI2 has released MolmoWeb, a groundbreaking, fully open-source web agent that operates solely by analyzing screenshots, marking a significant leap in vision-driven web navigation. Unlike traditional agents that rely on DOM, MolmoWeb captures and interprets visual data to make decisions—such as clicking, scrolling, or typing—making its process transparent and robust. Despite its compact size (4B and 8B parameters), MolmoWeb performs impressively: it scores 78.2% on the WebVoyager benchmark, nearing OpenAI’s proprietary o3 model (79.3%), and achieves up to 94.7% success with multiple attempts. It even surpasses Anthropic’s Claude3.7 in UI element localization. AI2 also released MolmoWebMix, a massive open dataset with 36K human-browsing tasks, over 2.2M screenshot-QA pairs, and GPT-4o-verified synthetic data. The model and data are fully available on Hugging Face and GitHub under Apache 2.0, promoting transparency and collaboration in AI development. Challenges remain in complex instructions, logins, and legal compliance.

The Allen Institute for Artificial Intelligence (AI2) recently released the groundbreaking fully open-source web agent MolmoWeb . Unlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions solely by reading screenshots, marking a significant leap forward in "vision-driven" web navigation technology.

Core Technology: "Seeing" Web Pages Like a Human

MolmoWeb's operating logic is very intuitive: it captures a screenshot of the current browser window, decides the next action (such as clicking, scrolling, or paging) through visual analysis, then executes it and repeats. This "what you see is what you get" model makes it more robust than traditional agents because the visual layout of a webpage is generally more stable than its underlying code, and its decision-making process is completely transparent and explainable to human users.

Performance Leap: Small Model Outperforms Giants

Despite having parameter sizes of only 4B and 8B, MolmoWeb demonstrates a "small but mighty" performance:

  • Topping the Charts: In the WebVoyager test, the 8B version scored an impressive 78.2%, not only ranking among the top open-source models but also approaching the performance of OpenAI's proprietary model o3 (79.3%).

  • Huge Potential: Research found that by running tasks multiple times and selecting the optimal result, its success rate could further jump to 94.7%.

  • Precise Localization: In UI element localization benchmark tests, it even surpassed Anthropic's Claude3.7.

Data Support: The Largest Open Dataset to Date

AI2 has not only open-sourced the model weights but also contributed a massive dataset named MolmoWebMix. This dataset contains:

  • 36,000 real browsing tasks completed by human volunteers.

  • Over 2.2 million screenshot-question-answer pairs.

  • Automated synthetic data verified by GPT-4o. Experiments show that synthetic data is even better than human trajectories at guiding the agent to find the "optimal path".

Open-Source Spirit and Future Challenges

Currently, MolmoWeb is fully available under the Apache 2.0 license on Hugging Face and GitHub. Although it still faces challenges in handling complex instructions, login authentication, and legal compliance (such as terms of service), AI2 firmly believes that only through complete transparency and community collaboration can we truly counter the data monopoly of large tech companies.

Preguntas relacionadas

QWhat is the name of the fully open-source web agent released by the Allen Institute for AI (AI2) that navigates using only screenshots?

AThe web agent is called MolmoWeb.

QHow does MolmoWeb's approach to web navigation differ from traditional web agents?

AUnlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions by reading and analyzing screenshots, making it a 'vision-driven' technology.

QWhat was the performance score of the 8B parameter version of MolmoWeb on the WebVoyager test, and how does it compare to OpenAI's model?

AThe 8B version scored 78.2% on the WebVoyager test, which is very close to the performance of OpenAI's proprietary model o3, which scored 79.3%.

QWhat is the name of the large, open dataset released alongside MolmoWeb, and what does it contain?

AThe dataset is called MolmoWebMix. It contains 36,000 real browsing tasks completed by human volunteers, over 2.2 million screenshot-QA pairs, and automated synthetic data verified by GPT-4o.

QOn which platforms has MolmoWeb been made available, and under what license?

AMolmoWeb has been fully released on Hugging Face and GitHub under the Apache 2.0 license.

Lecturas Relacionadas

Predicción del precio de TON/GRAM – El lanzamiento de la billetera Gram de Telegram impulsa el token: ¿Puede continuar el repunte?

El fundador de Telegram, Pavel Durov, anunció el despliegue de una billetera nativa no custodial para Gram en todas las aplicaciones de Telegram, descrita como "el mayor lanzamiento de una billetera cripto no custodial en la historia". Esta cartera permitirá transacciones instantáneas y sin comisiones para los más de mil millones de usuarios de la plataforma. Tras el anuncio, el precio de TON/GRAM subió más de un 7%, cotizando alrededor de 1.53 dólares, aunque aún se mantiene muy por debajo de su máximo de mayo. El token se enfrenta a una resistencia inmediata en 1.60 dólares. El movimiento busca integrar pagos con criptomonedas directamente en la aplicación de mensajería, reduciendo la fricción para nuevos usuarios.

ambcryptoHace 15 min(s)

Predicción del precio de TON/GRAM – El lanzamiento de la billetera Gram de Telegram impulsa el token: ¿Puede continuar el repunte?

ambcryptoHace 15 min(s)

Cómo los 40.8 millones de ETH apostados podrían reforzar la ventaja de Ethereum sobre Bitcoin

Dos divergencias clave señalan que el rendimiento de Ethereum (ETH) frente a Bitcoin (BTC) podría estar comenzando a fortalecerse. Primero, se observa una acumulación significativa de ETH por parte de ballenas, quienes en lugar de mantener los fondos inactivos, los están apostando en su totalidad. Esto reduce la oferta líquida y refleja una convicción a largo plazo. Los datos de staking respaldan esta tendencia: la cola de entrada de validadores ha subido a 2.4 millones de ETH, mientras que el total apostado alcanza un récord de 40.8 millones, con un 33.5% del suministro total ahora bloqueado. En segundo lugar, el ecosistema DeFi de Ethereum añade otra capa de fortaleza. La actividad de ballenas en la red, medida a través de transacciones de WETH superiores a $100,000, ha alcanzado su nivel más alto desde mayo de 2021, y el TVL ha aumentado más de $5 mil millones en menos de diez días. Esto apunta a una mayor liquidez y actividad en la red. El impacto técnico ya es visible: el par ETH/BTC ha superado el nivel de resistencia de 0.025 y se acerca a la zona clave de 0.03, marcando su cierre semanal más fuerte en once semanas. La combinación de una oferta más ajustada por el staking y una creciente demanda en DeFi está creando las condiciones para una mayor outperformance de ETH frente a BTC.

ambcryptoHace 46 min(s)

Cómo los 40.8 millones de ETH apostados podrían reforzar la ventaja de Ethereum sobre Bitcoin

ambcryptoHace 46 min(s)

Punto de tormenta en los mercados globales: La desapalancamiento del mercado bursátil de Corea está prácticamente completado

Tras una fuerte caída del 32% desde junio, el mercado coreano ha sido el epicentro de la volatilidad global, amplificada por la estructura de apalancamiento concentrado. Sin embargo, el proceso de desapalancamiento forzoso está alcanzando su fase final. Las principales fuentes de inestabilidad, los ETF apalancados y los fondos de cobertura, han reducido significativamente su exposición. Se estima que los ETF apalancados han eliminado aproximadamente el 75% del exceso, pasando de 500 mil millones a 260 mil millones de USD, y su tamaño debería converger hacia niveles sostenibles, apoyado por nuevas regulaciones estrictas de las autoridades. Por su parte, los fondos de cobertura han reducido su apalancamiento en más del 50%. El riesgo sistémico de los préstamos al consumo para inversión es limitado, con un balance que representa solo el 0.5% de la capitalización bursátil, muy por debajo de los niveles de EE.UU. o China, y sin un mecanismo de reequilibrio diario que desencadene ventas en cascada. En resumen, las estructuras de alto apalancamiento que provocaron la espiral de ventas se han purgado en gran medida. El mercado está pasando de una caída impulsada por la liquidez a una valoración impulsada por los fundamentos. Si la tendencia subyacente de la IA permanece intacta, esta corrección representa más una limpieza de posiciones congestionadas que el fin del ciclo. La disrupción tecnológica sigue su curso, y la volatilidad actual puede ser el costo de participar en esta transición estructural, no un riesgo terminal para la tesis de inversión.

链捕手Hace 53 min(s)

Punto de tormenta en los mercados globales: La desapalancamiento del mercado bursátil de Corea está prácticamente completado

链捕手Hace 53 min(s)

El 92,9% de los tokens de criptomonedas lanzados desde 2024 cotizan por debajo del precio de su TGE: CryptoRank

Casi el 93 % de los tokens de criptomonedas lanzados desde 2024 se negocian por debajo del precio de su evento de generación de tokens (TGE), según datos de CryptoRank. El análisis de proyectos con capitalización de mercado superior a 100 millones de dólares revela que solo 8 de 113 (un 7,1 %) mantienen ganancias, mientras que 105 han caído, con una rentabilidad media del -95,7 %. Destacan casos excepcionales como Hyperliquid (HYPE), con una subida del 1.519 %, seguido de Ondo Finance (ONDO), EverValue Coin (EVA) y Midnight Network (NIGHT). Los datos reflejan un mercado más selectivo, donde los inversores priorizan adopción real, tokenomics sólidas y utilidad a largo plazo frente al impulso inicial. Esta tendencia podría influir en futuros lanzamientos, presionando a los proyectos para que eviten valoraciones diluidas altas, suministros circulantes limitados y desbloqueos masivos futuros, optando en cambio por modelos de distribución sostenibles y crecimiento del ecosistema.

ambcryptoHace 1 hora(s)

El 92,9% de los tokens de criptomonedas lanzados desde 2024 cotizan por debajo del precio de su TGE: CryptoRank

ambcryptoHace 1 hora(s)

Fragmentos Eternos del Dinero: Los Pagos de Terceros No Tienen una Primera Naturaleza

El artículo analiza la actual situación de la industria de pagos, centrándose en los retos de Stripe y PayPal. Stripe, tras perder su ventana de IPO durante la pandemia, ha visto caer su valoración y busca crecimiento mediante adquisiciones, como su posible compra de PayPal. La autora argumenta que la industria de pagos está altamente fragmentada y es inherentemente dependiente de la banca tradicional, lo que limita el crecimiento disruptivo. Stripe intentó innovar apostando por las stablecoins (como OUSD) y la economía de los agentes IA (Agentic Payment) para acceder al mercado minorista (C2C) y crear nuevos modelos, pero estos esfuerzos no han replicado su éxito inicial con desarrolladores. Las stablecoins, aunque prometedoras, aún no son mainstream y los agentes IA se usan principalmente para inflar volúmenes de transacciones. El futuro de empresas como Stripe y Circle podría estar en construir redes de liquidación (clearing) eficientes sobre sus blockchains (Tempo y Arc), aprovechando licencias bancarias para capturar valor más allá de las simples comisiones por transacción. Sin embargo, la autora concluye que la industria de pagos es un campo de batalla permanente, donde la escala no garantiza la victoria debido a las barreras locales y regulatorias. La pregunta final es si este nuevo enfoque en eficiencia y liquidación tendrá éxito donde otros han fracasado.

链捕手Hace 1 hora(s)

Fragmentos Eternos del Dinero: Los Pagos de Terceros No Tienen una Primera Naturaleza

链捕手Hace 1 hora(s)

Trading

Spot
活动图片

Categorías popularesright-arrow

Etiquetas Popularesright-arrow