AI2 publie l'agent web entièrement open source MolmoWeb : Contrôle des pages web par la "vision" uniquement

marsbitPublié le 2026-03-26Dernière mise à jour le 2026-03-26

Résumé

L'Institut Allen pour l'Intelligence Artificielle (AI2) a présenté MolmoWeb, un agent web open source révolutionnaire qui navigue sur internet uniquement en analysant des captures d'écran, sans recourir au code sous-jacent des pages (DOM). Cette approche "pilotée par la vision" reproduit le comportement humain, offrant une plus grande robustesse et transparence. Malgré sa taille modeste (4B et 8B de paramètres), MolmoWeb surpasse de nombreux concurrents. Sa version 8B a obtenu un score de 78,2% sur le benchmark WebVoyager, rivalisant avec des modèles propriétaires comme OpenAI o3, et peut atteindre 94,7% de réussite en sélectionnant les meilleurs résultats. AI2 a également ouvert le jeu de données MolmoWebMix, comprenant 36 000 tâches de navigation humaine et plus de 2,2 millions de paires capture d'écran-question. Le modèle et les données sont librement accessibles sur Hugging Face et GitHub. Bien que des défis persistent pour les instructions complexes et la conformité légale, AI2 mise sur la transparence et la collaboration communautaire pour contrer la monopolisation des données.

L'Allen Institute for Artificial Intelligence (AI2) a récemment publié l'agent web révolutionnaire et entièrement open source MolmoWeb. Contrairement aux agents traditionnels qui dépendent du code sous-jacent des pages web (DOM), MolmoWeb prend des décisions uniquement en lisant des captures d'écran, marquant ainsi une avancée majeure dans la technologie de navigation web "pilotée par la vision".

Technologie clé : "Voir" les pages web comme un humain

La logique de fonctionnement de MolmoWeb est très intuitive : il capture une capture d'écran de la fenêtre actuelle du navigateur, décide de l'action suivante (comme cliquer, faire défiler, tourner la page) par analyse visuelle, puis l'exécute et répète. Ce mode "ce que vous voyez est ce que vous obtenez" le rend plus robuste que les agents traditionnels, car la mise en page visuelle d'une page web est généralement plus stable que son code sous-jacent, et son processus de décision est complètement transparent et explicable pour l'utilisateur humain.

Saut de performance : Les petits modèles surpassent les géants

Bien que MolmoWeb ait une taille de paramètres de seulement 4B et 8B, il montre une force "petite mais puissante" en termes de performance :

  • Leader du classement : Dans le test WebVoyager, la version 8B a obtenu un score élevé de 78.2%, se classant non seulement parmi les meilleurs modèles open source, mais se rapprochant également du modèle propriétaire o3 d'OpenAI (79.3%).

  • Potentiel énorme : L'étude a montré qu'en exécutant la tâche plusieurs fois et en sélectionnant le résultat optimal, son taux de réussite pouvait encore monter à 94.7%.

  • Positionnement précis : Dans les tests de référence de localisation des éléments UI, il a même surpassé Claude3.7 d'Anthropic.

Soutien des données : Le plus grand ensemble de données ouvert de l'histoire

AI2 a non seulement ouvert les poids du modèle, mais a également contribué à un vaste ensemble de données nommé MolmoWebMix. Cet ensemble de données contient :

  • 36 000 tâches de navigation réelles accomplies par des volontaires humains.

  • Plus de 2.2 millions de paires capture d'écran-question/réponse.

  • Des données synthétiques automatisées vérifiées par GPT-4o. L'expérience a prouvé que les données synthétiques sont même supérieures aux trajectoires humaines pour guider l'agent à trouver le "chemin optimal".

Esprit open source et défis futurs

Actuellement, MolmoWeb est entièrement ouvert sur Hugging Face et GitHub sous licence Apache2.0. Bien qu'il reste confronté à des défis dans le traitement d'instructions complexes, la vérification de connexion et la conformité légale (comme les conditions de service), AI2 est convaincu que seule une transparence totale et une collaboration communautaire peuvent véritablement contrer la monopolisation des données par les grandes entreprises technologiques.

Questions liées

QQu'est-ce que MolmoWeb et en quoi est-il révolutionnaire ?

AMolmoWeb est un agent web open-source développé par l'Allen Institute for AI (AI2) qui se distingue par son approche purement visuelle. Contrairement aux agents traditionnels qui s'appuient sur le code sous-jacent (DOM) des pages web, MolmoWeb ne prend ses décisions qu'en analysant des captures d'écran, ce qui représente une avancée majeure dans la navigation web pilotée par la vision.

QComment fonctionne techniquement MolmoWeb ?

AMolmoWeb fonctionne selon une logique intuitive : il capture une capture d'écran de la fenêtre du navigateur, analyse visuellement cette image pour décider de la prochaine action à entreprendre (comme un clic, un défilement, un changement de page), puis exécute cette action. Ce cycle se répète. Ce mode opératoire 'ce que vous voyez est ce que vous obtenez' le rend plus robuste, car la mise en page visuelle d'une page web est généralement plus stable que son code sous-jacent.

QQuelles sont les performances de MolmoWeb par rapport aux modèles propriétaires ?

AMalgré sa taille modeste (4B et 8B de paramètres), MolmoWeb affiche des performances compétitives. Sa version 8B a obtenu un score de 78,2% sur le benchmark WebVoyager, se classant parmi les meilleurs modèles open source et se rapprochant du modèle propriétaire o3 d'OpenAI (79,3%). De plus, dans des tests de localisation d'éléments d'interface utilisateur, il a surpassé le Claude3.7 d'Anthropic.

QQu'est-ce que le jeu de données MolmoWebMix et pourquoi est-il important ?

AMolmoWebMix est un vaste jeu de données open-source publié parallèlement au modèle. Il contient 36 000 tâches de navigation réelles effectuées par des volontaires humains, plus de 2,2 millions de paires capture d'écran-question/réponse, ainsi que des données synthétiques vérifiées par GPT-4o. Il est crucial car il sert de base d'entraînement et d'évaluation pour les agents web visuels, et les données synthétiques se sont avérées particulièrement efficaces pour apprendre les chemins optimaux.

QOù MolmoWeb est-il disponible et quels défis reste-t-il à relever ?

AMolmoWeb est entièrement open-source et disponible sur les plateformes Hugging Face et GitHub sous licence Apache 2.0. Les défis restants incluent la gestion d'instructions complexes, la navigation des processus de connexion et d'authentification, ainsi que le respect des conditions d'utilisation et autres aspects de conformité légale des sites web.

Lectures associées

Qui stocke le bitcoin ? Un aperçu du portefeuille des 10 principales entreprises cotées en bourse détenant du bitcoin

En 2026, MicroStrategy, dirigée par Michael Saylor, reste le principal détenteur institutionnel de Bitcoin avec 843 775 BTC, malgré une baisse de 40% de son action cette année. La société a récemment vendu quelques milliers de BTC pour des besoins de trésorerie, une première après des années d'accumulation. Le classement des dix plus grandes entreprises détentrices de BTC révèle une divergence notable : les sociétés minières comme Riot Platforms (+73%) et Cleanspark (+39%) performent bien en bourse, tandis que les « entreprises de trésorerie » comme Metaplanet (-49%) ou Twenty One Capital (-48%), qui achètent simplement l'actif, voient leurs actions chuter. Les mineurs bénéficient de la production à faible coût et de la diversification vers l'infrastructure IA, contrairement aux détenteurs purs dépendants des marchés financiers pour financer leurs achats. SpaceX, après son introduction en bourse record, apparaît dans le classement avec 18 712 BTC, mais son action a également reculé depuis son IPO. Metaplanet, ancien promoteur hôtelier japonais, illustre cette tendance des entreprises à transformer leur bilan en détenant massivement du Bitcoin. En résumé, le marché récompense en 2026 les producteurs de Bitcoin (les mineurs) bien plus que les simples acheteurs et détenteurs, créant une ligne de partage claire parmi les principaux acteurs institutionnels de la cryptomonnaie.

marsbitIl y a 22 mins

Qui stocke le bitcoin ? Un aperçu du portefeuille des 10 principales entreprises cotées en bourse détenant du bitcoin

marsbitIl y a 22 mins

Les actions d'Apple chutent suite aux avertissements sur les problèmes d'approvisionnement qui assombrissent un trimestre record

Les actions Apple ont chuté de plus de 6% en après-séance malgré un troisième trimestre record avec un bénéfice de 109,42 milliards de dollars, dépassant les attentes. Les investisseurs ont réagi à un assouplissement des prévisions pour le trimestre en cours, anticipant une croissance des ventes de seulement 9 à 11%, que la société a attribué à des contraintes d'approvisionnement. Les ventes d'iPhone (54,25 milliards de dollars) et de Mac (10,35 milliards) ont fortement dépassé les estimations, progressant respectivement de près de 22% et 29%. Les ventes d'iPad ont en revanche diminué. Le segment des services a généré 30,74 milliards de dollars, en hausse de 12%, bien qu'inférieur aux prévisions. La marge brute a atteint un niveau record de 50,1%, dopée par des remboursements de droits de douane. La direction a souligné la croissance dans toutes les régions géographiques et la hausse du nombre d'appareils actifs. Les remarques ont également porté sur les défis de la chaîne d'approvisionnement, les progrès en intelligence artificielle avec Siri et la transition à venir à la tête de la direction générale.

cryptonews.ruIl y a 1 h

Les actions d'Apple chutent suite aux avertissements sur les problèmes d'approvisionnement qui assombrissent un trimestre record

cryptonews.ruIl y a 1 h

Les achats d'or des banques centrales ont augmenté de 62 % au deuxième trimestre pour atteindre 288,9 tonnes

Après des résultats faibles au premier trimestre, les investisseurs institutionnels ont considérablement augmenté leurs achats d'or au deuxième trimestre, atteignant un niveau record pour la période. Selon le Conseil Mondial de l'Or (WGC), la demande des banques centrales a rebondi de manière spectaculaire au T2 2026, avec des achats nets atteignant 288,9 tonnes, soit une hausse de 62% par rapport à la même période de 2025 (177,9 t). Cette reprise, par rapport aux 57 tonnes du T1, est principalement due aux achats accrus de la Banque centrale de Pologne et de la Banque populaire de Chine, ainsi qu'à la réduction des ventes de la Turquie et de la Russie. Cependant, la demande globale des banques centrales a chuté à son plus bas niveau depuis 2022 (345 t), en raison de ventes importantes de la Turquie, de la Russie et de l'Azerbaïdjan. Les principaux acheteurs du trimestre ont été la Pologne (51 t, poursuivant un objectif de 700 t de réserves) et la Chine, réalisant ses plus gros achats depuis fin 2023, portant ses réserves officielles à 2 346 t. Le WGC note également des achats non déclarés importants de la Chine via Londres. L'Ouzbékistan, le Kazakhstan, la Jordanie et la République tchèque ont également contribué à cette demande record. À l'inverse, la Russie a été le plus grand vendeur (22 t) pour couvrir son déficit budgétaire, tandis que la Turquie a ralenti ses ventes (4 t). Un sondage du WGC indique que 89% des banques centrales prévoient d'augmenter leurs réserves d'or dans les 12 prochains mois.

cryptonews.ruIl y a 1 h

Les achats d'or des banques centrales ont augmenté de 62 % au deuxième trimestre pour atteindre 288,9 tonnes

cryptonews.ruIl y a 1 h

Quantum Solutions investit 1000 ETH pour financer le développement de processeurs graphiques Nvidia

La société Quantum Solutions a vendu 1 000 ETH pour environ 1,9 million de dollars, perdant ainsi son statut de plus grand détenteur institutionnel d'Ether au Japon, désormais détenu par Def Consulting. Les fonds serviront à financer le développement d'une infrastructure de centre de données pour l'IA, incluant l'acquisition de puces NVIDIA B300 et GB300. Après cette vente, Quantum détient environ 4 764,8 ETH, contre 4 976 ETH pour Def Consulting. Le conseil d'administration a augmenté le plafond autorisé pour les ventes futures d'ETH à 4 375 unités, mais une partie des actifs restants est gagée comme garantie de prêt, limitant la capacité de vente immédiate. La société anticipe une perte d'environ 100 000 dollars sur cette dernière transaction. Ces ventes s'inscrivent dans une stratégie de financement de ses investissements en IA, malgré un contexte de marché où d'autres grands détenteurs continuent d'accumuler des ETH.

cryptonews.ruIl y a 1 h

Quantum Solutions investit 1000 ETH pour financer le développement de processeurs graphiques Nvidia

cryptonews.ruIl y a 1 h

Les actions d'Amazon ont fortement augmenté grâce à la croissance d'AWS et aux bénéfices accrus d'Anthropic

**Amazon affiche des résultats exceptionnels au Q2 2026, dopés par la valorisation d'Anthropic et une croissance rapide d'AWS.** Le bénéfice net atteint 62,6 milliards de dollars, largement porté par une plus-value de 53,4 milliards de dollars sur l'investissement dans Anthropic. Le chiffre d'affaires du trimestre s'élève à 200,61 milliards de dollars (+20% en glissement annuel). Le segment AWS connaît une forte accélération avec un chiffre d'affaires en hausse de 37% à 42,2 milliards de dollars, son rythme de croissance le plus rapide depuis 18 trimestres. L'activité publicitaire progresse également de 26% à 19,81 milliards de dollars. La rentabilité opérationnelle globale augmente significativement pour atteindre 27,5 milliards de dollars. Amazon investit massivement pour répondre à la demande en IA, portant ses prévisions de dépenses en capital pour 2026 à 220 milliards de dollars. La demande dépasse encore l'offre disponible. La plateforme Bedrock et les puces Trainium/Inferentia attirent un nombre croissant de clients, dont Anthropic et OpenAI. Les autres activités, comme le commerce en ligne (notamment Amazon Business à 60 milliards de dollars de ventes annuelles), la logistique, la pharmacie et la publicité, affichent également une croissance robuste.

cryptonews.ruIl y a 1 h

Les actions d'Amazon ont fortement augmenté grâce à la croissance d'AWS et aux bénéfices accrus d'Anthropic

cryptonews.ruIl y a 1 h

Trading

Spot
活动图片

Catégories populairesright-arrow

Tags tendancesright-arrow