AI2 publie l'agent web entièrement open source MolmoWeb : Contrôle des pages web par la "vision" uniquement

marsbitPublié le 2026-03-26Dernière mise à jour le 2026-03-26

Résumé

L'Institut Allen pour l'Intelligence Artificielle (AI2) a présenté MolmoWeb, un agent web open source révolutionnaire qui navigue sur internet uniquement en analysant des captures d'écran, sans recourir au code sous-jacent des pages (DOM). Cette approche "pilotée par la vision" reproduit le comportement humain, offrant une plus grande robustesse et transparence. Malgré sa taille modeste (4B et 8B de paramètres), MolmoWeb surpasse de nombreux concurrents. Sa version 8B a obtenu un score de 78,2% sur le benchmark WebVoyager, rivalisant avec des modèles propriétaires comme OpenAI o3, et peut atteindre 94,7% de réussite en sélectionnant les meilleurs résultats. AI2 a également ouvert le jeu de données MolmoWebMix, comprenant 36 000 tâches de navigation humaine et plus de 2,2 millions de paires capture d'écran-question. Le modèle et les données sont librement accessibles sur Hugging Face et GitHub. Bien que des défis persistent pour les instructions complexes et la conformité légale, AI2 mise sur la transparence et la collaboration communautaire pour contrer la monopolisation des données.

L'Allen Institute for Artificial Intelligence (AI2) a récemment publié l'agent web révolutionnaire et entièrement open source MolmoWeb. Contrairement aux agents traditionnels qui dépendent du code sous-jacent des pages web (DOM), MolmoWeb prend des décisions uniquement en lisant des captures d'écran, marquant ainsi une avancée majeure dans la technologie de navigation web "pilotée par la vision".

Technologie clé : "Voir" les pages web comme un humain

La logique de fonctionnement de MolmoWeb est très intuitive : il capture une capture d'écran de la fenêtre actuelle du navigateur, décide de l'action suivante (comme cliquer, faire défiler, tourner la page) par analyse visuelle, puis l'exécute et répète. Ce mode "ce que vous voyez est ce que vous obtenez" le rend plus robuste que les agents traditionnels, car la mise en page visuelle d'une page web est généralement plus stable que son code sous-jacent, et son processus de décision est complètement transparent et explicable pour l'utilisateur humain.

Saut de performance : Les petits modèles surpassent les géants

Bien que MolmoWeb ait une taille de paramètres de seulement 4B et 8B, il montre une force "petite mais puissante" en termes de performance :

  • Leader du classement : Dans le test WebVoyager, la version 8B a obtenu un score élevé de 78.2%, se classant non seulement parmi les meilleurs modèles open source, mais se rapprochant également du modèle propriétaire o3 d'OpenAI (79.3%).

  • Potentiel énorme : L'étude a montré qu'en exécutant la tâche plusieurs fois et en sélectionnant le résultat optimal, son taux de réussite pouvait encore monter à 94.7%.

  • Positionnement précis : Dans les tests de référence de localisation des éléments UI, il a même surpassé Claude3.7 d'Anthropic.

Soutien des données : Le plus grand ensemble de données ouvert de l'histoire

AI2 a non seulement ouvert les poids du modèle, mais a également contribué à un vaste ensemble de données nommé MolmoWebMix. Cet ensemble de données contient :

  • 36 000 tâches de navigation réelles accomplies par des volontaires humains.

  • Plus de 2.2 millions de paires capture d'écran-question/réponse.

  • Des données synthétiques automatisées vérifiées par GPT-4o. L'expérience a prouvé que les données synthétiques sont même supérieures aux trajectoires humaines pour guider l'agent à trouver le "chemin optimal".

Esprit open source et défis futurs

Actuellement, MolmoWeb est entièrement ouvert sur Hugging Face et GitHub sous licence Apache2.0. Bien qu'il reste confronté à des défis dans le traitement d'instructions complexes, la vérification de connexion et la conformité légale (comme les conditions de service), AI2 est convaincu que seule une transparence totale et une collaboration communautaire peuvent véritablement contrer la monopolisation des données par les grandes entreprises technologiques.

Questions liées

QQu'est-ce que MolmoWeb et en quoi est-il révolutionnaire ?

AMolmoWeb est un agent web open-source développé par l'Allen Institute for AI (AI2) qui se distingue par son approche purement visuelle. Contrairement aux agents traditionnels qui s'appuient sur le code sous-jacent (DOM) des pages web, MolmoWeb ne prend ses décisions qu'en analysant des captures d'écran, ce qui représente une avancée majeure dans la navigation web pilotée par la vision.

QComment fonctionne techniquement MolmoWeb ?

AMolmoWeb fonctionne selon une logique intuitive : il capture une capture d'écran de la fenêtre du navigateur, analyse visuellement cette image pour décider de la prochaine action à entreprendre (comme un clic, un défilement, un changement de page), puis exécute cette action. Ce cycle se répète. Ce mode opératoire 'ce que vous voyez est ce que vous obtenez' le rend plus robuste, car la mise en page visuelle d'une page web est généralement plus stable que son code sous-jacent.

QQuelles sont les performances de MolmoWeb par rapport aux modèles propriétaires ?

AMalgré sa taille modeste (4B et 8B de paramètres), MolmoWeb affiche des performances compétitives. Sa version 8B a obtenu un score de 78,2% sur le benchmark WebVoyager, se classant parmi les meilleurs modèles open source et se rapprochant du modèle propriétaire o3 d'OpenAI (79,3%). De plus, dans des tests de localisation d'éléments d'interface utilisateur, il a surpassé le Claude3.7 d'Anthropic.

QQu'est-ce que le jeu de données MolmoWebMix et pourquoi est-il important ?

AMolmoWebMix est un vaste jeu de données open-source publié parallèlement au modèle. Il contient 36 000 tâches de navigation réelles effectuées par des volontaires humains, plus de 2,2 millions de paires capture d'écran-question/réponse, ainsi que des données synthétiques vérifiées par GPT-4o. Il est crucial car il sert de base d'entraînement et d'évaluation pour les agents web visuels, et les données synthétiques se sont avérées particulièrement efficaces pour apprendre les chemins optimaux.

QOù MolmoWeb est-il disponible et quels défis reste-t-il à relever ?

AMolmoWeb est entièrement open-source et disponible sur les plateformes Hugging Face et GitHub sous licence Apache 2.0. Les défis restants incluent la gestion d'instructions complexes, la navigation des processus de connexion et d'authentification, ainsi que le respect des conditions d'utilisation et autres aspects de conformité légale des sites web.

Lectures associées

Aave supprime progressivement de sa liste 75 actifs de réserve peu utilisés ! Voici les détails

Aave, principal protocole de prêt dans le secteur de la finance décentralisée (DeFi), annonce une restructuration majeure pour améliorer l'efficacité de sa plateforme. Le fondateur Stani Kulechov a indiqué que le protocole supprimera progressivement les actifs peu utilisés et réduira ses activités sur certains réseaux blockchain. Au total, 75 actifs de réserve à faible utilisation seront concernés : 50 sur le réseau principal d'Aave et 25 sur les réseaux Sonic, Scroll, zkSync, Metis, Soneium et Aptos. Cette décision vise à optimiser l'utilisation des ressources et à se concentrer sur les actifs les plus demandés par les utilisateurs. La restructuration affecte des réserves d'une valeur d'environ 98,1 millions de dollars et des positions de prêt de 15,6 millions de dollars. Aave mettra en œuvre des plans de transition pour minimiser les perturbations pour ses utilisateurs. Les experts estiment que ce type de rationalisation, courant dans le secteur DeFi, permet de réduire les coûts de maintenance et d'améliorer la sécurité et l'efficacité opérationnelle. À long terme, cette mesure pourrait aider Aave à construire un écosystème plus efficace et durable, malgré un possible redéploiement de liquidité à court terme pour les actifs concernés.

cryptonews.ruIl y a 25 mins

Aave supprime progressivement de sa liste 75 actifs de réserve peu utilisés ! Voici les détails

cryptonews.ruIl y a 25 mins

Robinhood publie un trimestre record malgré une baisse de 38 % des revenus cryptos

Robinhood a affiché un trimestre record au deuxième trimestre, avec un chiffre d'affaires total en hausse de 32 % à 1,31 milliard de dollars et un bénéfice net en progression de 48 % à 573 millions de dollars. Cependant, ses revenus liés aux transactions cryptographiques ont chuté de 38 % sur un an pour atteindre 100 millions de dollars. Le volume de trading crypto sur la plateforme s'est élevé à 40 milliards de dollars, dont 22 milliards provenaient de l'échange Bitstamp, acquis en juin 2025. Malgré ce recul sur le crypto, la croissance des revenus des contrats d'événements, des options et des actions a plus que compensé cette faiblesse. L'entreprise a poursuivi l'expansion de son écosystème crypto avec l'acquisition de WonderFi, le lancement de son réseau Robinhood Chain, et l'introduction d'actions tokenisées et d'un produit de prêt décentralisé. Les dépôts nets ont atteint un record de 21,7 milliards de dollars, portant le total des actifs sous gestion à 369 milliards de dollars. Robinhood a également révisé à la baisse ses prévisions de dépenses d'exploitation pour 2026.

cointelegraphIl y a 33 mins

Robinhood publie un trimestre record malgré une baisse de 38 % des revenus cryptos

cointelegraphIl y a 33 mins

China Business Journal révèle un stratagème d'extorsion de cryptomonnaie

Le journal d'État chinois *China Business Journal* a mis en garde les entreprises contre des escrocs utilisant son nom pour extorquer des cryptomonnaies. Des inconnus envoient des e-mails, se faisant passer pour des employés du journal, et exigent des paiements en bitcoins sous la menace de publier des informations compromettantes. Selon la rédaction, les malfaiteurs envoient ces messages via Proton Mail, prétendant détenir des informations préjudiciables obtenues lors d'une enquête journalistique confidentielle. Ils proposent ensuite de ne pas publier ces informations en échange d'un transfert de cryptomonnaie. *China Business Journal* a fermement nié toute implication, affirmant ne jamais recourir à de telles méthodes, exiger de l'argent pour étouffer une publication ou mener ce type de négociations. Tous ces e-mails doivent être considérés comme une arnaque. Le journal estime que les escrocs exploitent le nom d'un média d'État réputé pour inspirer confiance et pousser les entreprises à prendre des décisions hâtives sous la menace de pertes de réputation. La rédaction a commencé à collecter des preuves de cette utilisation frauduleuse de sa marque, analyse le contenu des e-mails et prépare des dossiers pour les autorités. Elle se réserve le droit de poursuivre les responsables sur les plans civil et pénal. Les entreprises sont invitées à vérifier soigneusement toute sollicitation, à ne jamais transférer de cryptomonnaie à des inconnus et à signaler ces cas aux autorités. Le journal poursuit sa propre enquête sur cette affaire.

cryptonews.ruIl y a 35 mins

China Business Journal révèle un stratagème d'extorsion de cryptomonnaie

cryptonews.ruIl y a 35 mins

L'Australie poursuit Telegram pour avoir omis de supprimer du contenu terroriste présumé

L'Australie poursuit Telegram en justice, l'accusant de ne pas avoir supprimé du contenu terroriste. Le régulateur australien de la sécurité en ligne, l'eSafety Commissioner, a engagé des poursuites civiles contre la plateforme de messagerie, affirmant qu'elle a enfreint la loi sur la sécurité en ligne en ne donnant pas suite à des plaintes répétées d'utilisateurs concernant du matériel "pro-terroriste". L'enquête a révélé que certains contenus signalés, y compris des vidéos d'attentats, sont restés visibles jusqu'à trois semaines. L'Australie réclame des amendes potentielles pouvant atteindre 54,6 millions de dollars australiens. Cette action intervient alors que Telegram et son PDG Pavel Durov font face à des pressions croissantes dans d'autres pays. La Russie a récemment inculpé Durov pour facilitation d'activités terroristes, et la France le poursuit pour complicité dans la diffusion de contenu illégal. Telegram n'a pas officiellement commenté les actions australienne et russe, mais a publié des messages évoquant la liberté d'expression.

cointelegraphIl y a 44 mins

L'Australie poursuit Telegram pour avoir omis de supprimer du contenu terroriste présumé

cointelegraphIl y a 44 mins

Le nombre de détenteurs d'actions tokenisées atteint un niveau record de 766 000, soit une augmentation de 93 % en 30 jours

Le nombre de détenteurs d'actions tokenisées a atteint un niveau record de 766 366, en hausse de 93% sur les 30 derniers jours, selon rwa.xyz. Cette croissance spectaculaire, de 527% depuis le début de l'année, est largement attribuée au lancement de Robinhood Chain, qui représente désormais 55% des 25 principaux jetons et plus d'un tiers du total des détenteurs. Cependant, cette croissance masque des problèmes de méthodologie. Des doublons importants faussent les chiffres : par exemple, les actions NVIDIA sont détenues sous forme de trois jetons différents (xStock, Robinhood, Ondo), totalisant 112 959 détenteurs apparents pour une seule action, soit environ 15% du total. De même, Tesla, Apple et Alphabet apparaissent en multiples versions. La concentration est extrême : cinq actifs (NVIDIA, Tesla, Apple, Alphabet, SpaceX) représentent à eux seuls 39% de la base totale, tandis que les jetons d'indices (SP500, Nasdaq) sont marginaux (<5%). Fait notable, SpaceX, bien que désormais cotée au Nasdaq, conserve environ 37 000 détenteurs tokenisés, surpassant des géants comme Microsoft ou Amazon sur Robinhood. Les données sous-jacentes révèlent un paradoxe : malgré le doublement quasi des détenteurs, la valeur distribuée n'a augmenté que de 16% et le volume mensuel des transferts a chuté de 31,5%. Cela suggère une croissance portée par l'inscription auprès de nouveaux émetteurs et la duplication de positions sur quelques actifs populaires, plutôt que par un élargissement significatif du marché ou une activité commerciale soutenue. La prochaine étape de maturation nécessitera un équilibre entre le nombre de détenteurs, le volume des transactions et la taille moyenne des positions.

cryptonews.ruIl y a 52 mins

Le nombre de détenteurs d'actions tokenisées atteint un niveau record de 766 000, soit une augmentation de 93 % en 30 jours

cryptonews.ruIl y a 52 mins

Trading

Spot
活动图片

Catégories populairesright-arrow

Tags tendancesright-arrow