AI2 Releases Fully Open-Source Web Agent MolmoWeb: Controlling Web Pages Using Only "Vision"

marsbitDipublikasikan tanggal 2026-03-26Terakhir diperbarui pada 2026-03-26

Abstrak

AI2 has released MolmoWeb, a groundbreaking, fully open-source web agent that operates solely by analyzing screenshots, marking a significant leap in vision-driven web navigation. Unlike traditional agents that rely on DOM, MolmoWeb captures and interprets visual data to make decisions—such as clicking, scrolling, or typing—making its process transparent and robust. Despite its compact size (4B and 8B parameters), MolmoWeb performs impressively: it scores 78.2% on the WebVoyager benchmark, nearing OpenAI’s proprietary o3 model (79.3%), and achieves up to 94.7% success with multiple attempts. It even surpasses Anthropic’s Claude3.7 in UI element localization. AI2 also released MolmoWebMix, a massive open dataset with 36K human-browsing tasks, over 2.2M screenshot-QA pairs, and GPT-4o-verified synthetic data. The model and data are fully available on Hugging Face and GitHub under Apache 2.0, promoting transparency and collaboration in AI development. Challenges remain in complex instructions, logins, and legal compliance.

The Allen Institute for Artificial Intelligence (AI2) recently released the groundbreaking fully open-source web agent MolmoWeb . Unlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions solely by reading screenshots, marking a significant leap forward in "vision-driven" web navigation technology.

Core Technology: "Seeing" Web Pages Like a Human

MolmoWeb's operating logic is very intuitive: it captures a screenshot of the current browser window, decides the next action (such as clicking, scrolling, or paging) through visual analysis, then executes it and repeats. This "what you see is what you get" model makes it more robust than traditional agents because the visual layout of a webpage is generally more stable than its underlying code, and its decision-making process is completely transparent and explainable to human users.

Performance Leap: Small Model Outperforms Giants

Despite having parameter sizes of only 4B and 8B, MolmoWeb demonstrates a "small but mighty" performance:

  • Topping the Charts: In the WebVoyager test, the 8B version scored an impressive 78.2%, not only ranking among the top open-source models but also approaching the performance of OpenAI's proprietary model o3 (79.3%).

  • Huge Potential: Research found that by running tasks multiple times and selecting the optimal result, its success rate could further jump to 94.7%.

  • Precise Localization: In UI element localization benchmark tests, it even surpassed Anthropic's Claude3.7.

Data Support: The Largest Open Dataset to Date

AI2 has not only open-sourced the model weights but also contributed a massive dataset named MolmoWebMix. This dataset contains:

  • 36,000 real browsing tasks completed by human volunteers.

  • Over 2.2 million screenshot-question-answer pairs.

  • Automated synthetic data verified by GPT-4o. Experiments show that synthetic data is even better than human trajectories at guiding the agent to find the "optimal path".

Open-Source Spirit and Future Challenges

Currently, MolmoWeb is fully available under the Apache 2.0 license on Hugging Face and GitHub. Although it still faces challenges in handling complex instructions, login authentication, and legal compliance (such as terms of service), AI2 firmly believes that only through complete transparency and community collaboration can we truly counter the data monopoly of large tech companies.

Pertanyaan Terkait

QWhat is the name of the fully open-source web agent released by the Allen Institute for AI (AI2) that navigates using only screenshots?

AThe web agent is called MolmoWeb.

QHow does MolmoWeb's approach to web navigation differ from traditional web agents?

AUnlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions by reading and analyzing screenshots, making it a 'vision-driven' technology.

QWhat was the performance score of the 8B parameter version of MolmoWeb on the WebVoyager test, and how does it compare to OpenAI's model?

AThe 8B version scored 78.2% on the WebVoyager test, which is very close to the performance of OpenAI's proprietary model o3, which scored 79.3%.

QWhat is the name of the large, open dataset released alongside MolmoWeb, and what does it contain?

AThe dataset is called MolmoWebMix. It contains 36,000 real browsing tasks completed by human volunteers, over 2.2 million screenshot-QA pairs, and automated synthetic data verified by GPT-4o.

QOn which platforms has MolmoWeb been made available, and under what license?

AMolmoWeb has been fully released on Hugging Face and GitHub under the Apache 2.0 license.

Bacaan Terkait

Polymarket yang Tersendat: Ujian Sebenarnya Setelah Melewati Masa Kejayaan Traffic Telah Tiba

Polymarket, platform prediksi terkemuka, menghadapi masalah kelambatan dan pengalaman perdagangan yang memburuk akibat pertumbuhan yang melampaui kapasitas infrastruktur saat ini. Wakil Presiden Teknik DeFi Polymarket, Josh Stevens, mengakui masalah ini dan mengumumkan rencana perbaikan, termasuk migrasi rantai (chain migration) dari Polygon. Awalnya, Polygon dipilih karena biaya rendah dan kemudahan penggunaan, tetapi kini menjadi penghambat pertumbuhan seiring Polymarket yang berevolusi menjadi platform perdagangan yang lebih kompleks dan frekuensi tinggi. Rencana perbaikan tidak hanya mencakup migrasi rantai, tetapi juga pembangunan ulang sistem order book (CLOB), pengurangan penundaan data on-chain, perbaikan masalah pembatalan transaksi, peningkatan kinerja situs web, dan pengembangan produk perpetual contracts (Perps). Beberapa blockchain seperti Solana, Sui, dan Algorand telah menawarkan diri untuk menjadi tuan rumah baru, sementara Polygon berusaha mempertahankan Polymarket mengingat kontribusinya yang signifikan terhadap pendapatan gas. Tantangan terbesar Polymarket kini adalah membangun infrastruktur yang stabil dan dapat diandalkan untuk mempertahankan kepercayaan pengguna dalam melakukan transaksi频繁.

Odaily星球日报16j yang lalu

Polymarket yang Tersendat: Ujian Sebenarnya Setelah Melewati Masa Kejayaan Traffic Telah Tiba

Odaily星球日报16j yang lalu

Anggota Kongres Kunci 'Melunak', Rintangan Terbesar Pengangkatan Wash sebagai Ketua Fed pada 15 Mei Telah Tersingkir

Hambatan politik utama untuk konfirmasi Kevin Warsh sebagai ketua Fed telah tersingkir setelah Senator Republik Thom Tillis mencabut penentangannya. Tillis sebelumnya khawatir investigasi kriminal terhadap ketua Fed incumbent Jerome Powell mengancam independensi bank sentral. Penarikan investigasi oleh Jaksa Federal memenuhi kekhawatirannya. Komite Perbankan Senat dijadwalkan mengadakan pemungutan suara untuk nominasi Warsh pada 29 April. Jika lolos, nominasi akan diajukan ke Senat penuh, dengan konfirmasi akhir diperkirakan bertepatan dengan berakhirnya masa jabatan Powell pada 15 Mei. Kebijakan Warsh berpotensi mengubah pasar secara signifikan. Dia berencana menghapus "dot plot" (proyeksi suku bunga), meninjau kembali pedoman kebijakan, dan berpotensi mengurangi frekuensi rapat. Langkah-langkah ini dapat mendekonstruksi "forward guidance" yang menjadi dasar penetapan harga aset global selama 15 tahun terakhir, memicu penilaian ulang besar-besaran di pasar saham, obligasi, dan valuta asing.

marsbit16j yang lalu

Anggota Kongres Kunci 'Melunak', Rintangan Terbesar Pengangkatan Wash sebagai Ketua Fed pada 15 Mei Telah Tersingkir

marsbit16j yang lalu

Menurunkan Ekspektasi untuk Bull Market Bitcoin Berikutnya

Artikel ini membahas penurunan ekspektasi penulis terhadap potensi kenaikan harga Bitcoin (BTC) pada siklus bull market berikutnya. Penulis, Alex Xu, yang sebelumnya memegang BTC sebagai aset terbesarnya, telah mengurangi porsi BTC dari full menjadi sekitar 30% pada kisaran harga $100.000-$120.000, dan kembali mengurangi di level $78.000-$79.000. Alasan utama penurunan ekspektasi ini adalah: 1. **Energi Penggerak yang Melemah:** Narasi adopsi BTC yang mendorong kenaikan signifikan di siklus sebelumnya (dari aset niche hingga institusi besar via ETF) sulit terulang. Langkah berikutnya, seperti masuknya BTC ke dalam cadangan bank sentral negara maju, dianggap sangat sulit tercapai dalam 2-3 tahun ke depan. 2. **Biaya Peluang Pribadi:** Penulis menemukan peluang investasi yang lebih menarik di perusahaan-perusahaan lain. 3. **Dampak Resesi Industri Kripto:** Menyusutnya industri kripto secara keseluruhan (banyak model bisnis seperti SocialFi dan GameFi terbukti gagal) dapat memperlambat pertumbuhan basis pemegang BTC. 4. **Biaya Pendanaan Pembeli Utama:** Perusahaan pembeli BTC terbesar, Stratis, menghadapi kenaikan biaya pendanaan yang memberatkan, yang dapat mengurangi kecepatan pembeliannya dan memberi tekanan jual. 5. **Pesaing Baru untuk "Emas Digital":** Hadirnya "tokenized gold" (emas yang ditokenisasi) menawarkan keunggulan yang mirip dengan BTC (seperti dapat dibagi dan dipindahkan) sehingga menjadi pesaing serius. 6. **Masalah Anggaran Keamanan:** Imbalan miner yang terus berkurang pasca halving menimbulkan kekhawatiran tentang keamanan jaringan, sementara upaya mencari sumber fee baru seperti ordinals dan L2 dinilai gagal. Penulis menyatakan tetap memegang BTC sebagai aset besar dan terbuka untuk membeli kembali jika alasannya tidak lagi relevan atau muncul faktor positif baru, meski siap menerima jika harganya sudah terlalu tinggi untuk dibeli kembali.

marsbit16j yang lalu

Menurunkan Ekspektasi untuk Bull Market Bitcoin Berikutnya

marsbit16j yang lalu

Prediksi Pasar Tidak Dapat Terlepas dari Perdagangan Orang Dalam, Tapi Perdagangan Orang Dalam Sedang Membunuhnya

Sebuah pasar prediksi menghadapi dilema mendasar: mereka bergantung pada informasi orang dalam untuk menghasilkan harga yang akurat, tetapi aktivitas orang dalam justru dapat merusak kepercayaan investor ritel. Kasus terbaru melibatkan seorang tentara AS yang diduga menghasilkan $400.000 di Polymarket menggunakan informasi rahasia tentang operasi militer, menyoroti masalah perdagangan orang dalam yang sistemik. Platform seperti Polymarket dan Kalshi secara implisit mendorong partisipasi orang dalam untuk meningkatkan akurasi prediksi, namun juga memiliki kebijakan yang melarang perdagangan berdasarkan informasi non-publik. Kontradiksi ini menciptakan ketegangan antara efisiensi informasi dan persepsi keadilan. Jika terlalu longgar, investor ritel akan merasa dimanipulasi dan meninggalkan pasar. Jika terlalu ketat, pasar kehilangan sumber informasi paling berharga dan menjadi kurang akurat. Masa depan pasar prediksi tergantung pada kemampuan menemukan titik optimal: mempertahankan likuiditas dan kepercayaan ritel sambil tetap memberi insentif bagi informasi orang dalam yang terbatas. Tanpa keseimbangan ini, risiko kegagalan sistemik mengancam kelangsungan jangka panjangnya.

marsbit17j yang lalu

Prediksi Pasar Tidak Dapat Terlepas dari Perdagangan Orang Dalam, Tapi Perdagangan Orang Dalam Sedang Membunuhnya

marsbit17j yang lalu

Selat Hormuz, Bisakah Iran "Mengendalikannya"?

Menurut laporan media Iran, Iran telah menyusun rencana komprehensif untuk mengelola Selat Hormuz. Rencana ini mencakup klaim kedaulatan penuh atas selat tersebut, mewajibkan kapal asing memperoleh izin transit, menerapkan biaya transit (dengan preferensi pembayaran dalam rial), serta melarang mutus kapal-kapal dari negara musuh, khususnya Israel. Analis menilai langkah ini bertujuan untuk: 1. Menekan Amerika Serikat dan Israel secara ekonomi dan diplomatis dengan memanfaatkan pengaruh Iran atas jalur pelayaran vital ini. 2. Menciptakan sumber pendapatan baru yang signifikan (potensi mencapai miliaran dolar per tahun) untuk menghadapi sanksi dan mendanai rekonstruksi. 3. Memberikan ruang negosiasi dengan AS, dengan menjadikan izin transit untuk kapal AS sebagai alat tawar. Namun, implementasi rencana ini diragungkan karena beberapa hal: * Tantangan operasional dalam memberlakukan aturan di selat yang padat dan diawasi militer asing. * Protes internasional atas dasar hukum dan dampak ekonomi terhadap biaya transportasi global. * Tekanan balik dari AS, termasuk blokade terhadap pelabuhan Iran dan ancaman mencegat kapal yang membayar biaya transit. * Ketidakpastian apakah rencana ini benar-benar akan diterapkan atau hanya sekadar strategi negosiasi.

marsbit18j yang lalu

Selat Hormuz, Bisakah Iran "Mengendalikannya"?

marsbit18j yang lalu

Trading

Spot
Futures
活动图片

Kategori Populerright-arrow

Tag Populerright-arrow