AI2 Releases Fully Open-Source Web Agent MolmoWeb: Controlling Web Pages Using Only "Vision"

marsbitDipublikasikan tanggal 2026-03-26Terakhir diperbarui pada 2026-03-26

Abstrak

AI2 has released MolmoWeb, a groundbreaking, fully open-source web agent that operates solely by analyzing screenshots, marking a significant leap in vision-driven web navigation. Unlike traditional agents that rely on DOM, MolmoWeb captures and interprets visual data to make decisions—such as clicking, scrolling, or typing—making its process transparent and robust. Despite its compact size (4B and 8B parameters), MolmoWeb performs impressively: it scores 78.2% on the WebVoyager benchmark, nearing OpenAI’s proprietary o3 model (79.3%), and achieves up to 94.7% success with multiple attempts. It even surpasses Anthropic’s Claude3.7 in UI element localization. AI2 also released MolmoWebMix, a massive open dataset with 36K human-browsing tasks, over 2.2M screenshot-QA pairs, and GPT-4o-verified synthetic data. The model and data are fully available on Hugging Face and GitHub under Apache 2.0, promoting transparency and collaboration in AI development. Challenges remain in complex instructions, logins, and legal compliance.

The Allen Institute for Artificial Intelligence (AI2) recently released the groundbreaking fully open-source web agent MolmoWeb . Unlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions solely by reading screenshots, marking a significant leap forward in "vision-driven" web navigation technology.

Core Technology: "Seeing" Web Pages Like a Human

MolmoWeb's operating logic is very intuitive: it captures a screenshot of the current browser window, decides the next action (such as clicking, scrolling, or paging) through visual analysis, then executes it and repeats. This "what you see is what you get" model makes it more robust than traditional agents because the visual layout of a webpage is generally more stable than its underlying code, and its decision-making process is completely transparent and explainable to human users.

Performance Leap: Small Model Outperforms Giants

Despite having parameter sizes of only 4B and 8B, MolmoWeb demonstrates a "small but mighty" performance:

  • Topping the Charts: In the WebVoyager test, the 8B version scored an impressive 78.2%, not only ranking among the top open-source models but also approaching the performance of OpenAI's proprietary model o3 (79.3%).

  • Huge Potential: Research found that by running tasks multiple times and selecting the optimal result, its success rate could further jump to 94.7%.

  • Precise Localization: In UI element localization benchmark tests, it even surpassed Anthropic's Claude3.7.

Data Support: The Largest Open Dataset to Date

AI2 has not only open-sourced the model weights but also contributed a massive dataset named MolmoWebMix. This dataset contains:

  • 36,000 real browsing tasks completed by human volunteers.

  • Over 2.2 million screenshot-question-answer pairs.

  • Automated synthetic data verified by GPT-4o. Experiments show that synthetic data is even better than human trajectories at guiding the agent to find the "optimal path".

Open-Source Spirit and Future Challenges

Currently, MolmoWeb is fully available under the Apache 2.0 license on Hugging Face and GitHub. Although it still faces challenges in handling complex instructions, login authentication, and legal compliance (such as terms of service), AI2 firmly believes that only through complete transparency and community collaboration can we truly counter the data monopoly of large tech companies.

Pertanyaan Terkait

QWhat is the name of the fully open-source web agent released by the Allen Institute for AI (AI2) that navigates using only screenshots?

AThe web agent is called MolmoWeb.

QHow does MolmoWeb's approach to web navigation differ from traditional web agents?

AUnlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions by reading and analyzing screenshots, making it a 'vision-driven' technology.

QWhat was the performance score of the 8B parameter version of MolmoWeb on the WebVoyager test, and how does it compare to OpenAI's model?

AThe 8B version scored 78.2% on the WebVoyager test, which is very close to the performance of OpenAI's proprietary model o3, which scored 79.3%.

QWhat is the name of the large, open dataset released alongside MolmoWeb, and what does it contain?

AThe dataset is called MolmoWebMix. It contains 36,000 real browsing tasks completed by human volunteers, over 2.2 million screenshot-QA pairs, and automated synthetic data verified by GPT-4o.

QOn which platforms has MolmoWeb been made available, and under what license?

AMolmoWeb has been fully released on Hugging Face and GitHub under the Apache 2.0 license.

Bacaan Terkait

Serangan Coldcard, Salah Satu Peretasan Dompet Bitcoin Terbesar Belakangan Ini, Memicu Gelombang Kerugian Baru! Kerugian Terus Meningkat

Penelitian Galaxy Research mengungkapkan tiga gelombang serangan terhadap dompet Coldcard, yang menyebabkan total kerugian sekitar 1.367 BTC (senilai ~$88,6 juta) dari 4.585 alamat. Gelombang pertama dan kedua menunjukkan pola serupa, diduga dilakukan oleh pelaku yang sama. Namun, **gelombang ketiga** menampilkan perbedaan signifikan dalam metode penyerangan, seperti penggunaan alamat tujuan yang unik untuk setiap korban dan target alamat P2WSH. Perbedaan ini menimbulkan kemungkinan adanya **pelaku kedua** yang mengeksploitasi kerentanan yang sama setelah informasi bocor. Dana hasil curian masih belum dipindahkan dari alamat pelaku. Analisis menunjukkan kerugian terutama berasal dari dompet pengguna individu dengan saldo kecil, meskipun alamat dengan saldo besar menyumbang porsi kerugian utama. Kerentanan perangkat lunak Coldcard berasal dari rilis tanggal 17 Maret 2021, dan semua Bitcoin yang dicuri berasal dari blok setelah tanggal tersebut.

cryptonews.ru3m yang lalu

Serangan Coldcard, Salah Satu Peretasan Dompet Bitcoin Terbesar Belakangan Ini, Memicu Gelombang Kerugian Baru! Kerugian Terus Meningkat

cryptonews.ru3m yang lalu

Trump Media Jual Lagi 2.628 BTC, Kepemilikan Turun Menjadi 4.261 BTC

Trump Media & Technology Group, perusahaan di balik Truth Social, kembali melakukan penjualan besar terhadap aset Bitcoin miliknya. Menurut data dari Arkham yang dikutip Lookonchain, perusahaan menjual 2.628 BTC senilai sekitar $165 juta melalui transfer ke Crypto.com. Perusahaan ini awalnya membeli 11.542 BTC dengan harga rata-rata $118.522. Setelah tujuh bulan melakukan serangkaian penjualan, total yang telah dijual mencapai 7.281 BTC (sekitar $545 juta) dengan harga jual rata-rata $74.855 per BTC. Kini, kepemilikan Bitcoin Trump Media tersisa 4.261 BTC senilai $269,8 juta. Penjualan ini terjadi di tengah meningkatnya pengawasan terhadap usaha crypto yang dikaitkan dengan mantan Presiden AS Donald Trump, termasuk memecoin TRUMP dan MELANIA. Parlemen AS sedang membahas Undang-Undang CLARITY yang memperketat aturan etika kepemilikan aset digital bagi pejabat publik, meski undang-undang tersebut tidak mewajibkan perusahaan menjual aset crypto yang sudah dimiliki.

cointelegraph23m yang lalu

Trump Media Jual Lagi 2.628 BTC, Kepemilikan Turun Menjadi 4.261 BTC

cointelegraph23m yang lalu

Fujian Jinjiang, Sebuah Unicorn Super Penyimpanan yang Tumbuh dalam Diam

Perusahaan memori super unicorn Fujian Jinhua secara diam-diam bersembunyi di Jinjiang, Fujian, yang terkenal dengan sepatu olahraganya. Dulu, Jinhua adalah salah satu dari tiga basis chip memori domestik bersama Yangtze Memory dan ChangXin Memory Technologies (CXMT), bahkan pernah menjadi yang paling menjanjikan. Namun, Jinhua menghadapi rintangan besar. Pada 2018, ia dimasukkan dalam daftar entitas oleh Departemen Perdagangan AS dan menghadapi tuduhan pidana, yang menghentikan produksinya selama hampir lima tahun. Baru pada Februari 2024, pengadilan federal AS membebaskannya dari semua tuduhan. Jinhua didirikan pada 2016 dengan misi nasional untuk mematahkan monopoli Samsung, SK Hynix, dan Micron di pasar DRAM. Perusahaan ini bekerja sama dengan United Microelectronics Corporation (UMC) dari Taiwan. Chen Zhengkun, mantan eksekutif Micron, memimpin proyek ini sebagai CEO, didorong oleh mimpi mengembangkan teknologi DRAM secara mandiri. Meskipun pembangunan pabrik berjalan cepat, Micron menuduh UMC dan Jinhua mencuri rahasia dagangnya, memicu sengketa hukum panjang. Setelah dimasukkan dalam daftar entitas, Jinhua harus membangun kembali lini produksinya hampir dari nol dengan mengurangi ketergantungan pada teknologi AS, dipimpin oleh Chen yang dijuluki "penyihir hasil". Saat ini, Jinhua fokus pada pasar DRAM ceruk (niche) untuk perangkat seperti TV pintar dan router. Kapasitas produksinya mencapai sekitar 40.000 wafer 12 inci per bulan, dengan target 60.000 wafer pada 2026. Perusahaan memiliki lebih dari 1.000 paten. Meski bebas secara hukum, Jinhua masih berada dalam daftar entitas AS. Dukungan kuat dari pemerintah kota Jinjiang dan provinsi Fujian sangat penting bagi kelangsungan hidup Jinhua selama masa sulit. Kota yang secara tradisional mengandalkan tekstil dan makanan ini sekarang berinvestasi besar dalam industri sirkuit terpadu, dengan Jinhua sebagai pionir. Industri IC Jinjiang diperkirakan akan mencapai nilai output lebih dari 14 miliar yuan pada 2025. Dalam siklus super memori yang didorong oleh AI, meskipun skala Jinhua masih kecil dibandingkan raksasa global, kebangkitannya dari keterpurukan melambangkan ketahanan dan tekad dalam mengembangkan industri memori China.

marsbit1j yang lalu

Fujian Jinjiang, Sebuah Unicorn Super Penyimpanan yang Tumbuh dalam Diam

marsbit1j yang lalu

38GW Defisit Listrik, Mengapa Tambang Bitcoin Tiba-tiba Menjadi Pintu Masuk Kecerdasan Buatan?

Dengan persaingan pusat data AI yang beralih dari "siapa bisa membeli lebih banyak GPU" ke "siapa bisa mendapatkan listrik lebih cepat", bekas tambang bitcoin kini bertransformasi menjadi fasilitas penyedia daya untuk komputasi AI. Perusahaan seperti TeraWulf dan Riot Platforms tidak lagi hanya menekankan produksi bitcoin, tetapi pada kapasitas listrik yang tersedia dan proyek infrastruktur yang siap pakai. Menurut analisis Morgan Stanley, AS diperkirakan akan mengalami kekurangan daya sekitar 38GW untuk pusat data pada 2026-2028. Bekas lokasi tambang bitcoin berpotensi menyumbang 10-19GW dari kapasitas yang dibutuhkan, karena sudah memiliki akses jaringan listrik, lahan, dan fasilitas kelistrikan yang disetujui—sesuatu yang bisa membutuhkan waktu 5-7 tahun untuk dibangun dari nol. Transisi ini mengubah model bisnis dari penambangan kripto menjadi "Penyedia Cangkang Berdaya" (Powered Shell Provider), yang menyewakan infrastruktur dasar kepada operator cloud dan AI. Nilai kuncinya terletak pada kemampuan mempercepat penyebaran kapasitas komputasi skala besar, mendefinisikan ulang nilai setiap watt listrik yang tersedia.

华尔街日报1j yang lalu

38GW Defisit Listrik, Mengapa Tambang Bitcoin Tiba-tiba Menjadi Pintu Masuk Kecerdasan Buatan?

华尔街日报1j yang lalu

Michael Saylor: 'Kami Tidak Pernah Mengatakan bahwa Kami Tidak Akan Pernah Menjual Bitcoin'

Ketua Komisi Strategi Michael Saylor menegaskan bahwa perusahaannya tidak pernah berjanji untuk tidak menjual Bitcoin miliknya, namun tetap berencana menjadi pembeli bersih Bitcoin dalam jangka panjang. Pernyataan ini dikeluarkan menyusul laporan bahwa Strategy mendapat izin baru untuk menjual Bitcoin hingga $5 miliar. Saylor membantah klaim tersebut, menjelaskan bahwa izin penjualan bukanlah hal baru dan telah diumumkan pada 29 Juni sebagai bagian dari sistem manajemen modal perusahaan. Dia menegaskan bahwa persetujuan ini memungkinkan penjualan Bitcoin untuk tujuan tertentu, tetapi tidak mewajibkannya, dan menekankan bahwa Strategy tidak pernah secara resmi mengadopsi kebijakan "Bitcoin tidak akan pernah dijual". Perusahaan tetap berharap untuk terus menjadi pembeli bersih Bitcoin ke depannya.

cryptonews.ru2j yang lalu

Michael Saylor: 'Kami Tidak Pernah Mengatakan bahwa Kami Tidak Akan Pernah Menjual Bitcoin'

cryptonews.ru2j yang lalu

Trading

Spot
活动图片

Kategori Populerright-arrow

Tag Populerright-arrow