AI2 Releases Fully Open-Source Web Agent MolmoWeb: Controlling Web Pages Using Only "Vision"

marsbitDipublikasikan tanggal 2026-03-26Terakhir diperbarui pada 2026-03-26

Abstrak

AI2 has released MolmoWeb, a groundbreaking, fully open-source web agent that operates solely by analyzing screenshots, marking a significant leap in vision-driven web navigation. Unlike traditional agents that rely on DOM, MolmoWeb captures and interprets visual data to make decisions—such as clicking, scrolling, or typing—making its process transparent and robust. Despite its compact size (4B and 8B parameters), MolmoWeb performs impressively: it scores 78.2% on the WebVoyager benchmark, nearing OpenAI’s proprietary o3 model (79.3%), and achieves up to 94.7% success with multiple attempts. It even surpasses Anthropic’s Claude3.7 in UI element localization. AI2 also released MolmoWebMix, a massive open dataset with 36K human-browsing tasks, over 2.2M screenshot-QA pairs, and GPT-4o-verified synthetic data. The model and data are fully available on Hugging Face and GitHub under Apache 2.0, promoting transparency and collaboration in AI development. Challenges remain in complex instructions, logins, and legal compliance.

The Allen Institute for Artificial Intelligence (AI2) recently released the groundbreaking fully open-source web agent MolmoWeb . Unlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions solely by reading screenshots, marking a significant leap forward in "vision-driven" web navigation technology.

Core Technology: "Seeing" Web Pages Like a Human

MolmoWeb's operating logic is very intuitive: it captures a screenshot of the current browser window, decides the next action (such as clicking, scrolling, or paging) through visual analysis, then executes it and repeats. This "what you see is what you get" model makes it more robust than traditional agents because the visual layout of a webpage is generally more stable than its underlying code, and its decision-making process is completely transparent and explainable to human users.

Performance Leap: Small Model Outperforms Giants

Despite having parameter sizes of only 4B and 8B, MolmoWeb demonstrates a "small but mighty" performance:

  • Topping the Charts: In the WebVoyager test, the 8B version scored an impressive 78.2%, not only ranking among the top open-source models but also approaching the performance of OpenAI's proprietary model o3 (79.3%).

  • Huge Potential: Research found that by running tasks multiple times and selecting the optimal result, its success rate could further jump to 94.7%.

  • Precise Localization: In UI element localization benchmark tests, it even surpassed Anthropic's Claude3.7.

Data Support: The Largest Open Dataset to Date

AI2 has not only open-sourced the model weights but also contributed a massive dataset named MolmoWebMix. This dataset contains:

  • 36,000 real browsing tasks completed by human volunteers.

  • Over 2.2 million screenshot-question-answer pairs.

  • Automated synthetic data verified by GPT-4o. Experiments show that synthetic data is even better than human trajectories at guiding the agent to find the "optimal path".

Open-Source Spirit and Future Challenges

Currently, MolmoWeb is fully available under the Apache 2.0 license on Hugging Face and GitHub. Although it still faces challenges in handling complex instructions, login authentication, and legal compliance (such as terms of service), AI2 firmly believes that only through complete transparency and community collaboration can we truly counter the data monopoly of large tech companies.

Pertanyaan Terkait

QWhat is the name of the fully open-source web agent released by the Allen Institute for AI (AI2) that navigates using only screenshots?

AThe web agent is called MolmoWeb.

QHow does MolmoWeb's approach to web navigation differ from traditional web agents?

AUnlike traditional agents that rely on a webpage's underlying code (DOM), MolmoWeb makes decisions by reading and analyzing screenshots, making it a 'vision-driven' technology.

QWhat was the performance score of the 8B parameter version of MolmoWeb on the WebVoyager test, and how does it compare to OpenAI's model?

AThe 8B version scored 78.2% on the WebVoyager test, which is very close to the performance of OpenAI's proprietary model o3, which scored 79.3%.

QWhat is the name of the large, open dataset released alongside MolmoWeb, and what does it contain?

AThe dataset is called MolmoWebMix. It contains 36,000 real browsing tasks completed by human volunteers, over 2.2 million screenshot-QA pairs, and automated synthetic data verified by GPT-4o.

QOn which platforms has MolmoWeb been made available, and under what license?

AMolmoWeb has been fully released on Hugging Face and GitHub under the Apache 2.0 license.

Bacaan Terkait

Si 'Mulut Buruk' Terkenal di Wall Street, Kali Ini Mengincar NVIDIA

Disclosur terbaru Michael Burry, legenda "The Big Short", mengungkap daftar saham yang dibetotnya, termasuk Nvidia, Tesla, dan ETF semikonduktor SOXX. Alasannya berpusat pada isu akuntansi di balik ledakan AI: klaim bahwa perusahaan cloud seperti Microsoft dan Meta memperpanjang masa depresiasi chip AI menjadi 6 tahun (vs 2-3 tahun realistis), merapikan laba mereka. Burry juga mencurigai adanya pembiayaan "di luar neraca", di mana Nvidia diduga membantu klien membeli chipnya sendiri, menciptakan permintaan buatan. Reaksi pasar beragam. Harga Nvidia berfluktuasi setelah pengumuman Burry, sempat turun tajam pada akhir Juli menyusul laporan tentang jaminan pembiayaan Nvidia ke OpenAI, yang dikomentari Burry. Secara keseluruhan, posisi short-nya terhadap Nvidia masih sedikit rugi. Artikel ini menelusuri rekam jejak Burry pasca-kesuksesan 2008, menunjukkan campuran hit dan miss. Ia akurat dalam krisis struktural (subprime, pandemi), tetapi sering keliru waktu dalam short berbasis valuasi (seperti Tesla sebelumnya). Meski vokal, short interest di Nvidia masih rendah (~1.4% saham beredar), dan para investor seasoned lain memiliki pendekatan berbeda. Steve Eisman (juga dari "The Big Short") tidak membetot Nvidia untuk saat ini, sementara Jim Chanos setuju dengan kekhawatiran akuntansi tetapi memilih target short di tempat lain (perusahaan private equity). Kesimpulan kunci: Analisis Burry menyoroti risiko akuntansi dan siklus yang valid dan layak dipertimbangkan investor. Namun, mengidentifikasi masalah struktural berbeda dengan memprediksi waktu dan kedalaman koreksi pasar, yang juga dipengaruhi sentimen, permainan industri, dan katalis acak. Bagi investor, nilai terbesar terletak pada kerangka berpikir kritis ini—mempertanyakan angka, mencari risiko tersembunyi—bukan sekadar meniru posisi trading seorang "superstar" short-seller.

marsbit18m yang lalu

Si 'Mulut Buruk' Terkenal di Wall Street, Kali Ini Mengincar NVIDIA

marsbit18m yang lalu

Kurasi Minggu Ini | Guncangan Epik di Pasar Saham, IPO Changxin Technology Ubah Peta Penyimpanan, Saylor Targetkan STRC Re-Anchor Sekitar 8 September

**Ringkasan Pilihan Mingguan PANews** Pasar keuangan global mengalami volatilitas signifikan minggu ini. Saham Korea mengalami beberapa *circuit breaker* dengan saham teknologi seperti SK Hynix menjadi penyebab utama, memicu gelombang likuidasi di pasar derivatif kripto. Di tengah gejolak ini, mata uang kripto seperti Bitcoin justru menunjukkan stabilitas relatif. Sektor AI tetap menjadi fokus. Laporan Tiger Research menyoroti pertempuran dompet pintar agen AI untuk pembayaran mikro, dengan raksasa seperti Coinbase memasuki arena. Di China, konvergensi GPU domestik dan gelombang Agent menandakan fase baru di industri komputasi. Dari sisi makro,上市 (IPO) Changxin Technology (C长鑫) dengan valuasi triliunan menjadi sorotan, mencerminkan keberhasilan panjang pengembangan DRAM domestik. Sementara itu, Citigroup memperingatkan sembilan risiko ekstrem komoditas untuk paruh kedua 2026, dan Fed mengirim sinyal hawkish meski menjaga suku bunga. Figur seperti Tom Lee (Fundstrat) yakin koreksi AI hanyalah "deleveraging paksa" dan siklus bull belum berakhir. Raoul Pal (Real Vision) menekankan logika jangka panjang industri kripto tetap kuat. CEO Marathon Digital (MARA) membahas transisi penambang Bitcoin ke pengelola aset energi di era AI. Di ekosistem Web3, mekanisme "tarik kartu" dari proyek seperti Fake World Assets ($FWA) menghidupkan kembali perdagangan NFT. Analisis menunjukkan pendapatan protokol kripto tumbuh, namun hal itu tidak serta-merta mendorong harga token. Hyperliquid menghasilkan pendapatan besar dari mekanisme "biaya prioritas". Aset tokenisasi riil (RWA) telah mencapai skala besar, namun menghadapi tantangan utilisasi. Perkembangan penting lain termasuk peta jalan Ethereum 2030 untuk skalabilitas dan privasi, migrasi staking ETH besar-besaran oleh Lido, serta perang stablecoin yang semakin sengit. **Berita Singkat:** Saham AS menguat; Saham penambang kripto yang beralih ke AI meroket; Meta berkomitmen belanja besar untuk AI; Michael Saylor menargetkan realignment STRC sekitar 8 September; Aksi korporasi besar-besaran di Bitcoin dan Ethereum; Pendanaan besar untuk startup AI Simile dan Perceptron; Saham Korea dan Changxin Technology melonjak; Pertukaran Korea Upbit dan Bithumb menambahkan token baru.

marsbit24m yang lalu

Kurasi Minggu Ini | Guncangan Epik di Pasar Saham, IPO Changxin Technology Ubah Peta Penyimpanan, Saylor Targetkan STRC Re-Anchor Sekitar 8 September

marsbit24m yang lalu

Saat Pasar Mulai Mempertanyakan Pengeluaran Modal AI: Analisis Lengkap Laporan Keuangan Kuartal II Lima Raksasa Teknologi

Analisis Laporan Kuartal II 2026 Lima Raksasa Teknologi AS menunjukkan tren utama: pertumbuhan pendapatan dan laba melampaui ekspektasi, didorong oleh permintaan kuat untuk bisnis terkait AI, namun pasar mulai mempertanyakan pengeluaran modal besar-besaran untuk infrastruktur AI. Google melaporkan pertumbuhan pendapatan dua digit selama 12 kuartal berturut-turut, dengan Google Cloud melonjak 82%. Namun, pengeluaran modal yang berlipat ganda menyebabkan arus kas bebas negatif untuk pertama kalinya, membuat saham turun 7%. Intel mencatat pertumbuhan pendapatan terkuat dalam 15 tahun, tetapi kenaikan panduan pengeluaran modal juga menekan sahamnya. Microsoft menjadi pengecualian positif. Azure mencapai pendapatan tahunan $100 miliar, dan perusahaan menurunkan panduan pengeluaran modal untuk 2026 sambil menjanjikan arus kas bebas positif, mendorong saham mencapai kinerja terbaik dalam 18 tahun. Sebaliknya, Meta menghadapi penjualan terberat karena pengeluaran modal yang melonjak dan arus kas bebas yang menyusut drastis, dengan saham anjlok hampir 10%. Apple mencatat rekor pendapatan dan laba, namun panduan untuk kuartal berikutnya yang lebih rendah dari ekspektasi karena kendala rantai pasokan dan fluktuasi mata uang menyebabkan kapitalisasi pasarnya terkikis $300 miliar dalam sehari. Kesimpulannya, meskipun permintaan AI tetap kuat, fokus pasar telah bergeser dari pertumbuhan pendapatan ke jalan menuju pengembalian arus kas dari investasi besar-besaran tersebut, yang tercermin dari reaksi harga saham yang berbeda-beda.

Odaily星球日报31m yang lalu

Saat Pasar Mulai Mempertanyakan Pengeluaran Modal AI: Analisis Lengkap Laporan Keuangan Kuartal II Lima Raksasa Teknologi

Odaily星球日报31m yang lalu

a16z: Dari Perusahaan ke DAO, DUNA atau Menjadi Bentuk Organisasi Generasi Berikutnya

a16z menyoroti evolusi bentuk organisasi dari perusahaan tradisional ke DAO dan peran potensial DUNA sebagai struktur hukum baru. Sejarah kolaborasi bisnis dimulai dari usaha keluarga seperti Marco Polo hingga perusahaan modern seperti VOC Belanda, yang memperkenalkan tanggung jawab terbatas dan kemampuan mengumpulkan modal. Namun, perusahaan menghadapi tantangan seperti birokrasi dan masalah keagenan. DAO muncul sebagai model tata kelola terdesentralisasi berbasis blockchain, tetapi menghadapi ketidakpastian hukum, terutama terkait regulasi sekuritas AS (tes Howey) dan kurangnya perlindungan tanggung jawab terbatas bagi anggotanya. Saat ini, proyek crypto sering menggunakan yayasan luar negeri sebagai solusi sementara, yang dapat menyebabkan misalignments insentif. DUNA (Decentralized Unincorporated Nonprofit Association) ditawarkan sebagai solusi. Bentuk hukum ini, yang sudah diadopsi di beberapa negara bagian AS seperti Wyoming, memberikan badan hukum dan tanggung jawab terbatas kepada kelompok terdesentralisasi. DUNA memungkinkan jaringan yang dikelola komunitas untuk beroperasi secara sah, melakukan kontrak, dan memegang aset tanpa struktur manajemen terpusat tradisional, sekaligus menjaga prinsip desentralisasi. Meski tidak menyelesaikan semua tantangan tata kelola atau secara ajaib mengatasi hukum sekuritas, DUNA mengisi kekosongan hukum penting. Ini mewakili langkah evolusioner baru, memperluas pilihan organisasi dan memungkinkan kolaborasi skala internet antar orang asing dengan risiko pribadi yang diminimalkan, menjawab tantangan kolaborasi bisnis yang sudah berlangsung lama.

marsbit1j yang lalu

a16z: Dari Perusahaan ke DAO, DUNA atau Menjadi Bentuk Organisasi Generasi Berikutnya

marsbit1j yang lalu

Laporan Pertengahan Tahun RWA On-Chain 2026: Kapitalisasi Pasar Saham Tokenisasi Meningkat Dua Kali Lipat dalam Setahun, Namun 90% Hak Hanyalah Cangkang Kosong

Laporan Tengah Tahun RWA On-Chain 2026: Kapitalisasi Pasar Saham Ter-tokenisasi Melonjak Dua Kali Lipat dalam Setahun, Namun 90% Hak Adalah 'Cangkang Kosong' Meski data menunjukkan nilai pasar saham ter-tokenisasi terdistribusi naik dari $951 juta (Maret 2026) menjadi $1.89 miliar (Juli 2026), laporan dari insights4vc ini mengungkap kontradiksi mendasar di balik angka tersebut. Mayoritas produk yang memiliki likuiditas tinggi (seperti dari Ondo dan xStocks yang menguasai 72.7% nilai) adalah produk 'pembungkus' yang tidak memberikan hak kepemilikan hukum yang nyata atas saham dasarnya. Sebaliknya, produk yang memiliki hak hukum penuh (seperti saham kanonik) masih sangat terbatas likuiditas dan distribusinya. Pasar berkembang ke arah dua jalur berbeda: produk lepas pantai berfokus pada keterjangkauan dan kompatibilitas lintas blockchain, sementara infrastruktur AS yang teregulasi fokus pada kepastian hukum dan integrasi dengan sistem penyelesaian tradisional (seperti DTC). Tidak ada produk yang saat ini secara berskala menggabungkan keempat elemen kunci: kepemilikan hukum standar, distribusi luas, likuiditas institusional, dan penemuan harga mandiri di on-chain. Pertumbuhan besar didorong terutama oleh beberapa produk saja (SECZ, FGRS, STRCx). Konsentrasi tinggi terjadi di beberapa platform, dan meski tersebar di berbagai jaringan blockchain, banyak produk masih bergantung pada penyedia jasa keuangan tradisional yang sama. Intinya, laporan ini menekankan perlunya kehati-hatian: angka kapitalisasi pasar yang besar tidak mencerminkan arus dana investor atau keutuhan hak kepemilikan. Mayoritas nilai yang dilaporkan berasal dari instrumen yang lebih menyerupai kontrak turunan daripada kepemilikan saham langsung yang sah.

marsbit2j yang lalu

Laporan Pertengahan Tahun RWA On-Chain 2026: Kapitalisasi Pasar Saham Tokenisasi Meningkat Dua Kali Lipat dalam Setahun, Namun 90% Hak Hanyalah Cangkang Kosong

marsbit2j yang lalu

Trading

Spot
活动图片

Kategori Populerright-arrow

Tag Populerright-arrow