# Artikel Terkait Tolok ukur

Pusat Berita HTX menyediakan artikel terbaru dan analisis mendalam mengenai "Tolok ukur", mencakup tren pasar, pembaruan proyek, perkembangan teknologi, dan kebijakan regulasi di industri kripto.

Era Auto Research: 47 Tugas Tanpa Jawaban Baku Jadi Daftar Wajib Uji Kemampuan Agent

Di era Auto Research, 47 tugas tanpa jawaban standar kini menjadi patokan wajib untuk mengukur kemampuan Agent AI. Biasanya, AI Agent tampak serba bisa, namun sebenarnya banyak yang hanya mengandalkan pengetahuan dalam basis data yang sudah ada. Dunia rekayasa nyata lebih keras: stabilitas robot bawah air, batas litium pada baterai, pengendalian kebisingan sirkuit kuantum — masalah-masalah ini tidak memiliki "jawaban sempurna", hanya "optimisasi yang mendekati batas maksimal". Baru-baru ini, Frontier-Eng Bench dari Einsia AI's Navers lab menghadirkan perubahan paradigma. Alih-alih menguji AI dengan soal pemrograman lama, benchmark ini memberikan sistem "loop rekayasa" yang lengkap: mengusulkan solusi, terhubung ke simulator, menerima umpan balik dan error, memperbaiki parameter, dan menjalankannya kembali. Dalam 47 tugas lintas disiplin yang menantang, AI harus bertindak seperti insinyur berpengalaman, mencari solusi optimal di antara tiga kendala yang sulit: daya, keamanan, dan kinerja. Ini bukan sekadar kumpulan tes, melainkan gambaran evolusi Agent. Hasil pengujian menunjukkan bahwa model seperti GPT-5.4 berkinerja cukup stabil, tetapi masih jauh dari menyelesaikan seluruh benchmark. Penelitian ini mengungkap pola penting: peningkatan kinerja AI mengikuti hukum pangkat (power law), di mana kemajuan awal cepat tetapi semakin sulit dan kecil seiring waktu. Selain itu, kedalaman eksplorasi (depth) lebih krusial daripada sekadar menjalankan banyak percobaan paralel (width) untuk mencapai terobosan. Implikasi jangka panjangnya adalah potensi lahirnya "AI Engineer". Di masa depan, manusia mungkin fokus pada penentuan tujuan dan arahan, sementara AI akan bekerja tanpa lelah untuk mengoptimalkan solusi — menjalankan simulasi, menganalisis hasil, dan melakukan iterasi terus-menerus menuju target yang ditetapkan. Frontier-Eng Bench menandai langkah menuju sistem AI yang dapat berevolusi secara mandiri dalam loop umpan balik jangka panjang, membawa kita lebih dekat ke era penelitian otomatis (Auto Research) di mana AI aktif berkontribusi dalam memecahkan masalah rekayasa dunia nyata yang kompleks.

marsbit05/13 07:29

Era Auto Research: 47 Tugas Tanpa Jawaban Baku Jadi Daftar Wajib Uji Kemampuan Agent

marsbit05/13 07:29

K2.6 Adalah Roadshow Pertama Yang Zhilin

Ringkasan: Bulan lalu, Moon's Dark Side (Yue Zhi An Mian) meluncurkan model K2.6 dan menaikkan harga API input sebesar 58%, menjadi $0,95 per juta token. Kenaikan ini terstruktur, dengan kenaikan terkecil untuk pelanggan perusahaan yang sudah menggunakan Kimi secara intensif. K2.6 tidak lagi hanya menargetkan komunitas teknis, tetapi juga berfokus pada narasi komersial untuk persiapan IPO perusahaan. Model ini secara resmi dibandingkan dengan model flagship generasi sebelumnya seperti GPT-5.4 untuk menempatkan diri di "tingkat pertama" dalam presentasi roadshow. Fitur baru seperti cluster 300 Agen dan komputasi 4000 langkah ditujukan untuk klien perusahaan besar. Semua ini adalah persiapan landasan pacu (runway) untuk model K3 yang lebih besar (3-4 triliun parameter) yang diharapkan dapat diluncurkan sebelum roadshow. Valuasi Moon's Dark Side melonjak dari $4,3 miliar menjadi $18 miliar dalam tiga bulan, mengikuti kenaikan harga saham perusahaan AI China lainnya yang telah go public seperti Zhipu dan MiniMax. Tekanan untuk membuktikan monetisasi sekarang lebih besar, dan semua ini bergantung pada kinerja K2.6 dalam tiga bulan ke depan.

marsbit04/22 10:49

K2.6 Adalah Roadshow Pertama Yang Zhilin

marsbit04/22 10:49

a16z Artikel Baru: Pasar Prediksi, Masuk ke Tahap Percepatan

Ringkasan: Pasar prediksi, yang sebelumnya dianggap sebagai produk "pinggiran" untuk acara seperti pemilu dan olahraga, kini berkembang menjadi infrastruktur keuangan yang memberikan harga pada ketidakpastian. Perubahan kunci terjadi dalam tiga aspek: perluasan skenario aplikasi (dari olahraga ke hiburan, makroekonomi, CPI), penyediaan harga acuan yang dapat diperdagangkan untuk peristiwa dunia nyata, dan adopsi institusional yang bertahap. Platform seperti Kalshi memungkinkan lindung nilai risiko politik dan makro secara langsung, bukan melalui aset terkait. Meski adopsi institusi masih dalam tahap awal (akses data, integrasi sistem, kemudian perdagangan), pasar prediksi diperkirakan akan menjadi alat inti untuk lindung nilai dalam lima tahun ke depan, mirip dengan evolusi pasar opsi di masa lalu.

marsbit04/19 12:03

a16z Artikel Baru: Pasar Prediksi, Masuk ke Tahap Percepatan

marsbit04/19 12:03

Institusi Masuk ke Pasar Prediksi, Terjebak di Tahap Ketiga

Ringkasan: Pasar prediksi, yang sebelumnya dianggap sebagai bidang pinggiran, kini sedang menuju arus utama. Acara penelitian yang diadakan oleh Kalshi Research menunjukkan minat yang berkembang dari akademisi, eksekutif Wall Street, dan politisi. Meskipun prediksi olahraga masih mendominasi volume perdagangan (mencapai 80%), kategori lain seperti hiburan, crypto, politik, dan budaya tumbuh lebih cepat, menunjukkan pergeseran dari "perdagangan hiburan" menjadi "alat informasi dan manajemen risiko." Pasar prediksi menyediakan benchmark harga real-time untuk peristiwa masa depan, seperti pemilihan umum atau keputusan kebijakan, yang sebelumnya tidak ada. Ini memungkinkan lembaga melakukan lindung nilai secara lebih langsung tanpa perlu mempertimbangkan multiple layer risiko. Adopsi institusional terjadi dalam tiga tahap: 1. Akses data (sudah terjadi, misalnya di kalangan manajer investasi), 2. Integrasi sistem (persetujuan kepatuhan dan edukasi internal), 3. Perdagangan aktual (masih terhambat oleh kebutuhan margin penuh 100%, yang tidak efisien untuk lembaga). Kalshi sedang berupaya memperkenalkan perdagangan margin setelah mendapatkan izin dari NFA. Para ahli memprediksi pasar prediksi akan menjadi alat yang layak untuk lembaga dalam lima tahun ke depan, dan sudah mulai digunakan oleh politisi tingkat tinggi serta diintegrasikan ke dalam model prediksi pemilu. Platform ini menghargai pengetahuan mendalam di bidang tertentu, bukan latar belakang finansial. Pasar prediksi berevolusi menjadi infrastruktur untuk menentukan harga ketidakpastian.

marsbit04/17 02:30

Institusi Masuk ke Pasar Prediksi, Terjebak di Tahap Ketiga

marsbit04/17 02:30

Akses Institusi ke Pasar Prediksi, Terhenti di Tahap Ketiga

Ringkasan: Pasar prediksi, yang sebelumnya dianggap sebagai niche, kini menunjukkan tanda-tanda matang dan adopsi institusional. Acara penelitian yang diselenggarakan oleh Kalshi Research menunjukkan pergeseran dari fokus tradisional pada pemilu dan olahraga menuju kategori yang lebih luas seperti ekonomi, hiburan, dan politik. Meskipun olahraga masih mendominasi volume perdagangan (80%), segmen lain tumbuh lebih cepat. Pasar ini mulai berfungsi sebagai alat penetapan harga informasi dan lindung nilai risiko untuk peristiwa makro, memberikan benchmark real-time yang sebelumnya tidak ada. Lembaga seperti Goldman Sachs dan CNBC sudah menggunakannya sebagai referensi data (Tahap 1 adopsi). Namun, adopsi penuh untuk perdagangan aktif (Tahap 3) masih terhambat oleh persyaratan margin penuh, yang tidak efisien bagi institusi. Kalshi sedang berupaya memperkenalkan perdagangan margin setelah mendapat izin regulator. Para ahli memprediksi pasar prediksi akan menjadi infrastruktur yang membosankan dan penting dalam 5 tahun ke depan, mirip dengan evolusi pasar opsi. Bukti normalisasi sudah terlihat, dengan politisi tingkat tinggi mulai mengutip odds Kalshi, dan data pasar diintegrasikan ke dalam model prediksi pemilu.

Odaily星球日报04/17 02:25

Akses Institusi ke Pasar Prediksi, Terhenti di Tahap Ketiga

Odaily星球日报04/17 02:25

OpenClaw Viral, Ungkap 12 Jenis Ancaman Mematikan, Tolok Ukur Keamanan Protokol MCP Dirilis

OpenClaw dan proyek AI Agent lainnya semakin populer, memicu kekhawatiran akan risiko keamanan dalam protokol MCP (Model Context Protocol) yang mendukungnya. Penelitian dari Beijing University of Posts and Telecommunications mengungkap 12 jenis serangan yang memanfaatkan kerentanan dalam proses perencanaan tugas, pemanggilan alat, dan penanganan respons. Serangan seperti Name Collision, False Error, dan Tool Transfer terbukti efektif, bahkan terhadap model AI canggih seperti GPT-5 dan Claude 4 Sonnet. Tim peneliti meluncurkan MSB (MCP Security Bench), benchmark keamanan pertama yang mengevaluasi risiko dalam ekosistem MCP. MSB menggunakan lingkungan eksekusi nyata dengan 2.000 contoh serangan dan memperkenalkan metrik NRP (Net Resilient Performance) untuk mengukur keseimbangan antara keamanan dan kinerja. Hasilnya menunjukkan bahwa model AI yang lebih kuat justru lebih rentan terhadap serangan, dan serangan campuran (mixed attack) memiliki tingkat keberhasilan lebih tinggi. Temuan ini menekankan pentingnya memperkuat pertahanan AI Agent di masa depan.

marsbit04/16 04:07

OpenClaw Viral, Ungkap 12 Jenis Ancaman Mematikan, Tolok Ukur Keamanan Protokol MCP Dirilis

marsbit04/16 04:07

10 Gambar Memahami Kondisi AI 2026: Kesenjangan AS-China Hanya 2.7%, Pekerjaan Programmer di Bawah 25 Tahun Menyusut Drastis

Stanford HAI merilis Laporan Indeks AI 2026 yang menunjukkan bahwa adopsi AI melampaui kecepatan adopsi PC dan internet, namun institusi sosial dan pasar tenaga kerja tertinggal. Laporan ini menyoroti 10 temuan kunci: 1. Benchmark AI saat ini tidak efektif, 42% soal tes matematika GSM8K dinyatakan tidak valid. 2. Kesenjangan AS-Tiongkok hampir hilang, hanya tersisa 2.7% dalam performa model. 3. Model AI terdepan semakin konvergen dalam kecerdasan, fokus beralih ke biaya dan keandalan. 4. Pekerjaan developer usia 22-25 turun 20% karena AI. 5. Adopsi generatif AI mencapai 53% dalam 3 tahun, tapi AS hanya peringkat 24 global. 6. Investasi AI global $581B, AS 23x lebih besar dari Tiongkok, namun dana negara tidak terhitung. 7. Agent AI meningkat pesat tapi masih gagal 33% dalam tugas praktis. 8. 89% robot hanya beroperasi di lab, keberhasilan di dunia nyata hanya 12.4%. 9. 73% ahli optimis terhadap AI, tapi hanya 23% publik yang setuju. 10. Konsumsi energi dan air AI sangat besar, dengan GPT-4o menggunakan air setara 12 juta orang. Lengkapnya: https://hai.stanford.edu/ai-index

marsbit04/15 00:21

10 Gambar Memahami Kondisi AI 2026: Kesenjangan AS-China Hanya 2.7%, Pekerjaan Programmer di Bawah 25 Tahun Menyusut Drastis

marsbit04/15 00:21

Model Besar Pertama Wang Tao, Akhirnya Bawa Meta Kembali ke Meja Permainan

Meta telah meluncurkan model AI baru mereka, Muse Spark, model pertama dari seri Muse yang dikembangkan di bawah pimpinan Alexandr Wang di Meta Superintelligence Labs (MSL). Model ini dirancang untuk menjadi cepat dan ringkas, namun mampu menangani masalah kompleks di bidang sains, matematika, dan kesehatan. Muse Spark adalah model multimodal yang memadukan pemahaman visual dan teks dari tingkat arsitektur, memungkinkan "rantai pemikiran visual" untuk analisis yang lebih dinamis. Model ini juga memiliki fitur "Contemplating Mode" yang mengoordinasikan beberapa sub-agen untuk penalaran paralel. Dalam pengujian, Muse Spark meraih skor 52 pada Artificial Analysis Intelligence Index, menempati peringkat ke-4 secara global. Model ini unggul dalam penalaran sains tingkat PhD (89,5%), pemahaman visual dan grafik (86,4%), serta penalaran medis (42,8%), tetapi masih tertinggal dalam tugas pengkodean perangkat lunak yang kompleks. Peluncuran ini adalah langkah penting bagi Meta untuk kembali bersaing di bidang AI, setelah performa Llama 4 sebelumnya tidak memenuhi harapan. Harga saham Meta naik 6,5% pada hari pengumuman. Meski Spark adalah model yang lebih kecil, Meta menekankan bahwa ini hanyalah awal, dan model yang lebih besar sedang dalam pengembangan.

marsbit04/09 11:01

Model Besar Pertama Wang Tao, Akhirnya Bawa Meta Kembali ke Meja Permainan

marsbit04/09 11:01

Baru Saja, "Alpukat" Senilai 14,3 Miliar Dolar Milik Zuckerberg Hadir, Tantang GPT-5.4, Karya Perdana Tionghoa Termahal di Silicon Valley

Meta baru saja meluncurkan model AI terbaru mereka, Muse Spark (kode: Avocado), dari Meta Super Intelligence Lab (MSL). Model ini disebut sebagai "petarung segi enam serba bisa" dengan kemampuan multimodal asli, pemanggilan alat, rantai pemikiran visual, dan pengaturan multi-Agen. Dalam pengujian Artificial Analysis, Muse Spark mencetak skor 52, melampaui pendahulunya Llama 4 Maverick (18) dan mendekati performa Gemini 3.1 Pro, GPT-5.4, dan Opus 4.6. Model ini unggul dalam multimodal dan kesehatan, tetapi masih tertinggal dalam kode dan tugas Agen yang panjang. Fitur andalannya adalah "Mode Kontemplasi" yang memungkinkan beberapa Agen berpikir secara paralel. Muse Spark juga efisien dalam penggunaan token, hanya mengonsumsi sepertiga dari Opus 4.6. Meta melatih model dengan efisiensi komputasi yang ditingkatkan, mengurangi kebutuhan FLOPs hingga 1/10 dari Llama 4. Model ini sudah tersedia di meta.ai dan aplikasi Meta AI, akan terintegrasi dengan Facebook, Instagram, dan WhatsApp dalam beberapa minggu ke depan. Gratis, tidak terbatas, tetapi tertutup.

marsbit04/09 07:56

Baru Saja, "Alpukat" Senilai 14,3 Miliar Dolar Milik Zuckerberg Hadir, Tantang GPT-5.4, Karya Perdana Tionghoa Termahal di Silicon Valley

marsbit04/09 07:56

Siapa Agen OpenClaw Terkuat yang Sebenarnya? Daftar Peringkat 23 Tugas Nyata Dirilis

Berdasarkan evaluasi 23 tugas dunia nyata pada platform OpenClaw, laporan ini merilis peringkat model AI terkuat berdasarkan tingkat keberhasilan. Evaluasi menggunakan tiga metode penilaian: pemeriksaan otomatis, penilaian oleh LLM (Claude Opus sebagai wasit), dan mode campuran. Tugas yang diuji mencakup berbagai aspek seperti interaksi dasar, operasi file/kode, penulisan konten, penelitian, panggilan alat sistem, dan persistensi memori. Hasil intinya menunjukkan peringkat 10 besar model berdasarkan tingkat keberhasilan tertinggi (Best %) dan rata-rata (Avg %): 1. anthropic/claude-opus-4.6 (93.3% / 82.0%) 2. arcee-ai/trinity-large-thinking (91.9% / 91.9%) 3. openai/gpt-5.4 (90.5% / 81.7%) 4. qwen/qwen3.5-27b (90.0% / 78.5%) 5. minimax/minimax-m2.7 (89.8% / 83.2%) Claude Opus 4.6 memimpin dengan keberhasilan tertinggi, sementara Trinity dari Arcee unggul dalam stabilitas rata-rata. Semua data, tugas, dan metodologi evaluasi bersifat transparan dan dapat direproduksi untuk pengujian mandiri.

marsbit04/08 14:49

Siapa Agen OpenClaw Terkuat yang Sebenarnya? Daftar Peringkat 23 Tugas Nyata Dirilis