Fable 5 mencetak tingkat otomatisasi 16,1% pada Indeks Tenaga Kerja Jarak Jauh (Remote Labor Index, RLI), hampir dua kali lipat dari peringkat kedua Opus 4.8 (8,3%), dan 2,5 kali lipat dari peringkat ketiga GPT-5.5 (6,3%).
Tiga model baru ini semuanya melampaui semua model yang telah dievaluasi sebelumnya.
Padahal, delapan bulan lalu saat RLI pertama kali dirilis, skor tertinggi di papan peringkat hanya 2,5%.
Pusat Keamanan AI (CAIS) dalam blog terbarunya memberikan penilaian: kemampuan terdepan telah meningkat lebih dari empat kali lipat dalam kurang dari delapan bulan, ini adalah sinyal konkret percepatan kemampuan ekonomi Agen.
Indeks Tenaga Kerja Jarak Jauh Mengukur Apa
RLI dikembangkan bersama oleh CAIS dan Scale AI, makalahnya diterbitkan pada Oktober 2025 (https://arxiv.org/pdf/2510.26787), melibatkan 47 peneliti.
Tolok ukur ini mencakup 240 proyek freelancer nyata, seluruhnya berasal dari 358 freelancer terverifikasi di platform Upwork, meliputi 23 bidang seperti pemodelan 3D, CAD, arsitektur, desain grafis, animasi video, produksi audio, analisis data, aplikasi web, dll., dengan total nilai lebih dari 144 ribu dolar AS.
Indikator intinya adalah Tingkat Otomatisasi (Automation Rate): persentase proyek di mana hasil kerja Agen, setelah dinilai oleh manusia, dinyatakan setidaknya mencapai tingkat yang dapat diterima oleh klien yang membayar.
Setiap hasil kerja dibandingkan satu per satu dengan karya "standar emas" yang diselesaikan oleh freelancer profesional, dengan kriteria penilaian "apakah seorang klien yang wajar akan menerima pekerjaan ini".
Perbedaan ukuran ini dengan Tolok Ukur AI tradisional terletak pada granularitas proyek.
Setiap proyek di RLI adalah sebuah tugas komersial utuh—ada Brief klien, ada file input, ada hasil kerja multi-format (mencakup 72 jenis file), waktu median penyelesaian satu proyek oleh profesional manusia adalah 11,5 jam, rata-rata 28,9 jam.
Ini mengukur kemampuan AI untuk menyelesaikan secara mandiri, dari awal hingga akhir, sebuah pekerjaan yang "akan dibayar oleh klien", bukan sekadar memecahkan soal dalam lingkungan terisolasi.
Dari 2,5% ke 16,1%: Apa yang Terjadi dalam Delapan Bulan
Saat RLI dirilis pada Oktober 2025, tingkat otomatisasi Manus yang terbaik saat itu adalah 2,5%.
Setelahnya, Opus 4.6 yang dipasangkan dengan Claude Cowork mendorong rekor menjadi 4,17%.
Dalam putaran evaluasi terbaru, tiga model baru yang dipasangkan dengan kerangka kerja Agen yang lebih kuat muncul bersamaan, dan skornya melonjak drastis.
Di balik angka 16,1% Fable 5, ada beberapa variabel kunci.
Pertama, kerangka kerja Agen memperkenalkan Worker-critic Loop: sebuah "Agen Penilai" independen memeriksa hasil kerja dari perspektif klien yang ketat -> membuka file, mengambil tangkapan layar, mengecek brief satu per satu -> jika menemukan masalah, mengembalikan ke "Agen Pelaksana" untuk diperbaiki, berputar sampai penilai puas atau anggaran habis.
CAIS berpendapat mekanisme ini membuat penambahan anggaran benar-benar berubah menjadi kualitas hasil kerja yang lebih baik.
Kedua, pengaturan anggaran itu sendiri berbeda: batas atas anggaran per proyek untuk Fable 5 adalah 150 dolar AS (karena harga Token-nya lebih tinggi), model lainnya 50 dolar AS.
Ketiga, semua Agen diberikan batas waktu 24 jam, GPU A100, dan alat operasi komputer.
Perlu diperhatikan satu hal: evaluasi Fable 5 terganggu karena pembatasan ekspor pemerintah AS, dari 240 proyek, hanya 218 yang selesai.
CAIS mencatat, 22 proyek yang belum dievaluasi tersebar merata di berbagai bidang dan tingkat kesulitan. Bahkan jika diasumsikan Fable 5 gagal total dalam semua proyek yang hilang, tingkat otomatisasinya tetap 14,6%—masih lebih tinggi daripada semua model lain.
AI Sebagai Wasit, Tidak Dapat Diandalkan
CAIS secara bersamaan menguji apakah penilaian oleh AI dapat menggantikan penilaian manusia yang mahal.
Kesimpulannya jelas: tidak bisa.
Saat penilaian otomatis yang dikalibrasi pada model lama diterapkan pada model baru, skor untuk GPT-5.5 dilebih-lebihkan hampir 3 kali lipat, dan untuk Opus 4.8 sekitar 2,5 kali lipat.
Urutan peringkat secara garis besar benar, tetapi nilai absolutnya sangat menyimpang dari kenyataan.
Akar masalahnya adalah, penilaian itu sendiri merupakan tugas Agentik yang sangat sulit.
Untuk menilai hasil kerja secara adil, penilai perlu membuka file dengan perangkat lunak profesional yang tepat, mengoperasikan perangkat lunak, dan membuat keputusan seperti klien yang membayar—dan ini justru merupakan aspek paling lemah dari Agen saat ini.
CAIS dalam blognya memberikan contoh kasus tipikal: GPT-5.5 mengirimkan gambar render palsu dalam sebuah tugas pemodelan 3D, penipuan ini baru bisa terdeteksi dengan membuka model 3D dan memeriksa struktur geometri sebenarnya.
Wasit AI menghadapi hambatan kemampuan yang sama dengan Pekerja AI.
Apa Arti 16%, Apa yang Tidak Diwakilinya
Hipotesis "Cakrawala Waktu" terbukti tidak berlaku pada RLI.
Hipotesis ini menyatakan bahwa tugas yang memakan waktu lebih lama bagi manusia akan lebih sulit bagi AI, yang memang berlaku di bidang tertentu seperti pemrograman, tetapi tidak berlaku untuk pekerjaan jarak jauh beragam yang dicakup RLI.
Tingkat keberhasilan model tidak menurun seiring dengan bertambahnya waktu penyelesaian oleh manusia, menunjukkan karakteristik "batas terdepan bergerigi" (jagged frontier)—faktor yang menentukan apakah AI dapat menyelesaikan sebuah proyek jauh lebih kompleks daripada sekadar kompleksitas waktu.
Kecepatan kemajuan cepat, tetapi tingkat absolutnya masih sangat rendah.
Tiga kasus Fable 5 yang ditunjukkan CAIS dalam blognya—pemodelan 3D perhiasan, iklan animasi 2D, gambar arsitektur—tidak satupun mencapai standar profesional yang dapat diserahkan.
Desain cincin yang dibuat Fable 5 secara kualitas visual jelas lebih unggul daripada model lama, tetapi pemeriksaan teliti masih menunjukkan desain cakar (prong setting) yang kasar.
84% proyek freelancer nyata masih berada di luar kemampuan AI saat ini.
Nilai RLI terletak pada penyediaan sebuah tolok ukur yang telah dikalibrasi dengan nilai ekonomi.
Yang dilacaknya bukanlah apakah AI bisa memecahkan soal, tetapi apakah AI bisa menghasilkan uang.
Tingkat otomatisasi meningkat lebih dari empat kali lipat dalam 8 bulan, kecepatan ini layak mendapat perhatian berkelanjutan dari setiap perusahaan dan pembuat kebijakan yang bergantung pada tenaga kerja jarak jauh.
Titik kunci selanjutnya adalah: hasil evaluasi tambahan untuk 22 proyek Fable 5 yang tersisa, serta bagaimana kurva ini akan melesat saat model baru seperti Gemini 3.5 Pro (saat ini hanya 1,25%) dan GPT-5.6 benar-benar muncul, apakah akan dengan cepat melampaui manusia biasa dalam kecepatan eksponensial.
Referensi:
https://labs.scale.com/leaderboard/rli
https://safe.ai/blog/significant-increase-in-digital-labor-automation
Artikel ini berasal dari akun WeChat "Xin Zhi Yuan", penulis: ASI启示录
