Fable 5 obtuvo una tasa de automatización del 16.1% en el Índice de Mano de Obra Remota (Remote Labor Index, RLI), casi el doble que el segundo lugar, Opus 4.8 (8.3%), y 2.5 veces más que el tercero, GPT-5.5 (6.3%).
Estos tres nuevos modelos superan a todos los modelos evaluados previamente.
Y hace solo 8 meses, cuando se lanzó el RLI, la puntuación más alta en la clasificación era solo del 2.5%.
El Centro de Seguridad de IA (CAIS) dio su veredicto en un blog reciente: la frontera se ha más que cuadruplicado en menos de ocho meses, una señal concreta de la aceleración de las capacidades de la economía de agentes.
¿Qué mide el Índice de Mano de Obra Remota (RLI)?
El RLI fue desarrollado conjuntamente por CAIS y Scale AI. Su artículo se publicó en octubre de 2025 (https://arxiv.org/pdf/2510.26787), con la participación de 47 investigadores.
El benchmark incluye 240 proyectos reales de freelancers, todos de 358 freelancers verificados en la plataforma Upwork, cubriendo 23 áreas como modelado 3D, CAD, diseño arquitectónico, diseño gráfico, animación de video, producción de audio, análisis de datos, aplicaciones web, etc., con un valor total que supera los 144,000 dólares.
La métrica principal es la Tasa de Automatización (Automation Rate): el porcentaje de proyectos donde la entrega del Agente, evaluada por jueces humanos, alcanza al menos un nivel aceptable para un cliente pagador.
Cada entrega se comparó una a una con un trabajo "estándar de oro" realizado por un freelancer profesional. El criterio de evaluación fue: "¿Un cliente razonable aceptaría este trabajo?".
Esta vara de medir se diferencia de los benchmarks tradicionales de IA por la granularidad del proyecto.
Cada proyecto del RLI es una comisión comercial completa: hay un brief del cliente, archivos de entrada, entregables en múltiples formatos (cubriendo 72 tipos de archivos). El tiempo mediano que un profesional humano tarda en completar un proyecto es de 11.5 horas, con un promedio de 28.9 horas.
Mide si la IA puede realizar de principio a fin un trabajo por el que "un cliente pagaría", no solo resolver un problema en un entorno aislado.
Del 2.5% al 16.1%: ¿Qué sucedió en ocho meses?
Cuando el RLI se lanzó en octubre de 2025, el mejor rendimiento fue de Manus con una tasa de automatización del 2.5%.
Posteriormente, Opus 4.6 combinado con Claude Cowork llevó el récord al 4.17%.
En la última ronda de evaluaciones, tres nuevos modelos aparecieron simultáneamente junto con marcos de Agente más potentes, mostrando una mejora saltacional en los resultados.
Detrás del 16.1% de Fable 5 hay varias variables clave.
La primera es que el marco del Agente introdujo un Bucle Trabajador-Crítico (Worker-critic Loop): un "Agente Crítico" independiente revisa la entrega desde la perspectiva de un cliente exigente -> abre archivos, toma capturas de pantalla, verifica punto por punto el brief -> si encuentra problemas, lo devuelve al "Agente Ejecutor" para su modificación, en un ciclo que se repite hasta que el crítico esté satisfecho o se agote el presupuesto.
CAIS cree que este mecanismo convirtió realmente el presupuesto adicional en una mejor calidad de entrega.
La segunda es que la configuración del presupuesto en sí era diferente: el límite máximo de presupuesto por proyecto para Fable 5 era de 150 dólares (debido a su precio más alto por Token), mientras que para otros modelos era de 50 dólares.
La tercera es que todos los Agentes tuvieron un límite de tiempo de 24 horas, acceso a GPU A100 y herramientas de operación informática.
Es importante señalar un punto: la evaluación de Fable 5 se interrumpió debido a las regulaciones de exportación del gobierno estadounidense; de los 240 proyectos, solo se completaron 218.
CAIS señala que los 22 proyectos no evaluados estaban distribuidos uniformemente entre las diferentes áreas y rangos de dificultad. Incluso suponiendo que Fable 5 hubiera fallado en todos los proyectos faltantes, su tasa de automatización seguiría siendo del 14.6% — aún superior a la de todos los demás modelos.
La IA como árbitro no es confiable
CAIS probó simultáneamente si se podía usar IA para la evaluación, reemplazando la costosa evaluación humana.
La conclusión es clara: no se puede.
Cuando la evaluación automatizada, calibrada en modelos antiguos, se aplicó a los nuevos modelos, sobrestimó la puntuación de GPT-5.5 en casi 3 veces y la de Opus 4.8 en aproximadamente 2.5 veces.
El orden de clasificación fue aproximadamente correcto, pero los valores absolutos se desviaron gravemente de la realidad.
La raíz del problema es que la evaluación en sí es una tarea agéntica de alta dificultad.
Para juzgar una entrega de manera justa, el evaluador necesita abrir los archivos con el software profesional correcto, operar el software y tomar decisiones como lo haría un cliente pagador — y este es precisamente el punto más débil de los Agentes actuales.
CAIS menciona un caso típico en su blog: GPT-5.5 presentó imágenes renderizadas falsas en una tarea de modelado 3D. Solo al abrir el modelo 3D y revisar la estructura geométrica real se pudo descubrir el engaño.
El árbitro de IA se topó con las mismas limitaciones de capacidad que el trabajador de IA.
¿Qué representa el 16% y qué no representa?
La hipótesis del "horizonte temporal" ha fallado en el RLI.
Esta hipótesis sostiene que las tareas que llevan más tiempo a los humanos son más difíciles para la IA. Esto es cierto en áreas específicas como la programación, pero no se aplica al diverso trabajo remoto cubierto por el RLI.
La tasa de éxito del modelo no disminuye a medida que aumenta el tiempo de finalización humana, mostrando una característica de "frontera dentada" (jagged frontier) — los factores que determinan si la IA puede completar un proyecto van mucho más allá de la complejidad temporal.
La velocidad del progreso es rápida, pero el nivel absoluto sigue siendo muy bajo.
En su blog, CAIS muestra tres casos de Fable 5 — modelado 3D de joyería, anuncio de animación 2D, plano arquitectónico — ninguno alcanzó el estándar profesional entregable.
El diseño de anillo realizado por Fable 5 era visualmente superior en calidad al de los modelos antiguos, pero una inspección cuidadosa aún revelaba un diseño de engaste de garras tosco.
El 84% de los proyectos reales de freelancers siguen fuera del alcance de las capacidades de la IA.
El valor del RLI reside en que proporciona una vara de medir calibrada por valor económico.
No rastrea si la IA puede resolver problemas, sino si la IA puede ganar dinero.
Que la tasa de automatización se haya más que cuadruplicado en 8 meses es una velocidad que merece la atención continua de todas las empresas y formuladores de políticas que dependen de la mano de obra remota.
Los próximos puntos clave son: los resultados de la evaluación complementaria de los 22 proyectos restantes de Fable 5, y cómo se disparará esta curva, una vez que nuevos modelos como Gemini 3.5 Pro (actualmente solo 1.25%) y GPT-5.6 hagan su verdadera aparición, y si superará rápidamente a los humanos comunes a una velocidad exponencial.
Referencias:
https://labs.scale.com/leaderboard/rli
https://safe.ai/blog/significant-increase-in-digital-labor-automation
Este artículo proviene del WeChat público "新智元" (Nueva Era de la Inteligencia), autor: Apocalipsis ASI
