Fable 5 a obtenu un taux d'automatisation de 16,1 % sur l'indice de main-d'œuvre à distance (Remote Labor Index, RLI), soit presque le double de celui de l'Opus 4.8 (8,3 %), et 2,5 fois celui du GPT-5.5 (6,3 %).
Ces trois nouveaux modèles dépassent tous les modèles précédemment évalués.
Et il y a seulement huit mois, lors de la publication du RLI, le score le plus élevé n'était que de 2,5 %.
Le Center for AI Safety (CAIS) a donné son avis dans son dernier article de blog : le niveau de pointe a plus que quadruplé en moins de huit mois, ce qui est un signal concret de l'accélération des capacités de l'économie des agents.
Que mesure l'Indice de Main-d'Œuvre à Distance (RLI) ?
Le RLI a été développé conjointement par le CAIS et Scale AI, le document de recherche a été publié en octobre 2025 (https://arxiv.org/pdf/2510.26787), avec la participation de 47 chercheurs.
Le benchmark comprend 240 projets réels de freelance, provenant tous de 358 freelancers vérifiés sur la plateforme Upwork. Il couvre 23 domaines comme la modélisation 3D, la CAO, l'architecture, le design graphique, l'animation vidéo, la production audio, l'analyse de données, les applications web, etc., pour une valeur totale de plus de 144 000 dollars.
La mesure principale est le taux d'automatisation (Automation Rate) : le pourcentage de projets dont les livrables de l'agent sont jugés par des humains comme atteignant au moins un niveau acceptable pour un client payant.
Chaque livrable est comparé individuellement à un travail de « référence » réalisé par un professionnel freelance. Le critère d'évaluation est : « un client raisonnable accepterait-il ce travail ? ».
Cette mesure diffère des benchmarks d'IA traditionnels par la granularité des projets.
Chaque projet du RLI est une mission commerciale complète – avec un brief client, des fichiers d'entrée, des livrables multi-formats (couvrant 72 types de fichiers). Le temps médian passé par un professionnel humain pour terminer un projet est de 11,5 heures, avec une moyenne de 28,9 heures.
Il mesure la capacité de l'IA à accomplir de manière autonome, du début à la fin, un travail « pour lequel un client payerait », et non pas seulement à résoudre un problème dans un environnement isolé.
De 2,5 % à 16,1 % : que s'est-il passé en huit mois ?
Lors de la publication du RLI en octobre 2025, le modèle le plus performant, Manus, avait un taux d'automatisation de 2,5 %.
Par la suite, Opus 4.6 couplé à Claude Cowork a porté le record à 4,17 %.
Dans le dernier tour d'évaluation, trois nouveaux modèles associés à des frameworks d'agents plus puissants sont apparus simultanément, réalisant une amélioration en bond.
Derrière le score de 16,1 % de Fable 5, il y a plusieurs variables clés.
La première : Le framework d'agent a introduit une boucle « Worker-critic » : un « agent évaluateur » indépendant vérifie les livrables du point de vue d'un client exigeant -> ouvre les fichiers, capture des écrans, vérifie point par point le brief -> s'il trouve des problèmes, renvoie à l'« agent exécutant » pour modification. La boucle se poursuit jusqu'à satisfaction de l'évaluateur ou épuisement du budget.
Le CAIS estime que ce mécanisme permet de transformer un budget supplémentaire en une véritable amélioration de la qualité des livrables.
La deuxième : la configuration du budget elle-même diffère : Fable 5 a un budget maximum par projet de 150 dollars (en raison de son coût en tokens plus élevé), tandis que les autres modèles disposent de 50 dollars.
La troisième : tous les agents ont bénéficié d'une limite de temps de 24 heures, d'un GPU A100 et d'outils d'opération informatique.
Un point important à noter : l'évaluation de Fable 5 a été interrompue par les contrôles à l'exportation du gouvernement américain, et seulement 218 des 240 projets ont été achevés.
Le CAIS précise que les 22 projets non évalués sont répartis uniformément dans tous les domaines et niveaux de difficulté. Même en supposant que Fable 5 ait échoué sur tous les projets manquants, son taux d'automatisation serait encore de 14,6 % – restant supérieur à tous les autres modèles.
L'IA en tant que juge : pas fiable
Le CAIS a également testé en parallèle s'il était possible de remplacer l'évaluation humaine coûteuse par une évaluation automatisée par IA.
La conclusion est claire : non.
Lorsque l'évaluation automatisée, calibrée sur d'anciens modèles, est appliquée aux nouveaux modèles, elle surestime le score du GPT-5.5 de près de 3 fois, et celui de l'Opus 4.8 d'environ 2,5 fois.
L'ordre du classement est globalement correct, mais les valeurs absolues s'écartent fortement de la réalité.
La racine du problème est que l'évaluation elle-même est une tâche agentique difficile.
Pour juger équitablement un livrable, l'évaluateur doit ouvrir le fichier avec le bon logiciel professionnel, utiliser le logiciel, prendre une décision comme le ferait un client payant – et c'est précisément l'aspect le plus faible des agents actuels.
Le CAIS donne un exemple typique dans son blog : GPT-5.5 a soumis des rendus 3D falsifiés pour une tâche de modélisation ; la triche n'a été découverte qu'en ouvrant le modèle 3D pour vérifier la structure géométrique réelle.
Les juges IA rencontrent les mêmes limitations de capacité que les travailleurs IA.
Que signifie 16 %, et que ne signifie-t-il pas ?
L'hypothèse de « l'horizon temporel » s'est avérée invalide sur le RLI.
Cette hypothèse suggère que plus une tâche prend de temps à l'homme, plus elle est difficile pour l'IA. Elle s'avère pour certaines comme la programmation, mais pas pour le travail à distance diversifié couvert par le RLI.
Le taux de succès des modèles ne diminue pas avec l'augmentation du temps de réalisation humain, montrant des caractéristiques de « frontière en dents de scie » (« jagged frontier ») – les facteurs déterminant si l'IA peut accomplir un projet vont bien au-delà de la complexité temporelle.
La vitesse de progression est rapide, mais le niveau absolu reste très bas.
Le CAIS présente dans son blog trois cas de Fable 5 – modélisation 3D de bijoux, publicité animée 2D, plans d'architecture – dont aucun n'atteint un niveau professionnel pouvant être livré.
La conception de bague réalisée par Fable 5 est visuellement de bien meilleure qualité que celle des anciens modèles, mais un examen attentif révèle encore une conception de griffe (pave setting) grossière.
84 % des vrais projets de freelance restent hors de portée des capacités actuelles de l'IA.
La valeur du RLI réside dans le fait qu'il fournit une mesure étalonnée sur la valeur économique.
Il ne suit pas la capacité de l'IA à résoudre des problèmes, mais la capacité de l'IA à gagner de l'argent.
Le taux d'automatisation ayant plus que quadruplé en huit mois, cette vitesse mérite l'attention continue de toute entreprise et décideur politique dépendant de la main-d'œuvre à distance.
Les prochains points clés seront : les résultats de l'évaluation complémentaire des 22 projets restants de Fable 5, et la vitesse à laquelle cette courbe va grimper une fois que des modèles réellement nouveaux comme Gemini 3.5 Pro (actuellement seulement 1,25 %) et GPT-5.6 seront déployés – franchira-t-elle les capacités moyennes humaines à une vitesse exponentielle ?
Références :
https://labs.scale.com/leaderboard/rli
https://safe.ai/blog/significant-increase-in-digital-labor-automation
Cet article est tiré du compte WeChat « AI启示录 », auteur : ASI启示录
