Cette fois, Claude a créé un écart inégalé dans le classement de programmation IA !
Le classement MirrorCode vient d'être mis à jour, et Claude Fable 5 a reconquis la première place avec un taux de réussite absolu de 64 %.
GPT-5.6 Sol, qui le suit de près, n'a obtenu qu'un tiers de son score !
GPT-5.5, classé quatrième, est encore plus mal loti. Non seulement son résultat n'est que de 10 %, mais il se fait même écraser par son prédécesseur GPT-5.4.
Ce qui est encore plus surprenant, c'est que lorsque Fable 5 utilise des langages à ressources élevées comme Go, son taux de résolution est de 64 % ; lorsqu'il passe au langage moins courant Ada, son résultat reste élevé à 61 %.
Il faut savoir que dans le monde open source, les données linguistiques en Python sont environ 230 fois plus nombreuses que celles en Ada.
Mais avec Fable 5, le résultat ne baisse que de 3 points de pourcentage.
Cela devient intéressant.
Si le modèle se basait principalement sur la mémorisation de la syntaxe et des écritures courantes des langages populaires, alors ses performances avec Ada devraient baisser.
Les résultats actuels pointent vers une autre possibilité –
Les modèles les plus puissants ont commencé à se libérer de la traction des données linguistiques spécifiques, apprenant à construire un projet logiciel complet à partir de zéro.
Bloqué à la ligne d'achèvement de 100%, Test extrême de 100 milliards de tokens
Concrètement, le MirrorCode complet comprend 25 programmes cibles, couvrant des domaines tels que les outils Unix, les interpréteurs, les requêtes de données, la bio-informatique, la cryptographie et les outils de compression.
Ici, le modèle est placé dans un environnement isolé, sans internet, sans accès au code source du projet original, et ne peut pas télécharger de dépendances tierces. Il ne dispose que de documentation de haut niveau, d'une partie des tests visibles et d'un programme original qu'il peut appeler de manière répétée.
Ensuite, il doit continuellement fournir des données au programme original, observer la sortie pour deviner la logique interne, puis
écrire petit à petit un nouveau programme ayant un comportement cohérent.
Le dernier classement en sélectionne 15 cibles de niveau Medium et Large. Chaque cible utilise deux langages d'implémentation, chaque langage étant exécuté trois fois.
De plus, le taux d'achèvement des tests visibles et cachés doit atteindre 100% pour être considéré comme réussi, 99,9% ne suffit pas.
Si un seul cas limite est manqué, toute l'exécution est toujours comptée comme un échec.
Pour forcer le modèle à combler les derniers manques, MirrorCode a poussé le budget par exécution à 100 milliards de tokens, permettant une exécution continue jusqu'à 7 jours.
La tâche la plus coûteuse mentionnée dans l'article est encore plus exagérée : le modèle a fonctionné en continu pendant 19 jours, avec un coût unique atteignant 2600 dollars.
Pendant ces 19 jours, le modèle exécute répétitivement le programme original, compare les résultats, complète les fonctionnalités, puis relance les tests. En cas d'erreur, il en cherche la cause ; si la sortie ne correspond pas, il change d'hypothèse ; une fois qu'une partie est réussie, il passe à la suivante.
L'ensemble du processus ressemble plus à un débogage qui dure plusieurs jours qu'à une simple génération.
L'exemple de gotree est le plus parlant.
Cet outil de bio-informatique comprenait à l'origine environ 16 000 lignes de code Go et plus de 40 commandes.
Claude Opus 4.7 a pris 14 heures et 251 dollars, réussissant 2000 des 2001 tests, soit un taux d'achèvement de 99,95%.
Bien qu'il ait manqué un cas limite obscur traitant des commentaires de date, bloqué par la ligne d'achèvement à 100% de MirrorCode, il a compressé un travail qui se comptait en semaines en quelques heures –
Epoch estime que sans IA, un ingénieur humain aurait besoin d'au moins 2 à 17 semaines pour accomplir la même tâche.
Dans le désert de données, Fable 5 ne perd que 3 points
L'article sur MirrorCode a utilisé le mélange d'entraînement public de StarCoder comme référence.
Dans celui-ci, Python représente environ 8 %, Ada seulement 0,034 %, le premier étant environ 230 fois plus présent que le second.
Bien sûr, nous ne pouvons pas savoir combien de code Ada les modèles privateurs ont réellement vu. Mais en prenant l'écosystème public comme référence, la rareté d'Ada est déjà assez évidente.
Ce langage apparaît principalement dans l'aérospatiale, la défense et autres systèmes critiques pour la sécurité. Que ce soit la taille de la communauté, le nombre de tutoriels ou les projets open source, il est loin d'égaler Python, JavaScript ou Go.
Et Fable 5 ne fait clairement pas qu'une traduction phrase par phrase du code Go vers Ada.
Il semble plutôt d'abord comprendre comment fonctionne exactement le programme original, puis changer de langage pour reconstruire le même comportement.
En comparaison, les autres modèles sont moins stables.
GPT-5.6 Sol passe de 24% à 19%, GPT-5.4 de 21% à 12%, et GPT-5.5 chute même de 17% à 5%. Dès que le langage change, l'écart s'accentue immédiatement.
Confier tout un projet à l'IA
Aujourd'hui, Cursor a permis à des centaines d'agents de collaborer pendant près d'une semaine pour écrire, à partir de zéro, plus d'un million de lignes de code de navigateur réparties dans 1000 fichiers.
Anthropic a, quant à lui, fait fonctionner en parallèle 16 agents Claude pendant près de 2000 sessions, finissant par construire un compilateur C de 100 000 lignes capable de compiler le noyau Linux 6.9.
Dans les échantillons d'utilisateurs individuels Codex d'OpenAI jusqu'en mai, 70,2% avaient soumis au moins une tâche estimée représenter plus d'une heure de travail humain ; 25,6% avaient soumis une tâche de plus de huit heures.
L'unité de travail confiée à l'IA passe d'un morceau de code, d'un bug, à un après-midi, une semaine, voire tout un projet.
Les 64% de MirrorCode sont précisément une quantification de ce type de « délégation au niveau projet ».
Cela montre que tant que l'objectif est suffisamment clair et que les résultats peuvent être validés automatiquement, les modèles de pointe peuvent déjà réaliser indépendamment une partie des logiciels de moyenne à grande taille.
Pour chaque personne qui confie déjà du travail à l'IA, le changement est à portée de main –
Auparavant, vous deviez surveiller chaque ligne de code qu'elle écrivait. Désormais, vous serez plus susceptible de vérifier seulement aux points clés si elle ne dévie pas.
Le code deviendra de moins en moins cher.
Et ceux qui savent formuler clairement les problèmes et vérifier les résultats deviendront de plus en plus précieux.
Référence : https://epoch.ai/MirrorCode
Cet article provient du compte public WeChat « New Zhiyuan », auteur : ASI Apocalypse ; éditeur : Moïse
