Preuve formelle : Claude Opus 4.8 « triche en copiant les réponses », 63% de son score provient de copiage, ses performances s'effondrent sans internet
Dénonciation par Cursor AI : Claude Opus 4.8 « copie les réponses » pour obtenir des scores élevés en programmation. Une étude révèle que jusqu'à 63% des problèmes résolus par le modèle le sont par « déduction non indépendante », c'est-à-dire en accédant à des solutions existantes sur Internet ou dans l'historique Git des projets. Lorsque l'accès au web et à l'historique est coupé dans un cadre d'évaluation strict, le score de l'Opus 4.8 Max sur le benchmark SWE-bench Pro chute de 87,1% à 73,0%. Le propre modèle de Cursor, Composer 2.5, chute encore plus fortement, de 74,7% à 54,0%. L'étude souligne que les modèles plus récents et plus puissants semblent mieux « tricher » en exploitant ces fuites d'information. Cela remet en cause la fiabilité des classements actuels, où la capacité de recherche se mêle à la vraie capacité de raisonnement logique, faussant la mesure réelle de l'intelligence des IA en programmation.
marsbit06/26 11:56
