Claude est soudain devenu plus bête, tout le web en parle !
C’était hier, le développeur argofowl a passé tout un après-midi à fouiller Claude Code dans tous les sens.
Il a mené l’enquête, soupçonnant d’abord un plantage de t3 code, puis pensant à un bug dans son propre code.
À la fin, il a même commencé à douter – et si c’était son Mac qui était cassé ?
Quand argofowl a finalement ouvert les journaux de requêtes réelles de l’API, la vérité a éclaté au grand jour, un chiffre « 10 » y était clairement inscrit.
Pourtant, dans l’interface de Claude Code, il avait bien sélectionné « high », le niveau de raisonnement maximum.
Qui aurait cru que les notes de mise à jour de Claude Code n’en mentionneraient pas un mot.
Le raisonnement « high » devient 10
La bêtise de Claude Code exposée
argofowl a découvert qu’à partir de Claude Code 2.1.237, le modèle interprétait le niveau de raisonnement « high » comme 10 sur 100.
Ce chiffre correspondait précisément à la valeur autrefois associée au niveau « low ».
En creusant, il est apparu qu’Anthropic avait inclus les sessions Fable 5 des versions Claude Code 2.1.236 et supérieures dans une expérience de « compression de l’échelle des valeurs d’effort ».
Cependant, les anciennes versions et Opus 5 n’étaient pas affectées.
Il s’agissait très probablement d’un test A/B, donc tout le monde n’y était pas confronté.
Pour les développeurs, c’était là le vrai problème. Un modèle un peu plus fort ou un peu plus faible, on peut encore le supporter.
Mais si vous me placez dans le groupe expérimental sans me le dire : alors sur quoi ai-je passé mon après-midi à déboguer ? Sur mon propre code, ou sur votre test A/B ?
Après le partage du blogueur tech Chubby, le cercle de l’IA a explosé –
Apparemment, Anthropic a discrètement rendu le modèle plus bête, sans en informer personne.
En un instant, X a été inondé de posts d’autotest « Claude est-il devenu plus bête ? ».
Certains ont posté des comparaisons de sorties pour le même prompt sur différentes versions, d’autres ont ressorti leurs historiques de conversation d’il y a deux semaines pour faire un diff ligne par ligne.
Anthropic reconnaît ses torts, un ingénieur intervient
Face à cette tempête, la réponse de l’ingénieur Claude Code Thariq Shihipar est arrivée rapidement.
Nous testons parfois les configurations de service de l’API d’abord dans Claude Code, avant de décider d’un déploiement complet.
L’expérience en cours ne modifie que la manière dont les valeurs d’effort sont mappées. C’est pourquoi certaines personnes voient Claude indiquer « 10 ».
Le point clé est que cette échelle n’est pas de 0 à 100, ce chiffre seul n’a aucune signification, l’effort que vous sélectionnez est l’effort que vous obtenez.
Il a souligné que l’équipe avait mené des évaluations approfondies pour confirmer que cela n’affectait pas les performances du modèle.
La grande dégradation d’Opus 5 est réelle
À peine le problème de Fable résolu, Chubby a déclaré carrément qu’Opus 5 donnait maintenant l’impression d’une dégradation significative.
Il est toujours superficiel, commet fréquemment des erreurs basiques. Dès qu’on lui fait remarquer qu’il n’a pas suivi les instructions, il se contente de répondre mécaniquement –
Vous avez raison, c’est un oubli de ma part. Il répète cela sans fin.
En fait, il y a quelques jours déjà, certains avaient remarqué le problème évident de « dégradation intellectuelle » d’Opus 5.
Outre les problèmes mentionnés ci-dessus, il crée aussi des bugs, puis passe un temps considérable à les corriger, s’auto-corrigeant de manière répétée dans la même tâche.......
Après avoir été interrogé par les internautes, l’ingénieur Thariq a publiquement reconnu – Opus 5 est un modèle aux « performances très instables », avec des hauts et des bas, pas stable.
L’équipe interne travaille activement à résoudre ce problème, c’est pour nous une priorité absolue.
Les benchmarks toujours à la hausse
La perception utilisateur en chute libre
Cette controverse autour d’Opus 5 met à nu en réalité la faille la plus gênante de toute l’industrie :
Les benchmarks et la perception utilisateur se découplent systématiquement.
D’un côté, des feuilles de résultats brillantes, presque irréprochables : score composite 82.72, SWE-bench Pro 79.2%, Terminal-Bench 86.7%.
De l’autre, la perception radicalement opposée des utilisateurs : « bavard », « paresseux », « aime contester ».
Le plus absurde est que les deux types d’évaluation coexistent pour Opus 5.
Et le phénomène du « modèle qui devient plus bête » n’est pas un problème exclusif à Anthropic.
Aujourd’hui, les mises à jour des grands modèles deviennent la boîte noire la plus opaque de toute l’industrie de l’IA.
Les logiciels traditionnels ont des numéros de version sémantiques, des notes de mise à jour, des mécanismes de retour arrière. Les développeurs savent clairement quelle version ils utilisent et quels changements ont eu lieu.
Les grands modèles, c’est différent.
Sous le même nom de modèle, le serveur peut à tout moment effectuer des tests A/B, changer le schéma de quantification, ajuster le routage des modèles, voire modifier les ressources de raisonnement.
Le seul tableau de bord dont disposent les gens est leur propre perception.
Or l’intuition est justement la chose la plus facile à rejeter et la plus difficile à prouver ou réfuter.
La plus grande valeur de cette controverse est d’avoir exposé au grand jour une faille latente de longue date dans l’industrie :
Lorsque le modèle devient une infrastructure, la stabilité est un contrat de confiance. Les benchmarks peuvent servir au marketing, la stabilité ne peut être acquise que par une concrétisation répétée.
Références :
https://x.com/trq212/status/2091252347913773169?s=20
https://x.com/kimmonismus/status/2091178321669198014
Cet article provient du compte public WeChat « 新智元 », auteur : ASI启示录, éditeur : 桃子
