Un modèle plus grand équivaut-il à plus d’intelligence ?
【Préambule】 Un modèle plus grand équivaut-il à plus d’intelligence ? C’est peut-être le plus grand malentendu des utilisateurs de Claude Code. Nombreux sont ceux qui sont ainsi passés au Fable, le plus cher. Récemment, Anthropic a lui-même clarifié ce malentendu.
Avez-vous déjà eu ce sentiment : lorsque Claude Code échoue à écrire du code, votre premier réflexe est de passer immédiatement à un modèle plus puissant.
Mais cette approche, souvent, ne fonctionne pas, et vous fait même gaspiller de l’argent.
Il y a peu, Anthropic a publié un long article officiel consacré à ce sujet.
Le long article officiel d'Anthropic
La raison est que trop de gens confondent les deux options dans Claude Code :
L’une est le choix du modèle (Model), l’autre est le niveau d’effort (Effort).
Le long article officiel d'Anthropic
Autrefois, la compréhension de ces deux options était simple : un modèle plus grand rend l’IA plus intelligente ; augmenter l’Effort, c’est simplement la laisser réfléchir un peu plus longtemps.
Et c’est précisément en mars de cette année que ce malentendu a provoqué une confusion considérable.
À l’époque, de nombreux développeurs ont découvert que leur Claude Code était soudainement devenu « plus bête ». Il ne lisait pas les fichiers qu’il devait lire, ne lançait pas les tests qu’il devait lancer, abandonnait les tâches à mi-chemin, et vous demandait à la place plus d’informations.
Dès lors, les critiques se sont multipliées sur GitHub.
Le coup le plus dur est venu de Stella Laurenzo, responsable IA chez AMD.
Sur GitHub, elle a examiné les logs de 6852 sessions, constatant que la quantité de réflexion de Claude avait chuté de 67 % par rapport à avant février, et a déclaré :
Claude ne peut plus être considéré comme fiable pour des tâches d’ingénierie complexes.
Claude ne peut plus être considéré comme fiable
Au début, beaucoup ont cru que leurs prompts étaient mal rédigés, ou qu’il y avait une erreur de configuration quelque part. Ce n’est qu’après avoir beaucoup tâtonné qu’ils ont compris : le problème n’était pas de leur côté, c’est Anthropic qui avait modifié un paramètre en douce.
Le 4 mars, pour réduire la latence, ils ont abaissé le niveau par défaut de l’option Effort dans Claude Code, de « high » à « medium ».
Le journal des mises à jour officiel l’indiquait, mais la plupart des gens ne l’ont pas remarqué ; ils ont simplement senti que leur modèle était devenu inexplicablement plus stupide.
Après avoir tenu bon pendant un mois, Anthropic a rétabli le niveau par défaut le 7 avril et a même réinitialisé le quota d’utilisation pour tous les abonnés.
C’est à ce moment-là que la plupart des gens ont réalisé que cet interrupteur était sous leur nez depuis le début, déterminant en secret si l’IA était prête à travailler à plein régime pour vous.
Model change le cerveau, Effort change l’attitude
La clarification d’Anthropic peut se résumer simplement ainsi :
Model change le cerveau, Effort change l’attitude.
Commençons par Model, qui change le cerveau.
Chaque modèle repose sur un ensemble de « poids gelés ». Ses capacités et ses connaissances sont figées au moment où l’entraînement se termine : lecture seule, immuables.
Cela signifie que les prompts, le CLAUDE.md, le code collé dans le contexte pendant l’inférence ne modifient en rien ces poids : vous pouvez le guider, mais vous ne pouvez pas « l’entraîner ».
Changer de modèle, c’est essentiellement faire appel à un tout nouvel ensemble de poids pour exécuter votre tâche, donc cela résout la question de « savoir si c’est capable ».
Une bibliothèque qui n’existait pas lors de l’entraînement du modèle, si vous lui en donnez toute la documentation, elle peut apprendre à l’utiliser à la volée, mais cela ne vaut que pour cette requête ; le modèle lui-même n’en retient pas un mot et l’oublie aussitôt.
Qu’il invoque parfois sérieusement une API qui n’existe pas, c’est la même logique. Ce n’est pas qu’il a consulté, c’est que les poids, suivant les vieilles habitudes de l’entraînement, ont assemblé quelque chose de toutes pièces.
Regardons d’un peu plus près, c’est encore plus clair. Votre ligne de code `const x = await fetch`, aux yeux du modèle, est d’abord découpée en tokens, chacun étant remplacé par un numéro dans le vocabulaire.
Source : Article de blog officiel d'Anthropic
Votre ligne de code, une fois découpée en tokens, correspond chacun à un entier dans le vocabulaire : const est 1078, await est 2597, le vocabulaire compte environ 100 000 mots. Ce que le modèle reçoit n’est jamais du texte, mais cette séquence de chiffres.
Le modèle ne produit pas la réponse d’un seul coup. Il prédit un token à la fois, l’ajoute, recalcule l’ensemble, et prédit le suivant. Une réponse de deux cents tokens, c’est deux cents calculs complets.
Le temps que vous attendez, l’argent que vous brûlez, l’essentiel est dans cette boucle.
Ensuite, Effort, qui change l’« attitude ».
Beaucoup pensent qu’un Effort élevé signifie simplement « réfléchir quelques secondes de plus ». Erreur.
Cela gère la quantité de travail que Claude est prêt à investir dans cette tâche : combien de fichiers lire, exécuter ou non les tests, effectuer des vérifications supplémentaires, pousser une tâche en plusieurs étapes jusqu’au bout avant de revenir vers vous.
En clair : un Claude en Effort faible a tendance à répondre rapidement, puis à vous demander plus de contexte à son tour, évitant d’agir autant que possible ; un Claude en Effort élevé a tendance à aller chercher lui-même des informations, à utiliser les outils plusieurs fois, à exécuter d’une traite les longues chaînes de tâches.
Effort dans Claude Code est divisé en plusieurs niveaux. Ne le voyez pas comme une simple ligne budgétaire rigide de tokens.
C’est un signal comportemental, qui indique à Claude jusqu’où pousser le travail, avec quelle certitude le considérer comme terminé. La réponse textuelle, les appels d’outils, la réflexion étendue, tout relève de sa juridiction.
Les développeurs ont même publié un schéma : pour le même prompt, un Effort élevé peut générer environ 7 fois plus de tokens qu’un Effort faible. Ce qui est en plus est entièrement consacré à la lecture de fichiers, à l’exécution de vérifications, à des confirmations répétées.
Source : Article de blog officiel d'Anthropic
Pour le même prompt, le chemin avec un Effort élevé génère environ 7 fois plus de tokens que celui avec un Effort faible, le surplus étant entièrement consacré à la lecture de fichiers, à l’exécution de vérifications, à des confirmations répétées.
Ici se cache une conclusion contre-intuitive : un petit modèle avec un Effort élevé peut tout à fait surpasser un grand modèle avec un Effort faible.
Incapable, ou pas assez d’efforts
Connaître la répartition des rôles est utile, mais le cadre de décision fourni par les développeurs l’est encore plus.
Source : Article de blog officiel d'Anthropic
Cadre de décision officiel : quand Claude se trompe, demandez-vous d’abord s’il n’est pas assez intelligent ou pas assez assidu, puis décidez de changer de modèle ou d’augmenter l’Effort.
Quand Claude échoue, ne vous précipitez pas pour toucher à l’option du modèle.
La première étape est toujours de revérifier le contexte : le prompt est-il clair ? Les outils nécessaires sont-ils fournis ? Le CLAUDE.md est-il bien appairé ? La plupart des cas d’« IA devenue bête » trouvent leur origine ici, pas dans l’option du modèle.
Si le contexte est correct et qu’il se trompe quand même, posez-vous cette question : est-il incapable, ou pas assez assidu ?
« Pas assez d’efforts », c’est facile à juger : il saute des fichiers qu’il devrait lire, ne lance pas les tests, revient vous poser des questions à mi-chemin d’une refactorisation : ce qui lui manque, ce n’est pas le cerveau, c’est l’investissement.
C’est une question d’Effort, vous pouvez monter d’un cran.
Si c’est « incapable », c’est une autre situation : vous avez fourni un contexte suffisant, il a clairement fait des efforts, mais il se trompe quand même, et même si vous reformulez, il se trompe encore.
À ce stade, augmenter l’Effort est inutile, c’est une question de modèle : il faut passer à un plus puissant.
Les développeurs ont aussi fait une analogie très parlante.
Sonnet, c’est le couteau-suisse qui dispose d’un après-midi entier.
Il lira votre code du début à la fin, l’exécutera, le vérifiera, et finira par vraiment comprendre votre travail.
Opus, c’est l’expert à qui vous donnez cinq minutes. Il apporte une expérience que votre base de code n’a tout simplement pas, les pièges vus, les erreurs à éviter, toute cette intuition accumulée en résolvant une pile de problèmes similaires. Mais cinq minutes, c’est court, juste assez pour un coup d’œil, pas pour parcourir tous les fichiers.
Fable, c’est le spécialiste que l’on appelle quand tout le monde est bloqué. Même avec seulement cinq minutes, il peut repérer d’un coup d’œil ce défaut que personne d’autre n’a vu.
Bien sûr, cet expert est aussi le plus cher par token, à réserver pour les os vraiment durs que personne d’autre ne peut traiter.
D’où cette conclusion contre-intuitive :
Un Sonnet en Effort élevé peut vraiment surpasser un Opus en Effort faible sur de nombreuses tâches. Un petit modèle doté d’un contexte suffisant et d’un investissement élevé peut accomplir bien plus que vous ne l’imaginez.
Source : Article de blog officiel d'Anthropic
Sur les tâches longues, en plusieurs étapes, Fable creuse le plus grand écart ; dans les tests officiels, certaines tâches sont hors de portée d’Opus et de Sonnet, quel que soit leur niveau d’Effort.
Après la course aux classements de modèles, assigner des tâches à l’IA devient un véritable savoir-faire
Cette explication officielle, en surface, vous apprend à régler les paramètres, mais en réalité, elle marque un virage important :
La compétition en programmation IA passe de « quel modèle est le plus fort » à « qui sait le mieux orchestrer les agents intelligents ».
Avant, c’était simple : l’humain choisissait le modèle le plus fort et lui confiait tout le reste.
Maintenant, c’est différent. Vous devez, comme un chef de projet, attribuer des rôles différents à différents modèles, définir différents niveaux d’investissement :
Les modifications simples à Sonnet en basse consommation, réponse rapide et économique ; les grandes refactorisations sur un modèle puissant en haute consommation ; les tâches d’agent intelligents qui doivent s’exécuter seuls longtemps, modèle puissant avec un Effort maximal.
Ces opérations permettent non seulement de mieux accomplir le travail, mais ce qui est économisé, ce sont de vrais tokens sur la facture.
Le niveau supplémentaire « ultracode » dans le menu Effort de Claude Code intègre cette « orchestration » dans le produit.
En le sélectionnant, Claude bénéficie de la puissance d’un Effort xhigh, plus une autorisation : face à un travail substantiel, il évalue s’il doit ou non mobiliser une équipe d’agents pour diviser la tâche et la réaliser en parallèle.
Revenons sur la controverse du « devenir bête » en mars.
Elle a pu secouer toute la communauté précisément parce que la plupart des gens en étaient encore à l’ancienne mentalité du « changement de modèle », inconscients de cette option Effort bien plus cruciale à portée de main.
L’ère où l’on ne regardait que les classements de modèles est en train de passer. Orchestrer les modèles devient une compétence centrale.
Celui qui apprendra le premier à assigner des tâches à l’IA pourra prendre une longueur d’avance et utiliser ce Claude qui est vraiment prêt à travailler dur pour vous. Sinon, le modèle le plus cher que vous avez entre les mains ne sera rien de plus qu’une barre de recherche plus coûteuse.
C’est ainsi que chaque token que vous brûlez sera vraiment utilisé à bon escient.
Références :
https://claude.com/blog/claude-model-and-effort-level-in-claude-code
https://x.com/ClaudeDevs/status/2074900291062034618?s=20
https://platform.claude.com/docs/en/managed-agents/multi-agent
Éditeur : Yuanyu
Cet article provient du compte officiel WeChat « New Zhiyuan », auteur : ASI Apocalypse
