Tout le monde sur Internet dit que le niveau Max de GPT-5.6 Sol est devenu plus stupide, OpenAI insiste sur le fait qu'il n'y a pas eu de réduction d'intelligence, juste "une expérience". Dans cette expérience, le bouton ajusté, le niveau Max est passé de 960 à 128, invisible pour l'utilisateur.
En se réveillant, GPT-5.6 Sol est devenu stupide !
Une équipe japonaise d'études de marché, peu après le début de leur journée de travail, a remarqué que leur Codex Sol MAX ne fonctionnait pas comme d'habitude. Le chef d'équipe a écrit un long post sur son expérience du matin et l'a posté sur r/codex de Reddit.
À 9h du matin, l'équipe a commencé comme d'habitude. Vers 10h40, chaque membre a remarqué la même chose.
Ils avaient branché Codex Sol MAX sur un outil CLI développé en interne, spécialisé dans des tâches nécessitant des calculs extrêmement complexes et un raisonnement profond.
Au début, Codex Sol MAX était à la hauteur des attentes, si on lui demandait un niveau 10, il livrait constamment du 12, du 13, c'était un "monstre dépassant largement les attentes", "tout le monde en était incroyablement satisfait".
Mais ce matin-là, les performances de ce "monstre" ont soudainement chuté, tombant à 8.
La profondeur du raisonnement avait clairement été réduite.
Avant cela, Codex Sol MAX passait plus de dix minutes sur un prompt, essayant, raisonnant, appelant leurs outils de manière répétée, jusqu'à ce que le travail soit parfaitement réalisé.
Mais cette capacité avait "complètement disparu" ce matin-là.
Tout le monde sur Internet trouve qu'il est "devenu stupide"
L'expérience de cette équipe japonaise n'est qu'un exemple parmi les plaintes de la communauté Codex ces derniers jours.
Les plaintes sont très similaires : le modèle est effectivement devenu plus rapide, les réponses arrivent plus rapidement, mais il refuse d'approfondir. L'ancienne attitude consistant à d'abord étudier, puis agir, en se remettant en question pendant l'action, a disparu.
Une phrase d'un internaute sur X résume la sensation de tous :
Le niveau de raisonnement de tout le monde a été collectivement abaissé d'un cran - si vous utilisiez Extra High auparavant, vous devez maintenant le passer à Max pour retrouver la même puissance.
Ce changement est impossible à prouver pour l'utilisateur lambda.
Vous ne pouvez pas voir si les poids du modèle ont changé, ni la puissance de calcul que le serveur vous alloue.
Vous ne percevez que quatre choses : la rapidité de sa réponse, la longueur de sa réflexion, s'il se relit, s'il fait appel à d'autres agents pour travailler ensemble.
Tout cela sont des signaux indirects, rien n'est écrit sur la fiche technique du modèle.
Ainsi, des membres de la communauté ont cherché par eux-mêmes et ont découvert un paramètre interne qu'OpenAI n'a jamais rendu public : la "juice value".
Un chiffre jamais mentionné officiellement
OpenAI n'a officiellement parlé que des niveaux de raisonnement.
Lors de la sortie de GPT-5.6 le 9 juillet, la formulation officielle était qu'il introduisait pour la première fois une intensité de raisonnement max, "permettant à Sol d'avoir suffisamment de temps pour un raisonnement en profondeur". Au-dessus, il y a ultra, qui lance par défaut quatre agents en parallèle.
Dans ChatGPT, cela se traduit par les options du sélecteur de modèle : Medium, High, Extra High, qui exécutent tous Sol en arrière-plan, le niveau Pro exécute Sol Pro.
La "juice value" est ce qui se cache sous ces niveaux : le budget interne de puissance de calcul pour le raisonnement. L'utilisateur ne le voit pas, et OpenAI n'a jamais publié ses valeurs.
L'utilisateur ns123abc a utilisé un prompt caché appelé "empreinte du modèle" pour lire dans la configuration système cette valeur : juice.
La communauté avait précédemment observé que le niveau max de Sol correspondait à 960. Cette fois, l'écran affichait 128, une baisse d'environ 87%.
Presque simultanément, un autre ensemble de captures d'écran a commencé à circuler : le contexte utilisable réellement par l'utilisateur dans le client Codex est passé d'environ 372k à 272k.
Ces deux chiffres ont rapidement enflammé toute la communauté.
Tibo : Pas de réduction d'intelligence, nous enquêtons sur la consommation
Le soir même, Tibo (Thibault Sottiaux) est intervenu. Il est responsable de Codex et ChatGPT Work chez OpenAI.
Tibo a posté une mise à jour sur X, commençant par dire : Pas de nerf (réduction d'intelligence), seulement de bonnes choses.
Puis, il a insisté sur quatre points d'un coup.
Premier point, l'optimisation de l'efficacité du raisonnement est en ligne, la puissance de calcul économisée est restituée à tous les abonnés, cela seul libère environ 10% d'utilisation supplémentaire.
Deuxième point, la limite de contexte de Sol a été augmentée de 272k (GPT-5.5) à 372k, ce qui a entraîné des frais plus élevés que prévu. C'est maintenant revenu à 272k, et 372k sera réintroduit dans les prochains jours.
Troisième point, pour comprendre d'où vient la consommation supplémentaire, l'équipe a mené des expériences, modifiant l'intensité du raisonnement (reasoning effort), appelée en interne "juice values".
C'est maintenant revenu à la normale.
Quatrième point, l'appel multi-agents sur les niveaux high et xhigh est plus élevé que prévu, et il y a du gaspillage du côté de l'auto-review, tout cela est en cours de correction.
Le post de Tibo revient à dire : Ce n'est pas une "réduction d'intelligence", c'est un "ajustement de paramètres".
Il n'a pas mentionné si les poids du modèle avaient été modifiés. Mais il a reconnu que la configuration effectivement reçue par l'utilisateur avait été modifiée.
Qu'est-ce que "juice" exactement ? D'après les informations publiques disponibles, cela semble plus proche d'un marqueur interne de configuration des ressources de raisonnement, grosso modo, la quantité de ressources de raisonnement que le système autorise le modèle à consacrer à une tâche.
Bien qu'une réduction du budget ne signifie pas "affaiblissement du modèle", cela peut changer discrètement beaucoup de choses :
Combien de chemins peuvent être explorés dans une tâche longue, combien de tours de comparaison entre plusieurs solutions, si du code généré exécutera activement des tests, combien de fois il acceptera de revenir en arrière après un échec, et cette petite partie des "capacités de longue traîne" qui font la différence dans les tâches extrêmement difficiles, etc.
En fin de compte, cela représente à quel point le modèle est prêt à réfléchir sur une tâche.
Pour mettre fin à ce débat, il faudrait une expérience rigoureusement contrôlée : un même instantané du modèle, un même lot de tâches, le même ensemble d'environnements d'outils, en ne modifiant que la variable "juice".
Pour voir à quel point le codage complexe, les agents de longue durée, le raisonnement mathématique et la récupération d'erreurs chuteraient.
Cette preuve est toujours absente à ce jour.
Chaque token économisé par le fournisseur, l'utilisateur le ressent
Revenons à cette expérience mentionnée par Tibo. Comment est-elle survenue ?
Après le lancement de GPT-5.6, la demande a explosé.
OpenAI a temporairement levé la limite d'utilisation de la fenêtre de cinq heures pour absorber l'afflux massif d'appels.
Et les nouveautés les plus marquantes de GPT-5.6 : une réflexion plus longue au niveau max, ultra lançant par défaut quatre agents en parallèle, une plus grande fenêtre de contexte, sont précisément des monstres dévoreurs de tokens.
La consommation supplémentaire provient précisément de là.
D'où cette expérience. Pour comprendre les comptes, baisser d'abord la variable du budget, voir où va la consommation, cela a parfaitement du sens d'un point de vue technique.
Mais le problème est là : les économies de tokens du côté du fournisseur sont perceptibles du côté de l'utilisateur, la plus évidente étant que le modèle "ne veut plus réfléchir".
La variable modifiée est justement celle que l'utilisateur peut sentir.
L'IA ne "fait plus de miracles", elle commence à pointer
Ces dernières années, les entreprises de grands modèles ont apporté une imagination quasi religieuse.
Les gens considéraient aussi les modèles comme des oracles, espérant qu'ils produisent une nuit une réponse à laquelle l'homme n'avait pas pensé, même si pour cela ils étaient un peu plus lents, plus chers, occasionnellement fous, on pouvait l'accepter.
Mais les miracles de laboratoire peuvent être sans limite de coût, ce n'est plus possible lorsqu'il s'agit d'infrastructures industrielles en production.
Ainsi, les modèles de pointe comme Sol commencent à passer d'un prophète faisant occasionnellement des "miracles" en laboratoire, à un moteur fonctionnant en continu dans les flux de travail quotidiens.
Derrière cela, il y a plus une domestication de l'intelligence, et cette controverse a exposé le processus en public. En même temps, l'illusion des utilisateurs sur une "intelligence fixe" va prendre fin.
S'abonner à un modèle, c'est plus comme acheter une ampoule : le modèle est fixe, mais le bouton de luminosité est toujours entre les mains de la plateforme.
Cela peut être un choix commercialement correct, mais il ne devrait pas rester à jamais caché dans une boîte noire.
Si l'IA doit vraiment devenir l'infrastructure des entreprises, les fournisseurs doivent donner des limites plus concrètes que le nom du modèle, pour que les utilisateurs comprennent ce qu'ils achètent avec leur Max, ce qui est garanti.
Sinon, ce n'est qu'une étiquette de prix.
Références :
https://x.com/thsottiaux/status/2076495156757577895
https://x.com/FixlationAI/status/2076469274441380349
https://www.reddit.com/r/codex/comments/1uuy5eq/nerfed_codex_sol_max/
Cet article provient du compte WeChat public "新智元", auteur : 元宇
