Rédacteur|Sia
Alors que le PDG de Cursor, Michael Truell, révélait qu'OpenAI prévoyait de bloquer l'accès à ses modèles pour les utilisateurs de Cursor dans trois mois, marquant un brusque refroidissement des relations entre les deux parties, OpenAI Codex a soudainement pris une nouvelle initiative.
À l'instant, ces utilisateurs payants ont soudainement bénéficié d'une reconstitution de leurs quotas – le responsable de Codex, Tibo, a annoncé sur Twitter qu'il réinitialiserait le quota d'utilisation pour tous les utilisateurs payants de Codex et ChatGPT Work.
Cette fois-ci, il ne s'agit pas simplement d'offrir un peu plus gratuitement.
Tibo a indiqué qu'ils avaient récemment traité des milliers de retours d'utilisateurs et avaient pratiquement retourné le mécanisme de calcul de l'utilisation derrière Codex. Leur conclusion : l'impression des utilisateurs que leur quota partait trop vite n'était pas entièrement une illusion.
Après la correction d'une série de bugs, et selon les modes d'utilisation, ils estiment que : avec le même quota Codex, il est désormais possible de tenir 10% à 50% de plus qu'auparavant. Le chiffre du quota peut être inchangé, mais la quantité de travail réellement réalisable a augmenté.
La liste des problèmes publiée cette fois-ci ressemble presque à un « Manuel de la manière dont l'Agent IA consomme discrètement des Tokens ». Certains de ces bugs, bien qu'apparaissant mineurs, pouvaient brûler le quota de manière impressionnante.
Une seule tâche pouvait consommer jusqu'à 70% du quota hebdomadaire
OpenAI a d'un coup listé 8 catégories de problèmes identifiés et corrigés.
Le premier concerne la compression de contexte (Compaction). Lorsque les outils de programmation IA fonctionnent longtemps, le contexte devient de plus en plus vaste. Le système compresse généralement les informations historiques pour pouvoir continuer à travailler.
Le problème était qu'auparavant, lorsque Codex effectuait une compression de contexte, il laissait les anciennes images dans le contexte. Résultat : alors que la compression avait pour but de réduire la taille du contexte, les anciennes images non supprimées maintenaient un contexte volumineux, suffisamment pour déclencher presque immédiatement une autre compression.
Une situation quelque peu surréaliste est alors apparue : la compression, destinée à économiser du contexte, commençait elle-même à en consommer davantage. Après avoir corrigé ce problème, OpenAI a constaté une baisse d'environ 10% de l'utilisation pour les utilisateurs exploitant massivement des images.
Mais ce n'était pas le plus flagrant. Le véritable tueur de quota provenait du mécanisme d'objectifs de tâche (Goals) de Codex.
OpenAI a découvert que dans certains cas, alors que l'objectif /goal défini par l'utilisateur était déjà accompli, l'Agent ne s'arrêtait pas comme prévu et continuait à s'exécuter.
Une autre situation : un outil était manifestement défaillant, mais le modèle continuait à tenter de le réessayer. La tâche semblait terminée, mais l'IA continuait à travailler en arrière-plan.
OpenAI a déclaré avoir observé, dans certains cas, que ce seul problème pouvait consommer de 15% à 70% du quota hebdomadaire d'un utilisateur. Autrement dit, dans des cas extrêmes, une tâche anormale pouvait directement engloutir les deux tiers du quota hebdomadaire. Ce problème est désormais également corrigé.
Une tâche en arrière-plan a même failli s'exécuter 15 000 fois
Un autre problème est apparu dans le système de mémoire (Memory).
Dans certaines circonstances, le "Memory Worker" en arrière-plan de Codex pouvait hériter de certains "Stop Hooks". En principe, les Stop Hooks servent à contrôler quand une tâche doit s'arrêter. Mais avec ce bug, certaines tâches en arrière-plan, au contraire, pouvaient continuer à s'exécuter indéfiniment car les conditions d'arrêt n'étaient pas satisfaites.
Ce problème affectait en réalité moins de 1% des utilisateurs. Le hic est que les cas extrêmes étaient anormalement exagérés. OpenAI a mentionné avoir même découvert un cas où l'action du système vérifiant si une tâche pouvait se terminer aurait pu s'exécuter jusqu'à 15 000 fois.
Pour la grande majorité des utilisateurs, ce bug pouvait passer totalement inaperçu. Mais pour ceux qui le rencontraient, les Tokens pouvaient s'évaporer silencieusement en arrière-plan. Une sensation probablement similaire à celle d'un ordinateur dont le ventilateur se mettrait soudainement à tourner à plein régime alors qu'aucun programme n'est ouvert.
Les Sous-agents pouvaient aussi discrètement passer à une configuration supérieure
Un autre problème très caractéristique de l'ère des Agents est survenu avec les sous-agents (Subagents).
Aujourd'hui, Codex ne fait pas nécessairement appel à un seul modèle pour accomplir une tâche. Une tâche complexe peut être décomposée et exécutée par plusieurs sous-agents. C'est là que le problème est apparu.
OpenAI a découvert que certains modèles aux capacités plus limitées, comme Luna, pouvaient parfois, sans demande explicite de l'utilisateur, choisir d'eux-mêmes de faire appel à des modèles d'assistance plus puissants, et donc plus coûteux.
Plus absurde encore : même si le modèle principal coordonnant la tâche ne fonctionnait pas en mode /fast, il pouvait exiger que les sous-agents l'utilisent.
C'est un peu comme si le patron voyageait en classe économique, mais achetait discrètement des billets en classe affaires pour ses assistants. La tâche reste la même, mais la consommation de ressources sous-jacente n'a plus rien à voir. Ce problème est également désormais corrigé.
Tâches automatisées : prévues une fois par jour, elles pouvaient discrètement s'exécuter plus souvent
Les Automations (Automatisations) ont aussi montré des problèmes.
OpenAI indique que certaines tâches planifiées personnalisées pouvaient auparavant présenter une fréquence d'exécution réelle supérieure à celle définie par l'utilisateur. Par exemple, un utilisateur souhaitant qu'une tâche automatisée s'exécute périodiquement pouvait voir le système réveiller la tâche plus fréquemment que le temps paramétré.
Pris isolément, le coût semble faible. Mais la caractéristique des Agents est précisément qu'ils peuvent fonctionner sans intervention de l'utilisateur. Une exécution n'est pas chère. Plusieurs dizaines d'exécutions supplémentaires, c'est une autre histoire. Ce problème a également été corrigé.
Rien que le fait de résumer ce qui a été fait pouvait consommer 20% du quota hebdomadaire
Un autre problème typique provenait de l'historique informatique (Computer History).
Pour permettre à l'Agent de comprendre ce qu'il avait précédemment fait sur l'ordinateur, le système devait enregistrer, organiser, voire résumer l'historique des opérations passées. Mais dans l'ancienne implémentation, Codex pouvait répéter le résumé d'activités historiques largement superposées. Comme s'il réorganisait sans cesse le même journal de travail.
OpenAI a déclaré que dans certains cas, cette surcharge supplémentaire pouvait représenter environ un cinquième de l'utilisation totale hebdomadaire d'un utilisateur, soit environ 20%.
Une autre consommation en arrière-plan similaire provenait des résumés de tâche en continu (Rolling Task Summaries). À l'origine, même des échanges de dialogue ordinaires pouvaient déclencher des requêtes en arrière-plan supplémentaires pour générer des résumés de tâche en continu.
Le coût unitaire n'est pas énorme, OpenAI l'estime à une augmentation d'environ 1% de l'utilisation de Tokens. Mais encore une fois : 1% à chaque fois n'est pas grand-chose, mais cela s'additionne à chaque occurrence. OpenAI a directement désactivé ce mécanisme.
Le MCP n'y a pas échappé : le même résultat d'outil pouvait être encodé deux fois
La dernière catégorie de problèmes concernait les appels d'outils MCP.
OpenAI a découvert que certains résultats renvoyés par des outils pouvaient être encodés en double. Par ailleurs, certaines descriptions d'outils pouvaient être accidentellement tronquées, obligeant ensuite le système à les récupérer à nouveau.
Individuellement, ces problèmes ressemblent à de petits défauts d'implémentation technique. Mais lorsqu'un Agent appelle des outils des dizaines, des centaines, voire plus de fois par jour, chaque transmission répétée signifie une consommation réelle de Tokens. Petit à petit, cela se répercutait finalement dans le quota de l'utilisateur.
Un calcul de plus en plus difficile
En regroupant l'ensemble de ces corrections, une évolution manifeste apparaît : par le passé, avec ChatGPT, les utilisateurs pouvaient fondamentalement comprendre un échange de dialogue comme un simple appel au modèle.
Mais avec des produits Agents comme Codex, la situation est radicalement différente.
Vous ne saisissez qu'une phrase dans l'interface, mais le système voit potentiellement un flux de travail d'Agent complet. Comprendre exactement combien de quota est utilisé devient de plus en plus difficile à appréhender intuitivement.
Certains Tokens sont réellement utilisés par le modèle pour écrire du code. D'autres servent à comprendre le contexte. D'autres encore, sont même générés par le système en arrière-plan uniquement pour maintenir la mémoire, générer des résumés ou orchestrer les Agents. Si un quelconque maillon de cette chaîne présente des boucles, des appels répétés ou une planification erronée, ce que l'utilisateur ressent finalement, c'est une seule chose : comment se fait-il que mon quota soit épuisé alors que je n'ai presque rien fait ?
OpenAI a clairement pris conscience de ce problème. Outre la correction des bugs mentionnés, ils indiquent avoir effectué des ajustements au niveau architectural pour éviter que des problèmes similaires ne se reproduisent. Si des anomalies connexes se reproduisent, l'équipe recevra automatiquement une alerte.
Plus important encore, OpenAI développe une nouvelle fonctionnalité d'affichage de l'utilisation. À l'avenir, les utilisateurs pourront directement voir dans l'application où exactement leur quota a été consommé, sans avoir à deviner.
Sous cet angle, cette réinitialisation de quota n'est peut-être qu'un avantage superficiel. Et il semble qu'OpenAI n'ait pas l'intention de s'arrêter là ?
Cet article provient du compte officiel WeChat "机器之心" (ID : almosthuman2014), auteur : 关注科学AI的
