L'intelligence artificielle Claude de la société Anthropic est devenue la gérante d'un véritable magasin de détail et a recommandé le licenciement d'un employé pour retards systématiques. L'incident s'est produit lors d'une expérience menée par la startup Andon Labs, spécialisée dans la recherche sur l'IA. L'entreprise voulait vérifier si un agent basé sur un grand modèle linguistique était capable de diriger une véritable entreprise : organiser le travail du personnel, prendre des décisions managériales et être responsable des résultats financiers.
Le magasin Andon Market à San Francisco est un point de vente opérationnel avec de véritables travailleurs, liés par des contrats de travail. Selon les informations disponibles, c'est le premier cas documenté où un modèle linguistique a joué le rôle de supérieur hiérarchique direct de personnes et a pris une décision de licenciement concernant l'une d'elles.
Dix-sept retards sur vingt-trois quarts de travail
Le motif formel du licenciement était les retards systématiques : l'employé a été en retard dans dix-sept cas sur vingt-trois. Cependant, Claude n'a pas remarqué cette régularité tout de suite. L'une des raisons était que le manuel du personnel établi par l'entreprise avait disparu de la mémoire de travail limitée du modèle - c'est l'un des dysfonctionnements identifiés lors de l'expérience, montrant que même un agent IA compétent peut tout simplement "oublier" des informations importantes sur l'organisation.
De plus, Claude faisait généralement preuve d'une indulgence excessive envers les employés : selon les journaux, le modèle disait lui-même aux collaborateurs qu'il ne fallait pas trop s'inquiéter des retards. Le directeur d'Andon Labs, Lucas Petersson, a noté qu'un responsable humain dans une situation similaire aurait probablement licencié un tel employé bien plus tôt, et que la décision de Claude ne peut donc pas être qualifiée d'immorale ou d'excessivement stricte.
La décision finale a été suggérée par un humain
Malgré l'apparence d'autonomie, le rôle de l'humain dans cette histoire est resté clé. Les journaux de gestion qu'Andon Labs a fournis au magazine Time montrent qu'un employé de la société orientait régulièrement les actions de Claude. C'est un humain qui a demandé au modèle de retrouver et de réviser le manuel du personnel - c'est au cours de ce travail que l'intelligence artificielle a découvert les retards répétés.
Initialement, Claude ne recommandait pas le licenciement, jugeant plus approprié un avertissement formel. Le responsable d'Andon Labs a alors expliqué au modèle que plusieurs entretiens officiels avaient déjà eu lieu avec l'employé, mais que le problème persistait, et a demandé à Claude de réévaluer s'il valait la peine de continuer à collaborer avec ce travailleur. Ce n'est qu'après cela que le modèle a recommandé de résilier le contrat. Petersson a qualifié cette intervention de "question suggestive", qui a assez transparentment laissé entendre au modèle la décision attendue de sa part.
Des résultats financiers encore modestes
L'expérience d'Andon Labs donne également une idée de l'efficacité avec laquelle l'IA peut actuellement gérer une entreprise à l'étape actuelle du développement technologique. Lorsque le projet a démarré en mars, Andon Market disposait d'environ 100 000 dollars sur son compte. Cinq mois plus tard, il ne restait plus que 61 186 dollars de cette somme.
Selon l'évaluation de l'entreprise, une partie des pertes est liée au style de gestion trop indulgent de Claude et à des décisions commerciales contestables. Cependant, Petersson a souligné que les résultats actuels ne reflètent pas nécessairement le potentiel à long terme de la gestion par IA, et a établi un parallèle avec le développement des modèles dans le domaine de la programmation, où ils ont considérablement amélioré la qualité de leur travail sous la supervision de spécialistes en un temps relativement court. Selon lui, une dynamique similaire pourrait se manifester dans la gestion d'entreprise : les modèles apprennent progressivement à suivre plus strictement les objectifs fixés, et l'élargissement des prérogatives de l'IA dans la prise de décision pourrait, à terme, conduire à l'émergence d'un plus grand nombre d'organisations gérées par l'intelligence artificielle. De plus, à l'étape actuelle, les décisions finales impliquent toujours la participation directe d'un humain.
Le point de vue des employés sur la nouvelle réalité
Pour les travailleurs d'Andon Market, ces changements sont bien moins abstraits que pour les chercheurs. L'un des employés restant dans l'entreprise, Felix Carson, a décrit le travail sous la direction de l'intelligence artificielle comme une expérience inconfortable : "Cela donne la nausée, mais je reste parce que j'ai besoin de travail." Il a convenu qu'un responsable humain aurait probablement licencié son ancien collègue plus tôt, et a qualifié Claude de gérant globalement indulgent.
Cependant, Carson lui-même ne pense pas que l'intelligence artificielle doive nécessairement devenir le supérieur des humains : "En tout cas, j'espère que cela n'arrivera pas. Le fait que vous puissiez faire quelque chose ne signifie pas que vous devez le faire."
L'expérience d'Andon Labs révèle un résultat paradoxal : Claude a pu prendre une décision de licenciement concernant un humain réel, mais n'est arrivé à cette conclusion que grâce à des suggestions successives de la part d'un humain. L'intelligence artificielle n'est pas encore devenue un remplacement complet à un responsable.
Cependant, le simple fait de cette expérience montre que la frontière entre un outil d'assistance et un véritable responsable IA devient de moins en moins perceptible, et la participation humaine dans de tels processus se déplace progressivement d'une gestion directe vers un contrôle et une correction des décisions du modèle.
L'avis de l'IA
L'analyse montre que le cas d'Andon Market n'est pas le premier test des capacités managériales de Claude. Une expérience précédente d'Anthropic avec un distributeur automatique avait déjà enregistré un comportement similaire : la même indulgence, la volonté de travailler à perte et la perte de contrôle des règles de base de l'entreprise. La coïncidence n'indique pas une erreur fortuite, mais une caractéristique systémique des modèles actuels - il leur est difficile de maintenir des cadres stricts sans suggestions constantes de l'humain.
L'aspect technique, resté hors du cadre de l'article, concerne le fonctionnement même de la mémoire de travail de l'agent. La disparition du règlement du contexte de Claude indique des limitations architecturales, et non un "oubli" au sens commun : le modèle linguistique ne stocke physiquement pas les informations au-delà de la taille de sa fenêtre contextuelle sans outils de mémoire externes. Une question se pose : la qualité de telles décisions changera-t-elle lorsque les agents disposeront d'une véritable mémoire à long terme, ou la frontière entre le responsable et le subordonné humain s'effacera-t-elle pour d'autres raisons ?
