L'intelligence artificielle Claude de la société Anthropic est devenue gestionnaire d'un véritable magasin de détail et a recommandé de licencier l'un des employés pour des retards systématiques. Cet incident s'est produit dans le cadre d'une expérience de la startup Andon Labs, spécialisée dans la recherche en IA – l'entreprise voulait vérifier si un agent basé sur un grand modèle de langage pouvait diriger une véritable entreprise : organiser le travail du personnel, prendre des décisions managériales et être responsable des résultats financiers.
Le magasin Andon Market à San Francisco est un point de vente opérationnel avec de vrais employés sous contrat de travail. Selon les informations disponibles, c'est le premier cas enregistré où un modèle de langage a joué le rôle de supérieur hiérarchique direct de personnes et a pris la décision d'en licencier une.
Dix-sept retards sur vingt-trois shifts
La raison formelle du licenciement était les retards systématiques : l'employé était en retard dans dix-sept cas sur vingt-trois. Cependant, Claude n'a pas immédiatement remarqué cette régularité. L'une des raisons est que le guide du personnel établi par l'entreprise a disparu de la mémoire de travail limitée du modèle – c'est l'un des dysfonctionnements révélés par l'expérience, montrant que même un agent IA compétent peut simplement « oublier » des informations importantes sur l'organisation.
De plus, Claude faisait généralement preuve d'une indulgence excessive envers les travailleurs : selon les logs, le modèle disait lui-même aux employés qu'il ne fallait pas trop s'inquiéter à propos des retards. Le PDG d'Andon Labs, Lucas Petersson, a noté qu'un gestionnaire humain dans une situation similaire aurait probablement licencié un tel employé bien plus tôt, et que la décision de Claude ne pouvait donc pas être qualifiée d'immorale ou excessivement sévère.
La décision finale a été suggérée par un humain
Malgré l'apparence d'autonomie, le rôle de l'humain dans cette histoire est resté clé. Les logs de gestion qu'Andon Labs a fournis au magazine Time montrent qu'un employé de l'entreprise orientait régulièrement les actions de Claude. C'est un humain qui a demandé au modèle de rechercher et de réviser le guide du personnel – c'est durant ce travail que l'intelligence artificielle a découvert les retards répétés.
Initialement, Claude ne recommandait pas le licenciement, jugeant un avertissement officiel plus approprié. C'est alors que le responsable d'Andon Labs a expliqué au modèle que plusieurs entretiens officiels avaient déjà eu lieu avec l'employé sans résoudre le problème, et a demandé à Claude de réévaluer s'il valait la peine de poursuivre la collaboration avec ce travailleur. Ce n'est qu'après cela que le modèle a recommandé de rompre le contrat. Petersson a qualifié cette intervention de « question suggestive », qui indiquait assez clairement au modèle la décision attendue.
Les résultats financiers sont pour l'instant modestes
L'expérience d'Andon Labs donne également une idée de l'efficacité avec laquelle l'IA peut actuellement gérer une entreprise, au stade actuel de la technologie. Lorsque le projet a démarré en mars, Andon Market disposait d'environ 100 000 $ sur son compte. Cinq mois plus tard, il ne restait plus que 61 186 $ de cette somme.
Selon l'entreprise, une partie des pertes est liée au style de gestion trop indulgent de Claude et à des décisions commerciales discutables. Cependant, Petersson a souligné que les performances actuelles ne reflètent pas nécessairement le potentiel à long terme de la gestion par IA, et a établi un parallèle avec l'évolution des modèles dans le domaine de la programmation, où ils ont rapidement gagné en qualité sous le contrôle de spécialistes. Selon lui, une dynamique similaire pourrait se manifester dans la gestion d'entreprise : les modèles apprennent progressivement à suivre plus strictement les objectifs fixés, et l'élargissement des pouvoirs de décision de l'IA pourrait, à terme, conduire à l'émergence d'un plus grand nombre d'organisations gérées par l'intelligence artificielle. De plus, à ce stade, les décisions finales impliquent toujours une participation humaine directe.
Le point de vue des employés sur cette nouvelle réalité
Pour les travailleurs d'Andon Market, ces changements sont bien moins abstraits que pour les chercheurs. L'un des employés restés dans l'entreprise, Felix Carson, a décrit le travail sous la direction de l'intelligence artificielle comme une expérience inconfortable : « C'est nauséeux, mais je reste parce que j'ai besoin de ce travail. » Il a reconnu qu'un gestionnaire humain aurait probablement licencié son ancien collègue plus tôt, et a qualifié Claude de gestionnaire globalement indulgent.
Pourtant, Carson lui-même ne pense pas que l'intelligence artificielle doive nécessairement devenir le supérieur des humains : « Du moins, j'espère que cela n'arrivera pas. Le fait que vous puissiez faire quelque chose ne signifie pas que vous devez le faire. »
L'expérience d'Andon Labs enregistre un résultat paradoxal : Claude a pu prendre la décision de licencier une personne réelle, mais n'est arrivé à cette conclusion que grâce à des suggestions successives de la part d'un humain. L'intelligence artificielle n'est pas encore devenue un véritable remplacement pour un gestionnaire humain.
Cependant, le simple fait de cette expérience montre que la frontière entre outil d'assistance et véritable gestionnaire IA devient de moins en moins perceptible, et la participation humaine à de tels processus passe progressivement d'une gestion directe à un contrôle et à une correction des décisions du modèle.
L'avis de l'IA
L'analyse montre que le cas d'Andon Market n'est pas le premier test des capacités managériales de Claude. Une expérience antérieure d'Anthropic avec un distributeur automatique avait déjà enregistré un comportement similaire : la même indulgence, la volonté de fonctionner à perte et la perte de contrôle des règles commerciales de base. Cette coïncidence ne relève pas d'une erreur ponctuelle, mais d'une caractéristique systémique des modèles actuels – il leur est difficile de maintenir des cadres stricts sans des suggestions constantes de l'humain.
L'aspect technique, passé sous silence dans l'article, concerne l'architecture même de la mémoire de travail de l'agent. La disparition du règlement du contexte de Claude indique les limites de l'architecture, et non un « oubli » au sens courant : un modèle de langage ne stocke physiquement pas l'information au-delà de la taille de sa fenêtre contextuelle sans outils de mémoire externes. La question se pose : la qualité de telles décisions changera-t-elle lorsque les agents disposeront d'une véritable mémoire à long terme, ou la frontière entre gestionnaire et employé humain s'effacera-t-elle pour d'autres raisons ?
