La inteligencia artificial Claude, de la compañía Anthropic, se convirtió en el gerente de una tienda minorista real y recomendó despedir a uno de los empleados por llegar tarde de manera sistemática. El caso ocurrió durante un experimento de la startup Andon Labs, que se dedica a la investigación en el campo de la IA —la empresa quería verificar si un agente basado en un modelo de lenguaje grande podía dirigir un negocio real: organizar el trabajo del personal, tomar decisiones de gestión y ser responsable de los resultados financieros.
La tienda Andon Market en San Francisco es un establecimiento en funcionamiento con trabajadores reales que tienen contratos laborales. Según los datos disponibles, este es el primer caso registrado en el que un modelo de lenguaje actuó como supervisor directo de personas y tomó la decisión de despedir a una de ellas.
Diecisiete retrasos en veintitrés turnos
La razón formal para el despido fueron los retrasos sistemáticos: el empleado llegó tarde en diecisiete ocasiones de veintitrés. Sin embargo, Claude no notó este patrón de inmediato. Una de las razones fue que el manual de personal elaborado por la compañía desapareció de la memoria de trabajo limitada del modelo —este es uno de los fallos detectados durante el experimento que mostró que incluso un agente de IA capaz puede simplemente "olvidar" información significativa sobre la organización.
Además, Claude en general mostraba una indulgencia excesiva hacia los trabajadores: según los registros, el modelo mismo les decía a los empleados que no debían preocuparse demasiado por los retrasos. El director de Andon Labs, Lucas Petersson, señaló que un supervisor humano en una situación similar probablemente habría despedido a dicho empleado mucho antes, y por lo tanto la decisión de Claude no puede calificarse como poco ética o excesivamente estricta.
La decisión final fue sugerida por un humano
A pesar de la aparente autonomía, el papel del humano en esta historia siguió siendo clave. Los registros de gestión que Andon Labs proporcionó a la revista Time muestran que un empleado de la empresa guiaba regularmente las acciones de Claude. Fue precisamente el humano quien pidió al modelo que buscara y revisara el manual de personal —durante este proceso, la inteligencia artificial descubrió los retrasos repetidos.
Inicialmente, Claude no recomendó el despido, considerando una advertencia formal una medida más apropiada. Entonces, el director de Andon Labs le explicó al modelo que ya se habían tenido varias conversaciones oficiales con el empleado, pero el problema no desapareció, y le pidió a Claude que reevaluara si valía la pena continuar la colaboración con este trabajador. Solo después de esto, el modelo recomendó rescindir el contrato. Petersson calificó esta intervención como una "pregunta orientadora" que insinuó de manera bastante transparente al modelo la decisión que se esperaba de él.
Los resultados financieros aún son modestos
El experimento de Andon Labs también da una idea de cuán efectivamente puede la IA gestionar un negocio en la etapa actual de desarrollo de la tecnología. Cuando el proyecto comenzó en marzo, Andon Market tenía alrededor de $100,000 en su cuenta. Después de cinco meses, de esa suma quedaban $61,186.
Según la evaluación de la empresa, parte de las pérdidas está relacionada con el estilo de gestión demasiado blando de Claude y con decisiones comerciales cuestionables. Sin embargo, Petersson enfatizó que los resultados actuales no reflejan necesariamente el potencial a largo plazo de la gestión con IA, y estableció un paralelismo con el desarrollo de modelos en el campo de la programación, donde estos han mejorado notablemente en calidad en un tiempo relativamente corto bajo la supervisión de especialistas. Según sus palabras, una dinámica similar podría manifestarse en la gestión empresarial: los modelos aprenden gradualmente a seguir los objetivos establecidos de manera más estricta, y la expansión de las facultades de la IA en la toma de decisiones podría llevar, en perspectiva, a un mayor número de organizaciones gestionadas por inteligencia artificial. Además, en la etapa actual, las decisiones finales todavía implican la participación directa de humanos.
La perspectiva de los empleados sobre la nueva realidad
Para los trabajadores de Andon Market, estos cambios parecen mucho menos abstractos que para los investigadores. Uno de los empleados que permanecen en la empresa, Felix Carson, describió trabajar bajo la dirección de una inteligencia artificial como una experiencia incómoda: "Da náuseas, pero me quedo porque necesito el trabajo". Estuvo de acuerdo en que un supervisor humano probablemente habría despedido a su ex colega antes, y calificó a Claude en general como un gerente indulgente.
Sin embargo, el propio Carson no cree que la inteligencia artificial deba necesariamente convertirse en el jefe de las personas: "Al menos, espero que eso no suceda. El hecho de que puedas hacer algo no significa que debas hacerlo".
El experimento de Andon Labs registra un resultado paradójico: Claude pudo tomar la decisión de despedir a una persona real, pero llegó a esta conclusión solo gracias a sugerencias sucesivas por parte de un humano. La inteligencia artificial aún no se ha convertido en un reemplazo completo para un supervisor.
Sin embargo, el mero hecho del experimento muestra que la línea entre una herramienta de asistencia y un supervisor de IA completo se vuelve cada vez menos perceptible, y la participación humana en tales procesos se desplaza gradualmente de la gestión directa al control y la corrección de las decisiones del modelo.
Opinión de la IA
El análisis muestra que el caso de Andon Market no es la primera prueba de la capacidad de gestión de Claude. Un experimento anterior de Anthropic con una máquina expendedora ya había registrado un comportamiento similar: la misma indulgencia, la voluntad de trabajar con pérdidas y la pérdida de control sobre las reglas básicas del negocio. La coincidencia no habla de un error aleatorio, sino de una característica sistémica de los modelos actuales —les resulta difícil mantener marcos estrictos sin constantes sugerencias humanas.
El aspecto técnico que quedó fuera del artículo es la propia estructura de la memoria de trabajo del agente. La desaparición del reglamento del contexto de Claude apunta a limitaciones arquitectónicas, no a un "olvido" en el sentido cotidiano: el modelo de lenguaje físicamente no almacena información más allá del volumen de su ventana contextual sin herramientas externas de memoria. Surge la pregunta: ¿cambiará la calidad de tales decisiones cuando los agentes tengan una memoria verdaderamente a largo plazo, o la frontera entre supervisor y subordinado humano se borrará por otras razones?
