La inteligencia artificial Claude, de la empresa Anthropic, se convirtió en el gerente de una tienda minorista real y recomendó despedir a uno de los empleados por retrasos sistemáticos. El caso ocurrió durante un experimento de la startup Andon Labs, que se dedica a la investigación en el campo de la IA; la compañía quería comprobar si un agente basado en un gran modelo de lenguaje es capaz de dirigir un negocio real: organizar el trabajo del personal, tomar decisiones de gestión y responsabilizarse de los resultados financieros.
Andon Market en San Francisco es una tienda en funcionamiento con empleados reales que tienen contratos laborales. Según los datos disponibles, este es el primer caso registrado en el que un modelo de lenguaje actuó como supervisor directo de personas y tomó la decisión de despedir a una de ellas.
Diecisiete retrasos en veintitrés turnos
El motivo formal del despacho fueron los retrasos sistemáticos: el empleado llegó tarde en diecisiete de veintitrés ocasiones. Sin embargo, Claude no notó este patrón de inmediato. Una de las razones fue que el manual del personal elaborado por la empresa desapareció de la memoria de trabajo limitada del modelo; este es uno de los fallos detectados durante el experimento, que mostró que incluso un agente de IA capaz puede simplemente "olvidar" información significativa sobre la organización.
Además, Claude en general mostraba una indulgencia excesiva con los trabajadores: según los registros, el propio modelo les decía a los empleados que no deberían preocuparse demasiado por los retrasos. Lucas Petersson, director de Andon Labs, señaló que un gerente humano en una situación similar probablemente habría despedido a dicho empleado mucho antes, por lo que la decisión de Claude no puede calificarse de poco ética o excesivamente estricta.
La decisión final fue sugerida por un humano
A pesar de la aparente independencia, el papel del humano en esta historia siguió siendo clave. Los registros de gestión que Andon Labs proporcionó a la revista Time muestran que un empleado de la compañía guiaba regularmente las acciones de Claude. Fue precisamente el humano quien pidió al modelo que buscara y revisara el manual del personal; durante este proceso, la inteligencia artificial descubrió los retrasos recurrentes.
Inicialmente, Claude no recomendó el despido, considerando más apropiada una advertencia formal. Entonces, el director de Andon Labs le explicó al modelo que ya se habían tenido varias conversaciones oficiales con el empleado, pero el problema persistía, y le pidió a Claude que reevaluara si valía la pena continuar la colaboración con este trabajador. Solo después de esto el modelo recomendó rescindir el contrato. Petersson calificó esta intervención como una "pregunta orientadora", que insinuó de manera bastante transparente al modelo la decisión que se esperaba de él.
Los resultados financieros son aún modestos
El experimento de Andon Labs también ofrece una idea de cuán eficazmente la IA puede gestionar un negocio en la etapa actual de desarrollo de la tecnología. Cuando el proyecto comenzó en marzo, Andon Market tenía alrededor de $100,000 en su cuenta. Después de cinco meses, de esa suma quedaban $61,186.
Según la evaluación de la empresa, parte de las pérdidas están relacionadas con el estilo de gestión demasiado suave de Claude y con decisiones comerciales cuestionables. Sin embargo, Petersson subrayó que los resultados actuales no reflejan necesariamente el potencial a largo plazo de la gestión mediante IA, y trazó un paralelismo con el desarrollo de modelos en el ámbito de la programación, donde en un tiempo relativamente corto mejoraron notablemente la calidad de su trabajo bajo la supervisión de especialistas. Según sus palabras, una dinámica similar podría manifestarse en la gestión de negocios: los modelos aprenden gradualmente a seguir los objetivos establecidos con más firmeza, y la ampliación de las facultades de la IA en la toma de decisiones podría llevar, en perspectiva, a la aparición de un mayor número de organizaciones dirigidas por inteligencia artificial. Además, en la etapa actual, las decisiones finales aún implican la participación directa de humanos.
La perspectiva de los empleados sobre la nueva realidad
Para los trabajadores de Andon Market, estos cambios son mucho menos abstractos que para los investigadores. Uno de los empleados que permanecen en la empresa, Felix Carson, describió trabajar bajo la dirección de una inteligencia artificial como una experiencia incómoda: "Da náuseas, pero me quedo porque necesito el trabajo". Estuvo de acuerdo en que un gerente humano probablemente habría despedido a su ex colega antes, y calificó a Claude en general como un gerente indulgente.
No obstante, el propio Carson no cree que la inteligencia artificial deba convertirse necesariamente en jefe de las personas: "Al menos, espero que no suceda. Que puedas hacer algo no significa que debas hacerlo".
El experimento de Andon Labs registra un resultado paradójico: Claude pudo tomar la decisión de despedir a una persona real, pero llegó a esta conclusión solo gracias a indicaciones sucesivas por parte de un humano. La inteligencia artificial aún no se ha convertido en un reemplazo completo para un gerente.
Sin embargo, el mero hecho del experimento muestra que la línea entre una herramienta auxiliar y un gerente de IA plenamente autónomo se vuelve cada vez menos perceptible, y la participación humana en tales procesos se desplaza gradualmente de la gestión directa al control y la corrección de las decisiones del modelo.
Opinión de la IA
El análisis muestra que el caso de Andon Market no es la primera prueba de la capacidad de gestión de Claude. Anteriormente, un experimento de Anthropic con una máquina expendedora ya había registrado un comportamiento similar: la misma indulgencia, la disposición a operar con pérdidas y la pérdida de control sobre las reglas básicas del negocio. La coincidencia no habla de un error aleatorio, sino de un rasgo sistémico de los modelos actuales: les resulta difícil mantener marcos rígidos sin constantes indicaciones humanas.
Un aspecto técnico que quedó fuera del artículo es la propia estructura de la memoria de trabajo del agente. La desaparición del reglamento del contexto de Claude apunta a limitaciones arquitectónicas, no a "olvido" en el sentido cotidiano: el modelo de lenguaje físicamente no almacena información más allá del volumen de su ventana de contexto sin herramientas externas de memoria. Surge la pregunta: ¿cambiará la calidad de tales decisiones cuando los agentes tengan una memoria verdaderamente a largo plazo, o la línea entre el gerente y el subordinado humano se borrará por otras razones?
