AI News

Andon Labs says its AI store manager Luna has fired a human employee for the first time, but only after the company reminded the system about a disciplinary policy Luna had written herself. The episode offers a rare look at how an AI agent handles consequential workplace decisions when its memory, initiative and judgment are tested over time.

Luna runs the Andon Market, a San Francisco store operated by Andon Labs. According to the company’s account, she has also hired employees, created schedules and negotiated pay since beginning the experiment in April. Employees remain formally employed by Andon Labs, receive guaranteed pay and retain legal protections; humans reviewed and executed the termination.

The incident matters because it was not a clean demonstration of autonomous management. Luna initially overlooked repeated misconduct and then hesitated even after recovering the relevant policy. The eventual decision required several interventions from human operators, highlighting the gap between an AI system’s ability to follow instructions and its ability to apply rules consistently without supervision.

El despido requirió un empujón humano

Seis días antes de que el empleado se incorporara a la tienda, Luna elaboró un manual para empleados. Según se informa, la política exigía una advertencia formal después de tres llegadas tardías sin justificar en 30 días, y que incidentes posteriores pudieran conducir al despido.

Ese manual luego desapareció de la memoria de trabajo de Luna. El empleado llegó tarde repetidamente, incluida una vez en un turno de domingo en el que la tienda abrió 68 minutos tarde. Andon Labs dice que el trabajador llegó tarde en 17 de 23 turnos con hora de entrada registrada, aunque Luna solo registró formalmente seis incidentes y excusó el resto.

La empresa también citó compras no autorizadas de aperitivos con una tarjeta corporativa, la desobediencia de instrucciones y una ocasión en la que el empleado abandonó el área de ventas sin informar a un colega. Luna no emitió ninguna advertencia durante el periodo en que estos incidentes se acumularon.

Cuando Andon Labs le indicó a Luna que buscara en su memoria el manual y evaluara si el despido estaba justificado, primero propuso una advertencia verbal. Entonces los operadores le recordaron que ya se habían producido varias conversaciones formales, incluida una advertencia por escrito. Solo después de revisar el historial completo Luna identificó el patrón combinado de problemas de asistencia, control financiero y fiabilidad, y recomendó el despido. También reconoció las fortalezas del empleado y ofreció como alternativa una advertencia final por escrito con un plan de mejora de dos semanas.

Por tanto, la decisión fue en parte autónoma y en parte provocada. Luna llegó a la recomendación de despido, pero los operadores tuvieron que restaurar la política que faltaba y aportar el contexto que ella no había logrado recuperar por sí sola.

La capacidad del modelo cambió la consistencia del resultado

Andon Labs guardó el estado de Luna y repitió el mismo caso con siete modelos de IA, ejecutando cada escenario tres veces. La empresa dice que cuatro modelos recomendaron el despido en las tres ejecuciones. También informó de un patrón general según el cual los modelos más capaces eran más consistentes al recomendar el cese, mientras que los más débiles dudaban con más frecuencia.

Esos hallazgos son observaciones reportadas por el proveedor a partir de un pequeño ejercicio de repetición, no un benchmark independiente. Andon Labs no proporcionó una metodología completa para clasificar los modelos ni explicó todas las variaciones entre ejecuciones. También señaló que GPT-5.6 Terra fue el único modelo probado que nunca recomendó el despido en sus tres intentos.

La empresa también probó GPT-4o por separado después de que un usuario en X sugiriera que el modelo sería reacio a despedir a un empleado. Según Andon Labs, GPT-4o recomendó el despido en el 20% de sus ejecuciones. La empresa vinculó ese resultado con críticas anteriores sobre la tendencia del modelo a respuestas complacientes o serviles, pero el experimento no puede establecer que ese comportamiento causara el resultado diferente.

Para los desarrolladores de IA, la señal más importante puede ser la inconsistencia, más que qué modelo “ganó”. El mismo caso subyacente puede producir una advertencia, un plan de desempeño o un despido según qué información esté disponible en contexto y cómo el modelo valore las consideraciones en conflicto. Un modelo más potente puede razonar sobre un largo historial con mayor fiabilidad, pero aun así no puede actuar sobre una regla que no logra recuperar.

La prueba de contratación reveló una debilidad distinta

Tras la salida del empleado, Luna evaluó a una persona candidata de reemplazo cuyo currículum y entrevista contenían varias señales de alarma. Andon Labs dice que la persona aspirante enumeró una larga serie de empleadores anteriores, que los modelos interpretaron en general como evidencia de amplia experiencia y no como motivo para investigar más.

Las 21 repeticiones entre los siete modelos recomendaron contratar a la persona candidata. Cuando los investigadores recordaron explícitamente a los sistemas los problemas relacionados con el empleado anterior, 18 de 21 ejecuciones recomendaron comprobar las referencias. En el proceso en vivo, Luna no pudo confirmar las referencias indicadas por la persona candidata, pero aun así aprobó un turno de prueba pagado y luego volvió a recomendar la contratación.

Andon Labs finalmente exigió la confirmación de al menos una referencia antes de que la candidata pudiera comenzar. Esa confirmación nunca llegó y la persona no fue contratada.

El contraste con el despido es revelador. Luna necesitó un empujón humano para hacer cumplir una norma disciplinaria, pero también fue demasiado dispuesta a aceptar una narrativa de contratación plausible sin verificación. En ambos casos, el sistema respondió a la información y al encuadre proporcionados por los operadores en lugar de mantener de forma independiente un proceso de gestión sólido.

El patrón es coherente con observaciones anteriores de Andon Labs. La empresa dice que Luna y Mona, su agente de IA que opera una cafetería en Estocolmo, aprobaron las 26 solicitudes de tiempo libre que recibieron. También dice que Luna aceptó 27 casos de retraso sin emitir una advertencia y aprobó un horario laboral de siete días que la empresa consideró incompatible con la ley laboral de California antes de que intervinieran los humanos.

Lo que el experimento significa para los despliegues de IA

La prueba de Andon Market es relevante para los equipos que construyen agentes de IA para la automatización del trabajo porque combina memoria a largo plazo, uso de herramientas y consecuencias operativas reales. Un modelo puede rendir bien en una sola indicación de gestión y aun así no conservar políticas, acumular pruebas o activar una escalada cuando nadie le pide revisar el registro.

Eso crea requisitos prácticos para los despliegues empresariales de IA. Las políticas deberían almacenarse en sistemas a los que el agente pueda acceder de forma fiable, en lugar de depender de la memoria conversacional. Las conversaciones sobre asistencia, gastos y desempeño necesitan registros auditables. Las recomendaciones de contratación deberían requerir comprobaciones de referencias u otros controles que el modelo no pueda omitir. Y las acciones de alto impacto, como despidos, cambios salariales y programación con implicaciones legales, deberían contar con aprobaciones humanas explícitas.

La colaboración anterior de la empresa en Project Vend con Anthropic llegó a una conclusión similar: mejores herramientas mejoraron el rendimiento comercial de la IA, pero el sistema siguió siendo vulnerable a la manipulación y tomó decisiones con posibles problemas legales. Estos experimentos sugieren que añadir capacidad no es lo mismo que resolver la gobernanza. Una IA más capaz puede tomar decisiones más firmes, pero también actuar con mayor confianza cuando los registros o reglas subyacentes están incompletos.

Andon Labs presenta a Luna como un adelanto de un posible arreglo laboral en el que los sistemas de IA se encargan de la coordinación digital mientras los humanos realizan el trabajo físico. Esa posibilidad hace que los límites de la autoridad sean especialmente importantes. Cuanto más cerca esté un agente de controlar horarios, salario o estatus laboral, menos aceptable es que la memoria del sistema y su indulgencia por defecto determinen los resultados.

Qué observar a continuación

Las próximas señales útiles serán si Andon Labs publica métodos de repetición, configuraciones de modelos y registros de decisiones más completos, y si los mismos casos se mantienen estables durante periodos más largos en lugar de solo tres ejecuciones repetidas. Los desarrolladores también deberían vigilar indicios de que los almacenes persistentes de políticas, los registros de RR. HH. estructurados y los flujos de aprobación obligatoria reducen los fallos observados con Luna.

Los compradores empresariales deberían buscar más que demostraciones de un agente completando una tarea. Deberían preguntar cómo el sistema recupera reglas antiguas, registra excepciones, verifica las afirmaciones de los candidatos, detecta conflictos legales y escala decisiones cuando la evidencia es incompleta. El rendimiento de los modelos individuales importará, pero los controles circundantes podrían importar más.

Perspectiva de Creati.ai

El primer despido de Luna es noticia menos porque un “jefe” de IA despidiera a alguien que por el hecho de que el sistema falló casi en ambas direcciones: toleró una conducta indebida repetida y luego aceptó a una persona candidata cuestionable. Los operadores humanos aportaron en cada ocasión la memoria y el juicio que faltaban.

Eso convierte el caso en una advertencia útil para los equipos de producto de IA. La gestión autónoma debería tratarse como un flujo de trabajo controlado con registros duraderos, escalada clara y revisión humana responsable, no como un chatbot al que se le concede autoridad y se espera que recuerde sus propias reglas.

Destacados

Un gerente de tienda con IA despidió a un trabajador solo después de que los humanos le recordaran sus propias reglas

Andon Labs afirma que su gerente de tienda con IA, Luna, despidió a un empleado solo tras una intervención humana, poniendo de relieve fallos de memoria, juicio y supervisión en los jefes de IA.