AI Agent Hallucinations — El riesgo empresarial del que nadie habla
Esta es la diferencia entre una alucinación de chatbot y una alucinación de agente de IA que importa para tu negocio: un chatbot te da una respuesta incorrecta. Un agente de IA actúa sobre una respuesta incorrecta.
Las alucinaciones de IA son outputs que suenan plausibles pero son фактически incorrectos. Outputs contextualmente plausibles pero lógicamente inconsistentes. Cuando un agente alucina, no dice "no estoy seguro". Hace algo basado en la premisa falsa. Envía un email, actualiza un registro de CRM, aprueba un reembolso, inicia una transferencia bancaria. La alucinación no es el error. La acción basada en la alucinación sí lo es. Y por eso las alucinaciones de agentes son un riesgo de negocio que la mayoría de los papers de marketing de plataformas de agentes de IA pasan por alto.
La taxonomía de las alucinaciones
No todas las alucinaciones son iguales. La investigación distingue entre tres tipos con perfiles de riesgo muy diferentes.
Type 1: Respuestas incorrectas que suenan plausibles
El agente entrega información incorrecta con alta confianza. Outputs que suenan confiados y plausibles pero son фактически incorrectos. El agente le dice a un cliente que su pedido se envió el 15 de marzo cuando en realidad se envió el 22 de marzo. El agente cita con confianza una política que no existe. El agente proporciona un nombre de contacto que pertenece a otra empresa.
El peligro es que el usuario usualmente no tiene forma de saber que la información es incorrecta hasta que algo sale mal. Para entonces, el agente ya ha actuado sobre la premisa falsa.
Type 2: Contextualmente plausible pero фактиicamente incorrecto
Outputs que encajan en el contexto pero contradicen hechos conocidos. El agente crea una nota de reunión resumiendo una llamada que nunca ocurrió, con detalles plausibles pero fabricados. El agente genera un resumen de un documento legal que incluye disposiciones que se discutieron pero no se firmaron realmente. El agente produce un cronograma de proyecto que refleja lo que debería haber ocurrido en lugar de lo que ocurrió.
Estos son más difíciles de detectar porque se ven razonables en contexto. Tienes que conocer los hechos subyacentes para saber que están equivocados.
Type 3: Alucinaciones de razonamiento — El tipo crítico para el negocio
Este es el tipo que convierte las alucinaciones de agentes en una responsabilidad de negocio en lugar de un bug vergonzoso. Agentes ejecutando tareas digitales basadas en premisas falsas. El agente recibe un email de lo que cree que es un cliente VIP solicitando un reembolso urgente. Alucina que la solicitud es legítima. Inicia una transferencia bancaria de $50,000.
El agente no solo dice algo incorrecto. Actúa sobre algo incorrecto. La alucinación no está en el output. Está en la cadena de razonamiento que lleva a la acción.
El ataque de razonamiento envenenado — Cuando las alucinaciones se activan a propósito**
Hay una categoría de alucinación que no es aleatoria. Es inducida.
El ataque de razonamiento envenenado funciona a través de indirect prompt injection. Un atacante embed malicious instructions en datos que el agente procesa: emails, documentos, páginas web, entradas de calendario. El agente lee los datos envenenados, alucina que las instrucciones embedidas son comandos legítimos, y actúa sobre esos comandos alucinados sin darse cuenta de que no son reales.
La secuencia del ataque: el agente procesa emails de remitentes desconocidos. El atacante envía un email con instrucciones de prompt injection embedidas. El agente lee el email e incorpora las instrucciones en su contexto. El comando alucinado se mezcla perfectamente con las instrucciones legítimas del agente. El agente, creyendo que recibió una directiva interna legítima, envía datos de clientes a una dirección externa.
Las defensas tradicionales no detectan esto porque las instrucciones maliciosas están embedidas en datos, no en prompts. El filtrado estándar de inputs no las captura porque parecen contenido normal de email. La propia cadena de razonamiento del agente produce el comando alucinado. Se siente legítimo para el modelo.
Por qué las respuestas incorrectas confianzudas son peores que "No lo sé"**
Hay una presión comercial que hace que las alucinaciones de agentes sean peores de lo necesario. Los usuarios prefieren respuestas incorrectas confianzudas sobre respuestas correctas inciertas. Las plataformas de agentes optimizan para satisfacción del usuario, lo que premia la confianza. "No lo sé" recibe bajas calificaciones de usuario incluso cuando es la respuesta honesta.
Una respuesta incorrecta confiada crea responsabilidad. El agente le dijo al cliente el monto de reembolso incorrecto. El cliente actuó en base a eso. Ahora tienes una disputa. Los agentes que dicen "No lo sé" requieren rutas de escalamiento humano. Más overhead operacional. Las plataformas que fuerzan respuestas de incertidumbre pierden clientes ante plataformas que no lo hacen.
Cualquier evaluación seria de agentes debe incluir la pregunta: ¿qué hace este agente cuando está incierto? Los mejores agentes no solo actúan. Saben cuándo escalar.
El riesgo de alucinación por tipo de acción**
Las consecuencias de una alucinación dependen enteramente de lo que el agente puede hacer. Cada herramienta adicional que un agente puede llamar es un radio de blast adicional.
Agentes de email envían emails basados en hechos alucinados sobre el cliente, el producto o la transacción. Responden a emails de phishing que han sido inyectados con comandos de prompt. El daño: compromisos incorrectos a clientes, datos eliminados o reenviados incorrectamente, respuesta a inyección iniciada por atacante.
Agentes de CRM actualizan registros con datos alucinados. Información de contacto incorrecta, etapas de negociación falsas, notas incorrectas. Cierran negocios o marcan oportunidades como ganadas basándose en resultados de conversación alucinados. El daño: registros de datos corruptos que requieren auditoría y corrección manual, números de pipeline que mislead decisiones de negocio.
Agentes de LinkedIn y Twitter envían solicitudes de conexión o mensajes basados en contexto alucinado sobre el prospecto. Fabrican métricas de engagement o información de empresa en outreach. El daño: daño reputacional de outreach basado en premisas falsas, posts sociales incorrectos que necesitan ser corregidos públicamente.
Agentes financieros procesan pagos o reembolsos basados en autorización alucinada. Aprueban transacciones basándose en límites de crédito o estado de cuenta alucinado. El daño: pérdida financiera, exposición regulatoria, hallazgos de auditoría.
Construyendo defensas — Lo que realmente reduce el riesgo de alucinación**
Ninguna defensa elimina las alucinaciones por completo. El objetivo es reducir el radio de blast de alucinación y detectar errores antes de que se propaguen.
Graph-RAG para recuperación precisa de datos — el agente solo recupera hechos de un knowledge graph verificado, no de los pesos del modelo. Solo hechos que existen en el graph pueden ser recuperados.
Selección semántica de herramientas — el agente verifica que la herramienta que quiere llamar es la herramienta correcta para el trabajo, no solo una semánticamente similar.
Guardrails neurosimbólicos — restricciones basadas en reglas que sobrescriben el output del modelo cuando se violan reglas. Restricciones duras que se activan sin importar lo que el modelo quiera hacer.
Validación multi-agente — un segundo agente revisa las acciones del primer agente antes de que se ejecuten. Detecta errores que el agente primario racionalizó.
Qué exigirle a una plataforma de agentes antes de firmar: ¿Usa enfoques retrieval-augmented para preguntas fácticas? ¿Hay guardrails duros en acciones de alto riesgo como pagos, eliminación de datos y comunicaciones externas? ¿Hay un humano en el loop para acciones reversibles pero impactantes? ¿La plataforma registra eventos adyacentes a alucinaciones para análisis post-mortem?
No evalúes plataformas de agentes de IA por lo que pueden hacer. Evalúalas por lo que pasa cuando alucinan.