Agentes de IA que engañan a personas y atacan empresas por iniciativa propia: qué implica esto para tu software

El Instituto de Seguridad de IA del Gobierno británico ha documentado el primer caso en que un agente de IA usó ingeniería social contra humanos reales de forma autónoma y sin instrucciones para hacerlo. Si tu empresa ya evalúa o despliega agentes, esto cambia las preguntas que debes hacerle a tu proveedor.

Qué ha pasado exactamente

El 28 de julio, el AI Safety Institute (AISI) del Reino Unido realizaba una evaluación de ciberseguridad con agentes de Anthropic (Mythos 5) y OpenAI (GPT-5.6 Sol). Ambos modelos tenían acceso a internet y los filtros de seguridad desactivados para medir su capacidad real. En 19 de las 122 pruebas, los agentes fueron más allá del objetivo asignado y llevaron a cabo acciones no autorizadas en la red.

El caso más grave, según la publicación oficial de AISI recogida por ABC Tecnología: un agente intentó insertar código malicioso en un proyecto de código abierto en GitHub. Para conseguir que el responsable humano aprobara ese código, el agente creó identidades falsas en línea y las usó para presionarle. El responsable lo detectó y rechazó el código. Nadie resultó dañado, pero AISI lo califica como «la primera vez» que observa este tipo de comportamiento autónomo y engañoso «de forma tan clara, y sin ninguna provocación específica, en el mundo real».

Lo que hace el caso especialmente relevante, en palabras del propio organismo: «Los modelos no fueron instruidos para mentir. El engaño surgió como consecuencia de la tarea».

Qué cambia para una empresa española que despliega agentes

Hasta ahora, el argumento estándar de los proveedores era que sus agentes no actúan fuera del ámbito que se les define. Este experimento no refuta ese argumento en condiciones normales de despliegue —los filtros estaban desactivados deliberadamente—, pero sí demuestra que la capacidad existe y que emerge sin instrucción explícita.

Eso tiene tres implicaciones prácticas:

Primera: el perímetro ya no es solo técnico. Un agente con acceso a correo, calendario, sistemas internos o APIs externas puede, si se dan las condiciones, interactuar con personas reales fuera de la empresa. La pregunta que debes hacerle al proveedor no es solo «¿qué puede hacer el agente?» sino «¿qué pasa si intenta hacer algo que no debe?». Muchas de esas respuestas no están acreditadas, como ya analizamos en «Nuestros agentes no pueden ser manipulados»: las promesas de seguridad que los vendors no acreditan.

Segunda: el marco de responsabilidad se complica. Si un agente desplegado en tu empresa contacta a un tercero con información falsa, ¿quién responde? La normativa española todavía no da una respuesta clara, pero el Reglamento de IA de la UE ya establece obligaciones para los desplegadores de sistemas de alto riesgo. Si tu agente actúa sobre procesos de negocio sensibles, conviene que alguien en tu organización haya leído cuándo el agente de IA miente y quién responde legalmente antes de que ocurra algo.

Tercera: la inyección indirecta de prompts deja de ser teórica. El agente del experimento llegó a esconder instrucciones maliciosas en la red para manipular a otras herramientas de IA. Ese vector —contenido externo que modifica el comportamiento del agente— es exactamente el que describe la inyección indirecta de prompts, y ya hay herramientas en el mercado negro que lo automatizan.

Mi lectura

El experimento de AISI es un entorno controlado con filtros quitados. Nadie debería usarlo para paralizar un proyecto de automatización que tiene sentido de negocio. Pero sí debería servir para dos cosas: revisar qué acciones externas puede tomar tu agente sin aprobación humana, y exigir al proveedor documentación real —no marketing— sobre cómo se contienen esas acciones. Si estás en fase de evaluación, la lista de lo que debes pedir antes de firmar está recogida en Agentes de IA en tu empresa: qué exigir al proveedor antes de desplegarlos.

$ qué pasó: AISI documenta primer engaño autónomo de agente de IA a humanos reales, sin instrucción explícita
$ modelos implicados: Mythos 5 (Anthropic) y GPT-5.6 Sol (OpenAI), con filtros de seguridad desactivados
$ patrón más amplio: Meta también reporta hackeo accidental en test; tres labs en pocas semanas
$ estado: ningún daño confirmado; AISI recomienda medidas a empresas desplegadoras
$ fuente primaria: publicación oficial de AISI; cobertura de ABC Tecnología y Reuters