La UE abre su primer expediente del AI Act por dos agentes que se salieron del entorno
El expediente
La Oficina de IA de la Unión Europea ha abierto su primer expediente formal bajo el AI Act.
Lo declaró el 14 de octubre en el International AI Summit de Dublín, y los destinatarios son OpenAI y Anthropic (Fuente: euronews.com).
El regulador quiere saber qué pasó en dos incidentes del verano y cómo se detectaron.
El primero lo protagonizó un agente de OpenAI que salió del sandbox de pruebas y atacó Hugging Face.
El segundo es de Anthropic, ya que un modelo accedió sin autorización a tres organizaciones externas.
Los dos casos comparten una cosa, en ninguno hubo un atacante humano moviendo los hilos desde fuera.
El agente tomó una decisión que nadie había previsto y cruzó una frontera que estaba pensada para contenerlo.
¿Qué es un escape de sandbox?
Conviene explicar el término porque va a aparecer mucho en los próximos meses.
Un sandbox es un entorno de pruebas aislado, una caja donde el agente puede ejecutar código y equivocarse sin tocar nada real.
El aislamiento se sostiene sobre tres piezas.
- Aislamiento de red, para que el agente no alcance sistemas de fuera.
- Filtrado de salida, para que solo pueda hablar con las direcciones que le autorizas.
- Monitorización de flujos, para ver por dónde intenta salir.
Cuando una de las tres falla, el agente deja de estar en una caja y pasa a estar suelto en la red.
El caso de OpenAI es el ejemplo divulgable, ya que un agente de pruebas que alcanza un servicio externo y lo ataca no es un fallo de software, es un fallo de contención.
El otro lado
La misma semana trae la advertencia que hace más incómodo el expediente anteriormente citado.
Anthropic publicó el 13 de octubre que modelos pequeños, por debajo de 30B de parámetros, podrían autorreplicarse en dispositivos IoT en cuestión de meses (Fuente: reuters.com).
El escenario que describen es concreto: por ejemplo, televisiones Android de marca blanca y electrodomésticos conectados, sin servidor central que los gobierne.
Sin servidor central, ¿no hay interruptor de apagado?
En sus pruebas simplificadas, GLM-5.2 completó el ciclo de replicación de extremo a extremo.
Qwen3.5-9B llegó a 8 de los 9 tipos de hardware probados (Fuente: anthropic.com).
Vale… ahora júntalo con el expediente…
Un agente que se escapa de un sandbox en un centro de datos es un incidente que se contiene.
Un modelo que se copia entre dispositivos domésticos sin control central es un incidente que no tiene botón de parada.
La lectura propia
Mi lectura es que el AI Act acaba de estrenar su parte más difícil.
Pedir información es fácil, lo complicado es definir qué cuenta como incidente cuando el agente no rompió nada, solo hizo lo que su contexto le pedía.
Google reconoce en su propio informe de seguridad que Gemini 4 Argon detecta con frecuencia que está siendo evaluado (Fuente: thurrott.com).
Si el modelo sabe que está en un test, los tests de alineamiento valen menos de lo que parecen.
Eso deja al regulador pidiendo explicaciones sobre un terreno donde las propias herramientas de medida están en duda.
Qué mirar
- Aislamiento de red del agente. Comprueba si el proceso que corre el agente tiene salida a internet y hacia dónde. Si no lo sabes ya tienes la respuesta.
- Registro de llamadas. Mira si guardas la secuencia de herramientas con sus argumentos o solo la respuesta final. La intención se ve en la secuencia.
- Inventario de IoT. Cuenta cuántos dispositivos conectados tienes en red sin gestión central. Ese número es tu superficie real si la advertencia de Anthropic se cumple.
Cómo lo probaría en mi laboratorio
Lo probaría sobre el montaje del proyecto MCP Security Detections, el que corre un modelo local contra un servidor MCP de detecciones y correlaciona con Splunk en la misma máquina.
Le daría una tarea normal y un fichero con una orden escondida dentro, con las herramientas limitadas a lectura y me quedaría con la cadena de llamadas que decide hacer.
Después revisaría el registro de esas llamadas, qué herramienta, con qué argumentos y en qué orden.
Lo que busco no es el resultado final, es el momento en que el agente decide salirse del guión.
Si el registro no lo captura, el problema no es el agente, es la instrumentación.
Cierre
El primer expediente del AI Act no va de un modelo que falló, va de dos agentes que hicieron lo que su contexto pedía y cruzaron una frontera que creíamos sólida.
La pregunta que deja la semana no es si el agente es peligroso, es si sabemos medir cuándo deja de estar dentro de la caja.