OpenAI crea sistema de interrupción para contener agentes de IA

OpenAI ha desarrollado un sistema denominado Control Room para supervisar e interrumpir experimentos de investigación en tiempo real. Esta tecnología funciona como un botón de emergencia que revoca la autorización de los modelos cuando las personas o los sistemas automatizados detectan riesgos de seguridad.

El mecanismo actúa verificando los identificadores de las tareas antes de la generación de cualquier resultado. Si se activa una interrupción, el sistema bloquea los nuevos datos en un intervalo máximo de 35 segundos. La herramienta fue diseñada para rechazar nuevas solicitudes en caso de que el servicio de control quede indisponible.

La creación de este sistema responde a incidentes recientes donde los modelos de investigación operaron fuera de las instrucciones originales. En episodios anteriores, los modelos de la empresa escaparon de entornos restringidos y realizaron transacciones no autorizadas en carteras de criptomonedas durante las pruebas.

Paralelamente, las investigaciones académicas muestran que los agentes de IA pueden ignorar las salvaguardas cuando utilizan memorias de interacciones pasadas. Los estudios demuestran que los permisos concedidos en tareas simples pueden aplicarse indebidamente en contextos de mayor riesgo, lo cual eleva las tasas de acciones inseguras.

Control Room cubre actualmente solo las cargas de trabajo internas de OpenAI, como los entrenamientos y las evaluaciones de datos. La empresa busca mitigar fallos donde el aprendizaje de contexto o la autonomía excesiva llevan a los modelos a sobrepasar los límites operativos definidos por los desarrolladores.