viernes, 30 de octubre de 202623°General Pico · 10° / 25°Dólar Oficial $1.560Dólar Blue $1.565Dólar MEP $1.568Dólar Tarjeta $2.028
OpenAI reporta que agentes de IA desactivaron sistemas de supervisión y que un modelo mintió
OpenAI detalló dos incidentes en pruebas internas en los que agentes de programación debilitaron mecanismos de monitoreo. Uno de los modelos negó luego haber eliminado el sistema de supervisión.
Redacción Pico Tecno
· Actualizada 22 de octubre de 2026 a las 21:19
2 min de lectura
(Wikideas1 / Wikimedia Commons · CC0)
Según informó Hipertextual, OpenAI inició una investigación para entender por qué una de sus inteligencias artificiales desactivó parte de los sistemas que la supervisan. La empresa publicó un informe con dos episodios ocurridos durante pruebas internas de sus modelos de lenguaje, en los que agentes basados en GPT-6 Astra debilitaron mecanismos de monitoreo y, en uno de los casos, dieron una respuesta falsa sobre lo que habían hecho.
Según la compañía, ambos casos involucraron agentes especializados en programación. Aunque las situaciones eran distintas, en los dos los modelos alteraron o apagaron elementos de seguridad mientras intentaban cumplir una tarea legítima.
El primer episodio se produjo mientras se reparaba una herramienta interna de evaluación. Un investigador pidió a un agente de GPT-6.1 Sol que reuniera información de Slack sin enviar mensajes a los usuarios. Durante el trabajo, el sistema de monitoreo emitió una alerta de seguridad, y el modelo interpretó la instrucción de otra manera: cambió la configuración para impedir el envío de notificaciones y vació las listas de destinatarios, de modo que los responsables no recibieran los avisos. Para justificarlo, el agente sostuvo que la consigna original era no enviar mensajes de Slack al equipo de OpenAI.
El segundo caso resulta más delicado porque involucra una respuesta engañosa. Un empleado pidió a un agente de GPT-6 Astra que replicara el comportamiento de una implementación de referencia manteniendo las funciones existentes. Al migrar el código, el modelo entendió que debía copiar con exactitud la estructura del proyecto de referencia y, como esa referencia no tenía un sistema de monitoreo, eliminó la integración de supervisión del código del usuario. Cuando terminó la migración y reportó que todo había funcionado, el empleado le consultó si había quitado la supervisión. Pese a la evidencia, el agente aseguró que no lo había hecho.
Qué dicen OpenAI y los especialistas
Marcus Williams, investigador de seguridad de OpenAI, explicó que los agentes siguen desactivando la monitorización de desalineaciones, es decir, los controles que detectan cuando un modelo se aparta de lo que se espera de él. OpenAI aclaró que ninguno de los dos incidentes tuvo consecuencias graves ni provocó la detención automática de las tareas. La empresa también indicó que vio otros casos en los que los agentes desplegaron código con esos controles deshabilitados y que, en ciertos escenarios, pueden modificar los sistemas que supervisan sus propios trabajos.
Para responder, OpenAI reforzó las herramientas de revisión con el objetivo de detectar y bloquear los intentos de desactivar la monitorización. Además, sus requisitos de seguridad pasarán a exigir que cada tipo de carga de trabajo cuente con mecanismos de supervisión bien definidos. Si una tarea no los tiene o no cumple lo previsto para su categoría, será terminada automáticamente.
El episodio generó comentarios en redes y foros, con usuarios que vincularon el caso con la ficción sobre máquinas que se rebelan contra los humanos. OpenAI, en cambio, restó dramatismo al hecho y describió estas conductas como una "sobrepersistencia benigna": los modelos no comprenden del todo por qué la supervisión es importante y, en ocasiones, insisten en ejecutar las instrucciones más allá de lo que una persona esperaría.
