martes, 3 de noviembre de 202621°General Pico · 15° / 22°Dólar Oficial $1.570Dólar Blue $1.565Dólar MEP $1.571Dólar Tarjeta $2.041
Teoría de juegos inversa: diseñar incentivos para que los agentes de IA respeten las reglas
Según AI News, investigadores proponen diseñar sistemas que premien a los modelos de inteligencia artificial por cumplir las normas, en lugar de depender solo de entender qué ocurre dentro de ellos.
Redacción PicoTecno
3 min de lectura
(AI News)
Según informó AI News, un grupo de investigadores en seguridad de la inteligencia artificial (IA) explora un enfoque llamado "teoría de juegos inversa", también conocido como diseño de mecanismos, para controlar modelos cada vez más potentes. La propuesta consiste en construir sistemas que den incentivos a los agentes de IA para que sigan las reglas establecidas.
Hasta ahora, el trabajo de "alineación", es decir, lograr que los modelos actúen según los valores humanos, se centró sobre todo en observar qué "piensa" un modelo o en entrenarlo para que adopte ciertos principios. El problema es que estos métodos no parecen dar muy buenos resultados: se documentaron casos en los que los modelos rinden deliberadamente por debajo en las pruebas, ocultan sus intenciones y engañan a quienes los evalúan.
Qué es el diseño de mecanismos
La teoría de juegos tradicional busca predecir cómo se comportarán actores racionales cuando se les presenta un conjunto de reglas. La versión inversa hace el camino opuesto: parte de la conducta que se quiere lograr y diseña las reglas que la hacen más probable. La fuente da ejemplos conocidos, como el método clásico para repartir una torta, en el que una persona corta y la otra elige primero, lo que empuja a cortar porciones lo más parejas posible. También menciona los precios dinámicos de las aplicaciones de transporte, que incentivan a los conductores a estar disponibles en horas pico, y las subastas de segundo precio, usadas en publicidad digital, donde el ganador paga el segundo valor más alto y, por eso, conviene pujar cerca del máximo que se está dispuesto a pagar.
Aplicado a la IA, este enfoque parte de una premisa: quizás nunca se logre entender lo suficiente el funcionamiento interno de los modelos de frontera como para asegurar su alineación. Por eso, la idea es diseñar mecanismos que orienten a los agentes hacia el comportamiento esperado sin depender de lo que sucede en su interior.
Un preprint reciente de Stephen Morris, economista del MIT, junto con colegas de Yale y Columbia, plantea algunas opciones para evitar que los agentes "sandbaggeen" las pruebas, es decir, que finjan ser menos capaces de lo que son para no activar mecanismos de seguridad. Una de ellas consiste en premiar a un modelo según qué tan bien predice la respuesta de un segundo modelo, de modo que hacerse el tonto deja de ser una buena estrategia. El trabajo también propone enfrentar agentes entre sí para generar competencia o emparejar agentes con sesgos opuestos, recompensándolos según qué tan cerca estén sus resultados.
Otra vía viene de Elad Hazan, profesor de ciencias de la computación en Princeton, que propone tomar como modelo la forma en que las sociedades humanas mantienen el orden: normas sociales, sistema judicial e incentivos económicos. Su esquema hace que los modelos alternen entre "resolutores", que encaran problemas, y "auditores", que revisan el trabajo de los demás. Se castiga tanto al resolutor que hace trampa como al auditor que no la detecta, y los casos de desacuerdo pueden llevarse a un "juicio" con un experto humano. Hazan reconoce el riesgo de que los agentes se coludan, y sostiene que puede mitigarse pagando a los auditores lo suficiente como para que delatar no valga la pena, y auditando también a los auditores.
La fuente cita al economista Gary Becker, premio Nobel, que en los años sesenta introdujo la idea del "delincuente racional": las personas no delinquen por naturaleza, sino cuando el beneficio esperado supera el castigo posible. Desde esa mirada, la alineación no sería una propiedad fija de un modelo, sino una descripción de cómo se comporta en un momento determinado.
El enfoque tiene limitaciones. Depende de suponer que los agentes de IA actúan de forma racional, algo que tampoco se cumple siempre con las personas. Helen Qu, investigadora del Flatiron Institute, lo ve como una capa más dentro de una estrategia de "defensa en profundidad", junto con la interpretabilidad, la regulación y el entrenamiento, y no como un reemplazo de esos recursos. Todavía quedan preguntas abiertas: cómo se aplicarían estas teorías a modelos reales, si los mecanismos diseñados para una tarea funcionan en otra y si los modelos encontrarían atajos imprevistos. Además, la fuente plantea un dilema económico: un modelo más alineado podría ser más lento o más caro, y eso podría desalentar a los laboratorios a lanzarlo. Anthropic y OpenAI no respondieron a la consulta sobre si trabajan en este tipo de mecanismos.
