martes, 3 de noviembre de 202621°General Pico · 15° / 22°Dólar Oficial $1.565Dólar Blue $1.565Dólar MEP $1.572Dólar Tarjeta $2.035
Un modelo de lenguaje lee y escribe pesos de redes neuronales y mejora a Qwen sin entrenarlo
Un equipo de investigación sostiene que GPT-6 Astra puede interpretar y editar directamente los pesos de otras redes neuronales a partir de instrucciones en lenguaje natural. En un modelo Qwen chico, corrigió un fallo tocando el 0,016% de los parámetros.
Redacción PicoTecno
3 min de lectura
(rikiyat.github.io)
Según informó rikiyat.github.io en una publicación técnica, los modelos de lenguaje de frontera (los más avanzados del momento) resultan sorprendentemente buenos para leer y escribir pesos de redes neuronales de forma "nativa", es decir, trabajando sobre los números crudos y guiados por objetivos expresados en lenguaje natural. Los autores llaman a esta idea Weight-Space Programming, o programación en el espacio de pesos, y la presentan como resultados muy tempranos.
Los pesos son los números que definen el comportamiento de una red neuronal. Hasta ahora se ajustaban con optimizadores simbólicos como Adam o Muon, que aplican descenso por gradiente, o con redes entrenadas para generarlos, o con compiladores a partir de programas formales. En la propuesta, un modelo de lenguaje general (en este caso GPT-6 Astra) lee y modifica esos valores directamente, sin pasar por un optimizador y, en algunos casos, sin recibir ninguna devolución del entorno.
Del reconocimiento de juegos a la corrección de Qwen
El caso más llamativo es el de Qwen3.5-0.8B. Según el texto, al pedirle a Astra que mejorara el desempeño matemático del modelo sin usar gradientes, identificó en los pesos un problema que provoca bucles de razonamiento, algo que la propia ficha del modelo de Qwen advierte. Lo corrigió editando el 0,016% de los pesos. Con la misma configuración de muestreo, el puntaje en MATH-500 pasó de 7,9% a 48,1%, y el resultado en IFEval, un test de seguimiento de instrucciones, se triplicó.
Antes de llegar a ese punto, el equipo probó la capacidad de lectura en redes pequeñas:
Con cuatro redes entrenadas con PPO (un algoritmo de aprendizaje por refuerzo) para jugar videojuegos distintos, y con idénticas dimensiones, Astra nombró el juego correcto en los cuatro casos a partir de los pesos, sin conocer las opciones de antemano.
Con modelos de difusión (DDPM) entrenados para generar círculos, triángulos y cuadrados, identificó qué producía cada uno, sin herramientas ni ejecución de la red. Dibujó todas las formas como contornos, aunque los modelos generaban figuras rellenas, un error que los autores toman como señal de que lee la geometría de los pesos y no calcula la salida.
Con tres modelos de lenguaje de 7,2 millones de parámetros, entrenados con código Python, japonés en romaji e inglés, y despojados de las capas de entrada y salida, acertó el idioma en los tres y detectó todas las cabezas de atención de copiado (induction heads), sin marcar ninguna otra como tal.
También probaron la escritura. En una red PPO que debía subir una rampa en un entorno de Kinetix y se había quedado atascada en una política subóptima, Astra recibió los pesos, una descripción de la escena y un episodio grabado. En un solo intento y sin herramientas, su edición, que cambió el 3,5% de los pesos, hizo que el auto tuviera éxito en los 1.024 episodios evaluados. Según la explicación, agregó un camino auxiliar que hace retroceder el auto antes de acelerar y luego se desactiva para que la red original maneje el resto.
Los autores también afirman que Astra, sin retroalimentación del entorno, escribió desde cero pequeñas redes que juegan mejor que redes entrenadas con PPO durante 100 millones de pasos. El fragmento disponible del texto se corta antes del detalle de ese experimento. Los resultados provienen del propio equipo y se presentan como un avance preliminar, con posibles implicancias tanto para la optimización de modelos como para su interpretabilidad.
