jueves, 5 de noviembre de 202619°General Pico · 10° / 26°Dólar Oficial $1.570Dólar Blue $1.560Dólar MEP $1.589Dólar Tarjeta $2.041
StateBench mide cómo los modelos de lenguaje siguen los cambios de estado en documentos largos
Un nuevo benchmark evalúa si los modelos de lenguaje registran correctamente cómo cambian las entidades a lo largo de textos extensos. Según la fuente, las arquitecturas recurrentes e híbridas generalizan mejor que los transformers.
Redacción PicoTecno
· Actualizada 5 de noviembre de 2026 a las 09:46
3 min de lectura
(Agencia TSS (UNSAM))
Según informó Agencia TSS (UNSAM), investigadores presentaron StateBench, un benchmark, es decir, un conjunto estandarizado de pruebas, para medir el state tracking o seguimiento de estado en contextos largos: la capacidad de un modelo de lenguaje para mantener al día la información sobre entidades que van cambiando a lo largo de un documento.
La idea aparece en tareas tan distintas como leer código, donde las variables se asignan y se reasignan, o seguir una historia en la que los personajes se desplazan y los objetos cambian de manos. Los autores distinguen entre problemas simples, que solo exigen encontrar la última actualización, y problemas más difíciles, que requieren seguir una cadena de cambios encadenados, donde un solo paso omitido puede arruinar la respuesta final.
Por qué importan las arquitecturas
Los transformers, la arquitectura detrás de la mayoría de los modelos de lenguaje actuales, tienen límites teóricos bien documentados en los casos difíciles de seguimiento de estado con dependencias largas. Por eso crecieron las propuestas recurrentes e híbridas, como Gated DeltaNet, que conservan una memoria en marcha a medida que procesan la secuencia. Los autores señalan que, a medida que estos diseños se vuelven comunes, hace falta saber qué tipo de seguimiento puede resolver cada arquitectura, no solo en los casos más complejos sino también en los más simples y frecuentes.
StateBench organiza los problemas en cuatro niveles de dificultad, según el tipo de operaciones de actualización de estado que permiten. Para comparar niveles de forma justa, los investigadores partieron de una misma secuencia de asignaciones de variables y derivaron de ella tres versiones más fáciles, de modo que las cuatro compartan la cantidad de variables, los valores distintos y la posición de las asignaciones, y solo cambie el tipo de operación. Los niveles también se vinculan con la teoría de Krohn–Rhodes, una rama del álgebra que descompone estos problemas en primitivas básicas.
En las pruebas con modelos preentrenados de código abierto, casi todos resolvieron bien los problemas del nivel más simple. Con los problemas intermedios, la precisión cayó a medida que crecía la entrada, y en los problemas generales finitos quedaron en el azar. Además, el formato influyó: un modelo híbrido y uno Gated DeltaNet de 275 millones de parámetros rindieron cerca del máximo en problemas al estilo RULER, pero casi al azar cuando el mismo problema se planteaba como ediciones de una planilla de cálculo.
Luego se evaluaron cuatro modelos de frontera, término que se usa para los sistemas más avanzados del momento: Gemini 3.8 Flash, Claude Opus 5.5 y GPT-6 Sol y Luna. Todos funcionaron bien en los niveles más simples, pero en los problemas más difíciles la precisión cayó con fuerza al aumentar la longitud, hasta un 13% o menos en los problemas generales más largos. Según la fuente, una causa probable es que, en esos niveles, muchos más pasos pueden afectar el resultado final, de modo que omitir una sola actualización alcanza para equivocar la respuesta.
Para distinguir si el problema está en la arquitectura o en el preentrenamiento, el equipo entrenó desde cero varios modelos de 275 millones de parámetros directamente sobre StateBench. Los modelos aprendieron con secuencias de hasta 256 asignaciones y se probaron con secuencias de hasta 64.000, unas 250 veces la longitud máxima de entrenamiento. Los modelos Gated DeltaNet e híbridos generalizaron casi perfectamente en los niveles fáciles e intermedios, mientras que los transformers aprendieron los niveles más simples pero se degradaron con secuencias largas y nunca aprendieron el nivel general finito. Según el texto, en el caso de las arquitecturas recurrentes el límite parecía estar en el entrenamiento y no en la arquitectura, mientras que los transformers no lograron resolver el nivel más difícil ni siquiera entrenados de forma directa.
La fuente también enumera preguntas abiertas, como la ubicación exacta de ciertas variantes de Gated DeltaNet dentro de la jerarquía teórica, y el hecho de que StateBench asume una cantidad fija de variables, algo que no ocurre en conversaciones reales donde aparecen nuevas personas u objetos. Los autores esperan que el benchmark sirva para identificar dónde fallan los modelos y para construir datos de entrenamiento orientados a esas capacidades.
