sábado, 7 de noviembre de 202618°General Pico · 8° / 19°Dólar Oficial $1.570Dólar Blue $1.555Dólar MEP $1.588Dólar Tarjeta $2.041
Un informe de METR señala que Anthropic acelera el desarrollo de sus propios modelos de IA
Según un informe de la organización METR, los modelos de Anthropic mejoran cerca del doble de rápido que hace un año, en buena parte gracias a la propia IA. La empresa redactó gran parte de la evidencia antes de publicarlo.
Redacción PicoTecno
3 min de lectura
(Google DeepMind)
De acuerdo con lo publicado por The Verge, la organización de investigación en seguridad de inteligencia artificial METR presentó un informe tras una investigación de 11 semanas dentro de Anthropic, la compañía detrás de los modelos Claude. El trabajo evaluó las tareas de investigación y desarrollo de la empresa y concluyó que sus modelos están mejorando a un ritmo cercano al doble del que tenían un año atrás, sin señales claras de desaceleración.
Uno de los hallazgos centrales es que, según los indicadores de desempeño en pruebas estandarizadas, el progreso logrado en el último año equivale a unos dos años de avances históricos. Los investigadores afirmaron tener confianza en que esta aceleración no se explica simplemente por el aumento de la potencia de cómputo usada para entrenar los modelos, un factor que históricamente fue clave para el avance de la IA.
METR sostiene que, hasta octubre, la mayor parte de esa aceleración se debe a la propia IA, y que su contribución crece con el tiempo. Para llegar a esa conclusión combinó encuestas informales en Slack con entrevistas a empleados de la empresa. Según esos relevamientos, quienes usaban el modelo interno más capaz se reportaban unas 12 veces más productivos que sin asistencia de IA, un valor que casi duplica el que informaban pocos meses antes con un modelo anterior. Por ahora, la mejora surge sobre todo de sistemas que asisten a investigadores humanos, aunque METR advirtió que ya hay señales de que las contribuciones totalmente autónomas podrían cobrar más peso pronto.
Gran parte de esta aceleración está asociada a modelos internos que todavía no fueron lanzados al público. Según el informe, en los últimos seis meses Anthropic terminó de entrenar tres de esos modelos, identificados con nombres clave como Model 2, Model 3 y Model 4, además de un modelo de 2022 llamado Unreleased 2022. La propia METR aclaró que esos nombres son los que le fueron compartidos y que internamente pueden tener otras denominaciones.
El punto más polémico es la cantidad de información que Anthropic ocultó. La empresa tenía derecho a redactar partes del informe final, y según METR usó ese derecho de forma amplia: la versión completa tenía unas 100 páginas, pero la pública omitió la mayor parte de la evidencia que los investigadores consideraban más reveladora. METR señaló que muchos de esos datos admiten varias interpretaciones posibles, lo que dificulta que el público evalúe las conclusiones por sí mismo. La organización también reconoció que el acceso que recibió fue más limitado que el que Anthropic ofrece a otros investigadores de seguridad en un programa aparte.
Sam McCandlish, cofundador de Anthropic, respondió en X que aceptaba que las redacciones dificultan verificar el trabajo de METR. Argumentó que compartir con detalle qué impulsa la aceleración sería sensible desde el punto de vista comercial y podría servir como guía para que otros avancen más rápido. Anticipó además que la empresa publicará en las próximas semanas un informe propio sobre la velocidad del progreso de la IA y nuevas medidas de seguridad.
El informe generó críticas en parte de la comunidad de seguridad en IA, que señala una contradicción: Anthropic es una de las voces más activas a favor de un desarrollo responsable, pero los resultados sugieren que contribuye a acelerar la tecnología hacia un umbral que muchos consideran peligroso, mientras limita la transparencia. Para algunos especialistas, los datos indican que la llamada automejora recursiva, es decir, sistemas de IA capaces de crear por sí solos versiones cada vez más potentes de sí mismos, podría estar más cerca de lo previsto. METR aclaró que su informe solo cubre a Anthropic, aunque OpenAI afirmó en septiembre que avanza hacia un investigador de IA con objetivos fijados para 2028.
