martes, 3 de noviembre de 202618°General Pico · 13° / 19°Dólar Oficial $1.570Dólar Blue $1.570Dólar MEP $1.581Dólar Tarjeta $2.041
Anthropic advierte que podría estar cerca de lograr una IA que se automejore
En una versión revisada de su documento para salir a bolsa, la compañía admite que podría cumplir "en breve" su propia definición de progreso acelerado por IA. Aclara que ningún modelo actual superó ese umbral y que evalúa mantener supervisión humana.
Redacción PicoTecno
2 min de lectura
(Quanta Magazine)
Anthropic incluyó una advertencia llamativa en la letra chica de su formulario S-1/A, la versión modificada del documento que presentó para su salida a bolsa. Según informó TechCrunch, la empresa sugiere que está cerca de crear un modelo capaz de mejorarse a sí mismo de forma recursiva, un concepto conocido como RSI, por sus siglas en inglés.
La RSI describe el momento en que una inteligencia artificial se vuelve tan buena entrenándose a sí misma que sus capacidades se aceleran de manera drástica. Para los sectores más pesimistas, ese punto sería un cambio sin retorno, con sistemas que escapan al control humano. Para los entusiastas, en cambio, es la promesa de una herramienta de productividad y descubrimiento científico sin precedentes.
Qué dice el documento
En la sección de factores de riesgo, Anthropic explica que usa IA en su investigación y desarrollo, y que hacerlo podría plantear "un riesgo considerable para la seguridad" si acelera mucho el ritmo del progreso. Agrega que el uso creciente de estos sistemas puede hacer que los modelos avancen más rápido que su capacidad de desarrollar y aplicar medidas de seguridad, alineación y protección.
La compañía reconoce además que en el pasado no detectó una aceleración significativa de su ritmo de desarrollo hasta después de que ocurrió, y que podría volver a pasarle. Sus estimaciones internas y sus expectativas sobre futuros modelos indican que podría cumplir "en breve" la definición de "progreso dramáticamente acelerado atribuible a la IA" de su Responsible Scaling Policy, la política con la que busca monitorear y mitigar riesgos.
Anthropic aclara, sin embargo, que no designó a ninguno de sus modelos actuales como superior a ese umbral y que sigue analizando los datos. También afirma que no prevé poder usar a Claude para diseñar y construir de forma totalmente autónoma nuevas generaciones de modelos de frontera sin supervisión humana significativa. Por eso evalúa actualizar su política para que las personas conserven el control del desarrollo.
TechCrunch señala que un S-1 es a la vez un documento de divulgación y una pieza de marketing, por lo que los escépticos podrían leer estas afirmaciones como parte de la segunda función. Aun así, el medio sostiene que las capacidades de Claude en programación, matemática y ciberseguridad crecieron mucho este año, y plantea que, si la empresa cree cercana la posibilidad de la RSI, conviene tomarlo en serio.
