Según informó The Verge, OpenAI, Google, Microsoft y Anthropic anunciaron que adoptarán un nuevo estándar que permite a los editores de contenido impedir que sus sitios sean recorridos por sistemas de inteligencia artificial para extraer información. La principal novedad es que los editores podrán definir sus preferencias sobre el uso de sus contenidos para entrenar IA una sola vez y aplicarlas a varias empresas a la vez.
La señal compartida, llamada "policy token", fue propuesta por Kevin Kelley, líder técnico de estándares en Anthropic, dentro del grupo de trabajo IETF (Internet Engineering Task Force), el organismo que desarrolla estándares técnicos para internet. La señal se incluiría en el archivo robots.txt de cada sitio web, un documento que desde hace años indica a los rastreadores automáticos qué páginas pueden visitar, ya sea para indexarlas en buscadores, archivarlas o usarlas para entrenar modelos de IA. Hasta ahora, los sitios debían comunicar esas preferencias por separado a cada compañía.
El anuncio llega en un contexto de creciente presión sobre los medios y otros editores, que denuncian el aumento constante de rastreadores de IA que toman sus contenidos para alimentar sus modelos. Hubo intentos previos para frenar este fenómeno, como el estándar Really Simple Licensing (RSL), que permite a los editores cobrar a los rastreadores que visitan sus sitios, y la decisión de Cloudflare, una empresa de infraestructura web, de bloquear por defecto a los rastreadores de IA.
