NVIDIA incorporó cuatro nuevos checkpoints (puntos de control con los pesos ya entrenados de un modelo) de pesos abiertos a la familia Cosmos 3, su plataforma para desarrollar modelos del mundo. Según informó Agencia TSS (UNSAM), los modelos apuntan a generar simulaciones interactivas y escenas de conducción con varios sensores y puntos de vista.
Los cuatro son versiones posentrenadas de Cosmos 3 Nano y cuentan con 16.000 millones de parámetros entrenables. Se distribuyen bajo la licencia OpenMDW1.1, que permite el uso comercial y no comercial según sus términos. La compañía también publicó un informe técnico, demos y recetas de posentrenamiento para que otros equipos los adapten.
Los cuatro modelos
- Cosmos3-Nano-Transfer-Auto: genera datos sintéticos de conducción de forma offline. Produce video sincronizado de hasta 11 cámaras, incluidas las de ojo de pez, y admite generación conjunta de RGB y LiDAR (sensor que mide distancias con láser). Mapas de escenario (WSM) controlan la estructura de la escena y el tráfico, mientras que un texto guía la apariencia.
- Cosmos3-Nano-Sim-Auto: es la variante de Transfer-Auto destilada para funcionar en streaming. Genera pequeños tramos sucesivos de video y LiDAR en pocos pasos de eliminación de ruido, a partir de su historial generado y de controles de conducción actualizados.
- Cosmos3-Nano-Sim-Transfer: parte de un simulador físico, que calcula movimiento, contactos y estado, y usa sus controles espaciales junto con un texto para producir observaciones en color que una política de control pueda consumir.
- Cosmos3-Nano-Sim-Bimanual: simula cómo evoluciona un entorno según las acciones de un robot de dos brazos. Soporta las plataformas YAM y AgiBot, que pueden controlarse con una política o con joysticks.
Según la fuente, la diferencia entre los dos modelos de robótica es que Sim-Transfer genera las imágenes a partir del estado actualizado del simulador, mientras que Sim-Bimanual predice la siguiente observación directamente desde la escena y las acciones del robot. En conducción, la idea es que apariencia y geometría coincidan, y que los investigadores puedan variar el trazado de las calles o el estado de los semáforos para estudiar cómo responde una política de manejo.
