NVIDIA ha presentado un nuevo conjunto de habilidades de agente basadas en su plataforma Cosmos 3, diseñadas para acelerar el desarrollo en vehículos autónomos, robótica y visión artificial. La compañía afirma que las habilidades brindan a los desarrolladores capacidades preconstruidas que permiten a los agentes de IA manejar tareas específicas en entornos complejos del mundo real.
Qué ofrecen las habilidades de agente
Las habilidades de agente cubren funciones esenciales para sistemas autónomos: percepción, navegación, manipulación de objetos y comprensión de la escena. En lugar de construir esas capacidades desde cero, los desarrolladores pueden integrar las habilidades ya preparadas. NVIDIA señala que este enfoque reduce el tiempo necesario para entrenar e implementar modelos de IA para automóviles, robots y cámaras.
Las habilidades están diseñadas para tres áreas principales. Para vehículos autónomos, ayudan con la detección de carriles, el seguimiento de peatones y la toma de decisiones en intersecciones. Para robótica, se centran en agarrar objetos, desplazarse por almacenes y responder a comandos humanos. Para visión artificial, mejoran el reconocimiento de objetos y la detección de anomalías en transmisiones de video.
Cosmos 3 como base
Internamente, Cosmos 3 proporciona la columna vertebral de simulación y entrenamiento. La plataforma maneja la diversidad de escenarios del mundo real (diferentes condiciones de iluminación, clima y terreno) para que las habilidades del agente puedan probarse y ajustarse sin prototipos físicos. NVIDIA describe Cosmos 3 como un entorno de gemelo digital donde se pueden simular millones de horas de conducción o caminata en días.
Dado que Cosmos 3 aprende continuamente de los datos que genera, las habilidades del agente se actualizan con el tiempo. Esto significa que un robot que use estas habilidades podría mejorar su agarre de un objeto resbaladizo sin un cambio manual en el código. Lo mismo ocurre con un automóvil autónomo que se encuentre con un nuevo tipo de zona de construcción.
Para las empresas que trabajan en automóviles autónomos, las nuevas herramientas podrían simplificar un proceso notoriamente complejo. Enseñar a un vehículo a reconocer un autobús escolar detenido o a un peatón bajo la lluvia a menudo requiere meses de recopilación y etiquetado de datos. Las habilidades de agente de NVIDIA vienen preentrenadas en estos casos límite, lo que permite a los desarrolladores comenzar desde una línea base más alta.
Las habilidades también buscan reducir la necesidad de costosas adaptaciones de hardware. Funcionan en los chips automotrices existentes de NVIDIA y pueden adaptarse a diferentes configuraciones de sensores. Esto brinda a los fabricantes de automóviles flexibilidad sin tener que esperar un rediseño completo de la plataforma.
Aplicaciones en robótica y visión artificial
En el ámbito de la robótica, las habilidades del agente están orientadas tanto a robots industriales como de servicio. Por ejemplo, un robot de almacén puede usar la habilidad de navegación para moverse entre pasillos mientras que la habilidad de manipulación maneja artículos de diversas formas y tamaños. NVIDIA afirma que las habilidades funcionan con sistemas operativos robóticos comunes, por lo que la integración es sencilla.
Para la visión artificial, las habilidades ayudan con cámaras de seguridad, imágenes médicas e inspección de fabricación. La habilidad de reconocimiento de objetos puede detectar defectos en una línea de montaje o identificar intrusos en un área restringida. Debido a que se ejecutan en la misma plataforma Cosmos 3, siguen mejorando a medida que fluyen más datos de video.
La presentación marca el último esfuerzo de NVIDIA por extender su ecosistema de IA más allá de los centros de datos y hacia el mundo físico. Las habilidades del agente ahora forman parte del kit de herramientas para desarrolladores de la compañía. Los desarrolladores pueden acceder a ellas a través del portal de desarrolladores de NVIDIA, y la empresa planea mostrar casos de uso en próximos eventos de la industria.
