Společnost NVIDIA představila novou sadu dovedností pro agenty postavenou na platformě Cosmos 3, která je navržena tak, aby urychlila vývoj v oblasti autonomních vozidel, robotiky a AI pro vidění. Firma uvádí, že tyto dovednosti poskytují vývojářům předpřipravené schopnosti, které umožňují agentům AI zvládat specifické úkoly ve složitých reálných prostředích.
Co dovednosti agentů nabízejí
Dovednosti agentů pokrývají základní funkce potřebné pro autonomní systémy – vnímání, navigaci, manipulaci s objekty a porozumění scéně. Namísto vytváření těchto schopností od nuly mohou vývojáři zapojit hotové dovednosti. NVIDIA tvrdí, že tento přístup zkracuje čas potřebný k trénování a nasazení modelů AI pro auta, roboty a kamery.
Dovednosti jsou přizpůsobeny pro tři hlavní oblasti. U autonomních vozidel pomáhají s detekcí jízdních pruhů, sledováním chodců a rozhodováním na křižovatkách. V robotice se zaměřují na uchopování předmětů, pohyb ve skladech a reakci na lidské příkazy. U AI pro vidění zlepšují rozpoznávání objektů a detekci anomálií ve videozáznamech.
Cosmos 3 jako základ
Pod kapotou poskytuje Cosmos 3 simulační a tréninkovou páteř. Platforma zpracovává rozmanitost reálných scénářů – různé osvětlení, počasí a terén – takže dovednosti agentů lze testovat a vylaďovat bez fyzických prototypů. NVIDIA popisuje Cosmos 3 jako prostředí digitálního dvojčete, kde lze během dnů nasimulovat miliony hodin jízdy nebo chůze.
Protože se Cosmos 3 průběžně učí z dat, která generuje, dovednosti agentů se postupem času aktualizují. To znamená, že robot využívající tyto dovednosti může zlepšit své uchopení kluzkého předmětu bez ruční změny kódu. Totéž platí pro samořídící auto, které narazí na nový typ stavební zóny.
Pro společnosti pracující na samořídících autech by nové nástroje mohly zjednodušit notoricky složitý proces. Naučit vozidlo rozpoznat zastavený školní autobus nebo chodce v dešti obvykle vyžaduje měsíce sběru dat a jejich označování. Dovednosti agentů od NVIDIA jsou předtrénované na takové okrajové případy, což vývojářům umožňuje začít z vyšší úrovně.
Dovednosti také usilují o snížení potřeby nákladných hardwarových úprav. Běží na stávajících automobilových čipech NVIDIA a lze je přizpůsobit různým konfiguracím senzorů. To dává automobilkám flexibilitu bez nutnosti čekat na kompletní přepracování platformy.
Aplikace v robotice a AI pro vidění
Na straně robotiky míří dovednosti agentů na průmyslové i servisní roboty. Například skladový robot může pomocí navigační dovednosti proplétat uličkami, zatímco manipulační dovednost zpracovává předměty různých tvarů a velikostí. NVIDIA uvádí, že dovednosti fungují s běžnými robotickými operačními systémy, takže integrace je přímočará.
V oblasti AI pro vidění dovednosti pomáhají u bezpečnostních kamer, lékařského zobrazování a kontroly výroby. Dovednost rozpoznávání objektů může označit vady na montážní lince nebo identifikovat vetřelce v zakázané zóně. Protože běží na stejné platformě Cosmos 3, neustále se zlepšují, jak jimi protéká více videodat.
Toto uvedení představuje nejnovější krok NVIDIA k rozšíření jejího ekosystému AI mimo datová centra do fyzického světa. Dovednosti agentů jsou nyní součástí vývojářské sady společnosti. Vývojáři k nim mají přístup prostřednictvím vývojářského portálu NVIDIA a společnost plánuje předvést případy použití na nadcházejících průmyslových akcích.
