A NVIDIA bemutatott egy új ügynökkészség-készletet a Cosmos 3 platformján alapulva, amely az önvezető járművek, a robotika és a látási AI fejlesztésének gyorsítására szolgál. A cég szerint ezek a készségek előre elkészített képességeket biztosítanak a fejlesztőknek, amelyek lehetővé teszik az AI ügynökök számára, hogy specifikus feladatokat kezeljenek összetett, valós környezetekben.
Mit kínálnak az ügynökkészségek
Az ügynökkészségek lefedik az autonóm rendszerekhez szükséges alapvető funkciókat – érzékelést, navigációt, tárgykezelést és jelenetértelmezést. A fejlesztők nem kell, hogy ezeket a képességeket nulláról építsék fel, hanem beépíthetik a kész készségeket. A NVIDIA szerint ez a megközelítés csökkenti a szükséges időt az AI modellek betanításához és üzembe helyezéséhez autókhoz, robotokhoz és kamerákhoz.
A készségeket három fő területre szabták. Az önvezető járművek esetében segítenek a sávérzékelésben, a gyalogoskövetésben és a döntéshozatalban kereszteződéseknél. A robotika terén a tárgyak megfogására, a raktárakon keresztüli mozgásra és az emberi parancsokra való reagálásra koncentrálnak. A látási AI esetében a tárgyfelismerést és az anomáliák észlelését javítják a videóforrásokban.
A Cosmos 3 alapjaként
A Cosmos 3 a szimuláció és a képzés hátterét biztosítja. A platform kezeli a valós környezetben előforduló változatosságot – különböző megvilágítást, időjárást és terepet – így az ügynökkészségek tesztelhetők és finomhangolhatók fizikai prototípusok nélkül. A NVIDIA a Cosmos 3-at egy digitális iker környezetként írja le, ahol milliókra tehető vezetési vagy gyaloglási órákat lehet napok alatt szimulálni.
Mivel a Cosmos 3 folyamatosan tanul a generált adataiból, az ügynökkészségek idővel frissülnek. Ez azt jelenti, hogy egy ilyen készségeket használó robot jobban meg tudja fogni egy csúszós tárgyat manuális kódváltoztatás nélkül. Ugyanez igaz egy önvezető autóra is, amely új típusú építkezési területtel találkozik.
Azok számára, akik önvezető autókon dolgoznak, az új eszközök leegyszerűsíthetik a híresen összetett folyamatot. Ahhoz, hogy egy jármű felismerje egy megállt iskolabuszt vagy egy esőben lévő gyalogost, gyakran hónapokig tartó adatgyűjtés és címkézés szükséges. A NVIDIA ügynökkészségei előre betanítottak ilyen szélsőséges esetekre, így a fejlesztők magasabb kiindulópontból indulhatnak.
A készségek célja a költséges hardver átalakítások szükségességének csökkentése is. A NVIDIA meglévő autóipari chipein futnak, és különböző szenzorbeállításokhoz alkalmazkodhatók. Ez rugalmasságot biztosít a járműgyártóknak anélkül, hogy teljes platform-átalakításra kellene várni.
Robotika és látási AI alkalmazások
A robotika terén az ügynökkészségek mind az ipari, mind a szolgáltató robotokra összpontosítanak. Például egy raktári robot a navigációs készséget használhatja a sávok közötti manőverezéshez, miközben a manipulációs készség kezeli a különböző alakú és méretű tárgyakat. A NVIDIA szerint a készségek kompatibilisek a gyakori robot operációs rendszerekkel, így az integráció egyszerű.
A látási AI esetében a készségek segítenek a biztonsági kamerák, az orvosi képalkotás és a gyártási ellenőrzés terén. A tárgyfelismerési készség fel tudja hívni a figyelmet hibákra az összeszerelő szalagon, vagy azonosíthatja a behatolókat egy korlátozott területen. Mivel ugyanazon a Cosmos 3 platformon futnak, folyamatosan fejlődnek, ahogy egyre több videóadat folyik át rajtuk.
Ez a bemutatás jelzi a NVIDIA legújabb lépését az AI ökoszisztémájának kiterjesztésére a központi adatközpontokon túl a fizikai világba. Az ügynökkészségek mostantól részei a cég fejlesztői eszköztárának. A fejlesztők a NVIDIA fejlesztői portálján keresztül férhetnek hozzájuk, és a cég tervezi, hogy bemutatja az alkalmazási eseteket a közelgő ipari eseményeken.
