NVIDIA a introdus un nou set de abilități agent construite pe platforma Cosmos 3, concepute pentru a accelera dezvoltarea în domeniul vehiculelor autonome, roboticii și AI vizual. Compania afirmă că abilitățile oferă dezvoltatorilor capabilități pre-construite care permit agenților AI să gestioneze sarcini specifice în medii reale complexe.
Ce oferă abilitățile agent
Abilitățile agent acoperă funcții de bază necesare sistemelor autonome – percepție, navigare, manipulare a obiectelor și înțelegere a scenei. În loc să construiască aceste capacități de la zero, dezvoltatorii pot integra abilitățile gata făcute. NVIDIA spune că această abordare reduce timpul necesar pentru a antrena și implementa modele AI pentru mașini, roboți și camere.
Abilitățile sunt adaptate pentru trei domenii principale. Pentru vehicule autonome, acestea ajută la detectarea benzilor, urmărirea pietonilor și luarea deciziilor la intersecții. Pentru robotică, se concentrează pe apucarea obiectelor, deplasarea prin depozite și răspunsul la comenzi umane. Pentru AI vizual, îmbunătățesc recunoașterea obiectelor și detectarea anomaliilor în fluxurile video.
Cosmos 3 ca fundament
În spatele scenei, Cosmos 3 oferă coloana vertebrală de simulare și antrenare. Platforma gestionează diversitatea scenariilor din lumea reală – iluminare, vreme și teren diferite – astfel încât abilitățile agent pot fi testate și ajustate fără prototipuri fizice. NVIDIA descrie Cosmos 3 ca un mediu geamăn digital în care milioane de ore de condus sau mers pot fi simulate în câteva zile.
Deoarece Cosmos 3 învață continuu din datele pe care le generează, abilitățile agent sunt actualizate în timp. Asta înseamnă că un robot care folosește aceste abilități își poate îmbunătăți prinderea unui obiect alunecos fără o modificare manuală a codului. La fel și pentru o mașină autonomă care întâlnește un nou tip de zonă de construcție.
Pentru companiile care lucrează la mașini autonome, noile instrumente ar putea simplifica un proces notoriu de complex. Învățarea unui vehicul să recunoască un autobuz școlar oprit sau un pieton în ploaie necesită adesea luni de colectare și etichetare a datelor. Abilitățile agent ale NVIDIA vin pre-antrenate pe astfel de cazuri marginale, permițând dezvoltatorilor să pornească de la un nivel de bază mai ridicat.
Abilitățile urmăresc, de asemenea, să reducă nevoia de modernizări hardware costisitoare. Ele rulează pe cipurile auto existente ale NVIDIA și pot fi adaptate la diferite configurații de senzori. Asta oferă producătorilor auto flexibilitate fără a aștepta o reproiectare completă a platformei.
Aplicații în robotică și AI vizual
Pe partea de robotică, abilitățile agent vizează atât roboții industriali, cât și cei de servicii. Un robot de depozit, de exemplu, poate folosi abilitatea de navigare pentru a se strecura pe culoare, în timp ce abilitatea de manipulare se ocupă de obiecte de forme și dimensiuni variate. NVIDIA spune că abilitățile funcționează cu sistemele de operare robotice comune, astfel încât integrarea este simplă.
Pentru AI vizual, abilitățile ajută la camerele de securitate, imagistica medicală și inspecția producției. Abilitatea de recunoaștere a obiectelor poate semnala defecte pe o linie de asamblare sau poate identifica intrusi într-o zonă restricționată. Deoarece rulează pe aceeași platformă Cosmos 3, ele se îmbunătățesc continuu pe măsură ce mai multe date video circulă.
Această introducere marchează cea mai recentă inițiativă a NVIDIA de a-și extinde ecosistemul AI dincolo de centrele de date și în lumea fizică. Abilitățile agent fac acum parte din setul de instrumente pentru dezvoltatori al companiei. Dezvoltatorii le pot accesa prin portalul de dezvoltatori NVIDIA, iar compania plănuiește să prezinte cazuri de utilizare la viitoarele evenimente din industrie.
