NVIDIA heeft een nieuwe reeks agentvaardigheden geïntroduceerd, gebaseerd op het Cosmos 3-platform, ontworpen om de ontwikkeling van autonome voertuigen, robotics en visie-AI te versnellen. Het bedrijf stelt dat deze vaardigheden developers vooraf gebouwde functionaliteiten bieden waarmee AI-agenten specifieke taken kunnen uitvoeren in complexe, reële omgevingen.
Wat de agentvaardigheden bieden
De agentvaardigheden omvatten kernfuncties die nodig zijn voor autonome systemen – waarneming, navigatie, objectmanipulatie en scènerecognitie. In plaats van deze vaardigheden vanaf nul te bouwen, kunnen developers de kant-en-klare vaardigheden integreren. NVIDIA stelt dat deze aanpak de tijd verkort die nodig is om AI-modellen te trainen en in te zetten voor auto's, robots en camera's.
De vaardigheden zijn afgestemd op drie belangrijke gebieden. Voor autonome voertuigen helpen ze bij rijstrookdetectie, voetgangerstracking en besluitvorming op kruispunten. Bij robotics richten ze zich op het grijpen van objecten, het bewegen door magazijnen en het reageren op menselijke commando's. Voor visie-AI verbeteren ze objectherkenning en anomaliedetectie in videostreams.
Cosmos 3 als basis
Onder de motorkap biedt Cosmos 3 de simulatie- en trainingsbasis. Het platform verwerkt de diversiteit van reële scenario's – verschillende belichting, weersomstandigheden en terreinen – zodat de agentvaardigheden getest en verfijnd kunnen worden zonder fysieke prototypes. NVIDIA beschrijft Cosmos 3 als een digitale tweelingomgeving waarin miljoenen uren rijden of lopen in dagen gesimuleerd kunnen worden.
Omdat Cosmos 3 voortdurend leert van de gegenereerde data, worden de agentvaardigheden met de tijd bijgewerkt. Dat betekent dat een robot die deze vaardigheden gebruikt, zijn greep op een glad voorwerp kan verbeteren zonder handmatige codeaanpassingen. Hetzelfde geldt voor een zelfrijdende auto die een nieuw soort bouwplaats tegenkomt.
Voor bedrijven die werken aan zelfrijdende auto's kunnen de nieuwe tools een berucht complex proces vereenvoudigen. Een voertuig leren een gestopte schoolbus of een voetganger in de regen te herkennen vereist vaak maanden aan data-inzameling en -labeling. NVIDIA's agentvaardigheden zijn vooraf getraind op dergelijke uitzonderingsgevallen, waardoor developers vanuit een hoger uitgangspunt kunnen starten.
De vaardigheden streven ook ernaar om de behoefte aan dure hardwareaanpassingen te verminderen. Ze draaien op NVIDIA's bestaande automotive chips en kunnen worden aangepast aan verschillende sensorsystemen. Dat geeft autofabrikanten flexibiliteit zonder te hoeven wachten op een volledige platformherontwerp.
Toepassingen voor robotics en visie-AI
Aan de robotics-kant richten de agentvaardigheden zich op zowel industriële als service-robots. Een magazijnrobot kan bijvoorbeeld de navigatievaardigheid gebruiken om door gangen te manoeuvreren, terwijl de manipulatievaardigheid omgaat met items van verschillende vormen en maten. NVIDIA stelt dat de vaardigheden werken met gangbare robotsbesturingssystemen, waardoor de integratie eenvoudig is.
Voor visie-AI helpen de vaardigheden bij beveiligingscamera's, medische beeldvorming en productie-inspectie. De objectherkenningvaardigheid kan defecten op een productielijn markeren of indringers in een beveiligd gebied identificeren. Omdat ze draaien op hetzelfde Cosmos 3-platform, blijven ze verbeteren naarmate er meer videogegevens binnenkomen.
De introductie markeert de nieuwste stap van NVIDIA om zijn AI-ecosysteem uit te breiden vanaf datacenters naar de fysieke wereld. De agentvaardigheden maken nu deel uit van de developer toolkit van het bedrijf. Developers kunnen ze raadplegen via NVIDIA's developerportal, en het bedrijf plant om gebruikscases te tonen op komende branche-evenementen.
