NVIDIA har introduceret et nyt sæt agentfærdigheder baseret på deres Cosmos 3-platform, designet til at fremskynde udviklingen inden for selvkørende køretøjer, robotteknologi og vision AI. Virksomheden siger, at færdighederne giver udviklere forudbyggede kapaciteter, så AI-agenter kan håndtere specifikke opgaver i komplekse, virkelige miljøer.
Hvad agentfærdighederne tilbyder
Agentfærdighederne dækker kernefunktioner, der er nødvendige for autonome systemer – perception, navigation, objekthåndtering og sceneforståelse. I stedet for at opbygge disse evner fra bunden, kan udviklere tilslutte de færdige færdigheder. NVIDIA siger, at denne tilgang reducerer den tid, der kræves for at træne og implementere AI-modeller til biler, robotter og kameraer.
Færdighederne er skræddersyet til tre hovedområder. For selvkørende køretøjer hjælper de med banedetektion, sporing af fodgængere og beslutningstagning ved kryds. For robotteknologi fokuserer de på at gribe objekter, navigere gennem lagre og reagere på menneskelige kommandoer. For vision AI forbedrer de objektgenkendelse og anomalidetektion i videostrømme.
Cosmos 3 som fundament
Under motorhjelmen leverer Cosmos 3 simulerings- og træningsgrundlaget. Platformen håndterer mangfoldigheden af virkelige scenarier – forskellig belysning, vejr og terræn – så agentfærdighederne kan testes og finjusteres uden fysiske prototyper. NVIDIA beskriver Cosmos 3 som et digitalt tvillingmiljø, hvor millioner af køre- eller gangtimer kan simuleres på få dage.
Fordi Cosmos 3 kontinuerligt lærer fra de data, det genererer, opdateres agentfærdighederne over tid. Det betyder, at en robot, der bruger disse færdigheder, kan forbedre sit greb om et glat objekt uden manuel kodeændring. Det samme gælder for en selvkørende bil, der støder på en ny type byggezone.
For virksomheder, der arbejder med selvkørende biler, kan de nye værktøjer forenkle en notorisk kompleks proces. At lære et køretøj at genkende en stoppet skolebus eller en fodgænger i regn kræver ofte måneders dataindsamling og -mærkning. NVIDIAs agentfærdigheder kommer forudtrænet på sådanne kanttilfælde, så udviklere kan starte fra et højere grundlag.
Færdighederne sigter også mod at reducere behovet for dyre hardware-opgraderinger. De kører på NVIDIAs eksisterende bilchips og kan tilpasses forskellige sensoropsætninger. Det giver bilproducenter fleksibilitet uden at skulle vente på en komplet platformombygning.
Robotteknologi og vision AI-applikationer
På robotsiden målretter agentfærdighederne både industrielle og serviceorienterede robotter. En lagerrobot kan f.eks. bruge navigationsevnen til at væve gennem gange, mens manipulationsfærdigheden håndterer genstande af varierende former og størrelser. NVIDIA siger, at færdighederne fungerer med almindelige robotters operativsystemer, så integrationen er ligetil.
For vision AI hjælper færdighederne med sikkerhedskameraer, medicinsk billeddannelse og fremstillingsinspektion. Objektgenkendelsesfærdigheden kan markere defekter på et samlebånd eller identificere ubudne gæster i et begrænset område. Fordi de kører på den samme Cosmos 3-platform, bliver de ved med at forbedre sig, efterhånden som mere videodata strømmer igennem.
Introduktionen markerer NVIDIAs seneste skub for at udvide sit AI-økosystem ud over datacentre og ud i den fysiske verden. Agentfærdighederne er nu en del af virksomhedens udviklingsværktøjskasse. Udviklere kan få adgang til dem via NVIDIAs udviklerportal, og virksomheden planlægger at fremvise brugstilfælde på kommende branchebegivenheder.
