NVIDIA har introducerat en ny uppsättning agentförmågor byggda på dess Cosmos 3-plattform, avsedda att påskynda utvecklingen av självkörande fordon, robotik och visionell AI. Företaget säger att förmågorna ger utvecklare förbyggda funktioner som låter AI-agenter hantera specifika uppgifter i komplexa, verkliga miljöer.
Vad agentförmågorna erbjuder
Agentförmågorna täcker kärnfunktioner som behövs för autonoma system – perception, navigering, objektmanipulering och scenförståelse. Istället för att bygga dessa förmågor från grunden kan utvecklare koppla in de färdiga förmågorna. NVIDIA säger att denna metod minskar tiden som behövs för att träna och distribuera AI-modeller för bilar, robotar och kameror.
Förmågorna är anpassade för tre huvudområden. För självkörande fordon hjälper de med banidentifiering, spårning av fotgängare och beslutsfattande vid korsningar. För robotik fokuserar de på att greppa objekt, röra sig genom lagerhallar och att svara på mänskliga kommandon. För visionell AI förbättrar de objektkänning och avvikelseidentifiering i videofeedar.
Cosmos 3 som grund
Under huven tillhandahåller Cosmos 3 simulerings- och träningsryggraden. Plattformen hanterar mångfalden av verkliga scenarier – olika belysning, väder och terräng – så att agentförmågorna kan testas och finjusteras utan fysiska prototyper. NVIDIA beskriver Cosmos 3 som en digital tvillingmiljö där miljontals kör- eller gåtimmar kan simuleras på dagar.
Eftersom Cosmos 3 kontinuerligt lär sig från den data den genererar uppdateras agentförmågorna över tid. Det betyder att en robot som använder dessa förmågor kan förbättra sitt grepp om ett halt objekt utan manuell kodändring. Samma sak gäller för en självkörande bil som stöter på en ny typ av byggarbetsplats.
För företag som arbetar med självkörande bilar kan de nya verktygen förenkla en notoriskt komplex process. Att lära en bil att känna igen en stoppad skolbuss eller en fotgängare i regn kräver ofta månader av datainsamling och etikettering. NVIDIAs agentförmågor kommer förtränade på sådana kantfall, vilket låter utvecklare börja från en högre baslinje.
Förmågorna syftar också till att minska behovet av kostsamma hårdvaruombyggnader. De körs på NVIDIAs befintliga bilchips och kan anpassas till olika sensoruppsättningar. Det ger biltillverkare flexibilitet utan att behöva vänta på en fullständig plattformsovergripande ombyggnad.
Robotik- och visionell AI-användningsområden
På robotiksidan riktar agentförmågorna sig till både industri- och service-robotar. En lagerhallsrobot kan till exempel använda navigeringsförmågan för att väva sig genom gångar medan manipulationsförmågan hanterar föremål med olika former och storlekar. NVIDIA säger att förmågorna fungerar med vanliga robotoperativsystem, så integrationen är enkel.
För visionell AI hjälper förmågorna till säkerhetskameror, medicinsk bildbehandling och tillverkningsinspektion. Objektkänningförmågan kan markera defekter på en monteringslinje eller identifiera intrångare i ett avspärrat område. Eftersom de körs på samma Cosmos 3-plattform förbättras de kontinuerligt när mer videodata flödar igenom.
Införandet markerar NVIDIAs senaste insats att utöka sitt AI-ekosystem utanför datacenter och in i den fysiska världen. Agentförmågorna är nu en del av företagets utvecklarverktygslåda. Utvecklare kan komma åt dem via NVIDIAs utvecklarportal, och företaget planerar att visa användningsfall på kommande branschevenemang.
