Firma NVIDIA wprowadziła nowy zestaw umiejętności agentów opartych na platformie Cosmos 3, zaprojektowanych w celu przyspieszenia rozwoju w dziedzinie pojazdów autonomicznych, robotyki i AI wizyjnej. Firma twierdzi, że umiejętności te zapewniają programistom gotowe funkcje, które pozwalają agentom AI radzić sobie z konkretnymi zadaniami w złożonych, rzeczywistych środowiskach.
Co oferują umiejętności agentów
Umiejętności agentów obejmują podstawowe funkcje niezbędne dla systemów autonomicznych – percepcję, nawigację, manipulację obiektami i rozumienie scen. Zamiast budować te zdolności od podstaw, programiści mogą korzystać z gotowych umiejętności. NVIDIA twierdzi, że takie podejście skraca czas potrzebny na szkolenie i wdrażanie modeli AI dla samochodów, robotów i kamer.
Umiejętności są dostosowane do trzech głównych obszarów. Dla pojazdów autonomicznych pomagają w wykrywaniu pasów ruchu, śledzeniu pieszych i podejmowaniu decyzji na skrzyżowaniach. Dla robotyki koncentrują się na chwytaniu obiektów, poruszaniu się po magazynach i reagowaniu na polecenia człowieka. Dla AI wizyjnej poprawiają rozpoznawanie obiektów i wykrywanie anomalii w strumieniach wideo.
Cosmos 3 jako fundament
Pod maską Cosmos 3 zapewnia środowisko symulacyjne i treningowe. Platforma obsługuje różnorodność rzeczywistych scenariuszy – różne oświetlenie, warunki pogodowe i teren – dzięki czemu umiejętności agentów mogą być testowane i dostrajane bez fizycznych prototypów. NVIDIA opisuje Cosmos 3 jako cyfrowe bliźniacze środowisko, w którym miliony godzin jazdy lub chodzenia można symulować w ciągu kilku dni.
Ponieważ Cosmos 3 stale uczy się na podstawie generowanych danych, umiejętności agentów są z czasem aktualizowane. Oznacza to, że robot korzystający z tych umiejętności może poprawić swój chwyt śliskiego przedmiotu bez ręcznej zmiany kodu. To samo dotyczy samochodu autonomicznego napotykającego nowy rodzaj strefy budowy.
Dla firm pracujących nad samochodami autonomicznymi nowe narzędzia mogą uprościć notorycznie złożony proces. Nauczenie pojazdu rozpoznawania zatrzymanego autobusu szkolnego lub pieszego w deszczu często wymaga miesięcy zbierania i etykietowania danych. Umiejętności agentów od NVIDIA są wstępnie przeszkolone na takich przypadkach brzegowych, umożliwiając programistom start z wyższego poziomu.
Umiejętności mają również na celu zmniejszenie potrzeby kosztownych modernizacji sprzętu. Działają one na istniejących układach samochodowych NVIDIA i można je dostosować do różnych konfiguracji czujników. Daje to producentom samochodów elastyczność bez konieczności oczekiwania na całkowity przeprojektowanie platformy.
Zastosowania w robotyce i AI wizyjnej
Po stronie robotyki umiejętności agentów są przeznaczone zarówno dla robotów przemysłowych, jak i usługowych. Na przykład robot magazynowy może wykorzystać umiejętność nawigacji do poruszania się między alejkami, podczas gdy umiejętność manipulacji obsługuje przedmioty o różnych kształtach i rozmiarach. NVIDIA twierdzi, że umiejętności współpracują z popularnymi systemami operacyjnymi dla robotów, więc integracja jest prosta.
Dla AI wizyjnej umiejętności pomagają w kamerach bezpieczeństwa, obrazowaniu medycznym i inspekcji produkcyjnej. Umiejętność rozpoznawania obiektów może wykrywać wady na linii montażowej lub identyfikować intruzów w strefie zastrzeżonej. Ponieważ działają na tej samej platformie Cosmos 3, stale się poprawiają w miarę przepływu większej ilości danych wideo.
Wprowadzenie to najnowszy krok NVIDIA w rozszerzaniu ekosystemu AI poza centra danych i w kierunku świata fizycznego. Umiejętności agentów są teraz częścią zestawu narzędzi programistycznych firmy. Programiści mogą uzyskać do nich dostęp za pośrednictwem portalu deweloperskiego NVIDIA, a firma planuje zaprezentować przypadki użycia na nadchodzących wydarzeniach branżowych.
