NVIDIA hat eine neue Reihe von Agenten-Fähigkeiten vorgestellt, die auf der Cosmos 3-Plattform basieren und die Entwicklung in den Bereichen autonome Fahrzeuge, Robotik und Bildverarbeitungs-KI beschleunigen sollen. Das Unternehmen gibt an, dass die Fähigkeiten Entwicklern vorgefertigte Funktionen bieten, mit denen KI-Agenten bestimmte Aufgaben in komplexen realen Umgebungen bewältigen können.
Was die Agenten-Fähigkeiten bieten
Die Agenten-Fähigkeiten decken Kernfunktionen für autonome Systeme ab – Wahrnehmung, Navigation, Objektmanipulation und Szenenverständnis. Anstatt diese Fähigkeiten von Grund auf neu zu entwickeln, können Entwickler die fertigen Fähigkeiten einbinden. NVIDIA sagt, dass dieser Ansatz die Zeit reduziert, die für das Training und die Bereitstellung von KI-Modellen für Autos, Roboter und Kameras benötigt wird.
Die Fähigkeiten sind auf drei Hauptbereiche zugeschnitten. Für autonome Fahrzeuge helfen sie bei der Spurerkennung, Fußgängererkennung und Entscheidungsfindung an Kreuzungen. Für die Robotik konzentrieren sie sich auf das Greifen von Objekten, die Bewegung durch Lagerhallen und die Reaktion auf menschliche Befehle. Für die Bildverarbeitungs-KI verbessern sie die Objekterkennung und Anomalieerkennung in Videofeeds.
Cosmos 3 als Grundlage
Im Hintergrund stellt Cosmos 3 das Simulations- und Trainingsframework bereit. Die Plattform bewältigt die Vielfalt realer Szenarien – unterschiedliche Beleuchtung, Wetter und Gelände – sodass die Agenten-Fähigkeiten ohne physische Prototypen getestet und optimiert werden können. NVIDIA beschreibt Cosmos 3 als eine digitale Zwillingsumgebung, in der Millionen von Fahr- oder Gehstunden in Tagen simuliert werden können.
Da Cosmos 3 kontinuierlich aus den generierten Daten lernt, werden die Agenten-Fähigkeiten im Laufe der Zeit aktualisiert. Das bedeutet, dass ein Roboter, der diese Fähigkeiten nutzt, seinen Griff an einem rutschigen Objekt verbessern könnte, ohne dass eine manuelle Codeänderung erforderlich ist. Gleiches gilt für ein selbstfahrendes Auto, das auf eine neue Art von Baustelle trifft.
Für Unternehmen, die an selbstfahrenden Autos arbeiten, könnten die neuen Werkzeuge einen notorisch komplexen Prozess vereinfachen. Ein Fahrzeug beizubringen, einen haltenden Schulbus oder einen Fußgänger im Regen zu erkennen, erfordert normalerweise Monate der Datensammlung und -kennzeichnung. NVIDIAs Agenten-Fähigkeiten kommen bereits auf solche Grenzfälle vortrainiert, sodass Entwickler von einer höheren Ausgangsbasis starten können.
Die Fähigkeiten zielen auch darauf ab, den Bedarf an teuren Hardware-Nachrüstungen zu reduzieren. Sie laufen auf NVIDIAs bestehenden Automobilchips und können an verschiedene Sensoranordnungen angepasst werden. Das gibt Automobilherstellern Flexibilität, ohne auf eine komplette Plattform-Neugestaltung warten zu müssen.
Robotik- und Bildverarbeitungs-KI-Anwendungen
Auf der Robotikseite richten sich die Agenten-Fähigkeiten sowohl an Industrieroboter als auch an Serviceroboter. Ein Lagerroboter kann beispielsweise die Navigationsfähigkeit nutzen, um sich durch Gänge zu bewegen, während die Manipulationsfähigkeit Objekte unterschiedlicher Formen und Größen handhabt. NVIDIA sagt, dass die Fähigkeiten mit gängigen Robotik-Betriebssystemen funktionieren, sodass die Integration unkompliziert ist.
Für die Bildverarbeitungs-KI helfen die Fähigkeiten bei Sicherheitskameras, medizinischer Bildgebung und Fertigungsinspektion. Die Objekterkennungsfähigkeit kann Defekte an einem Fließband markieren oder Eindringlinge in einem Sperrbereich identifizieren. Da sie auf derselben Cosmos 3-Plattform laufen, verbessern sie sich kontinuierlich, wenn mehr Videodaten durchfließen.
Die Einführung markiert den neuesten Vorstoß von NVIDIA, sein KI-Ökosystem über Rechenzentren hinaus in die physische Welt zu erweitern. Die Agenten-Fähigkeiten sind nun Teil des Entwickler-Toolkits des Unternehmens. Entwickler können über das NVIDIA-Entwicklerportal darauf zugreifen, und das Unternehmen plant, Anwendungsfälle auf bevorstehenden Branchenveranstaltungen zu präsentieren.
