NVIDIAは、Cosmos 3プラットフォームを基盤とした新しいエージェントスキルのセットを発表しました。これは、自動運転車、ロボティクス、そしてビジョンAIの開発を加速するために設計されています。同社によると、これらのスキルは開発者にあらかじめ構築された機能を提供し、AIエージェントが複雑な実世界環境で特定のタスクを処理できるようにします。
エージェントスキルの提供内容
エージェントスキルは、自律システムに必要な中核機能（知覚、ナビゲーション、物体操作、シーン理解）をカバーしています。開発者はこれらの機能をゼロから構築する代わりに、既製のスキルを組み込むことができます。NVIDIAは、このアプローチにより、自動車、ロボット、カメラ向けのAIモデルのトレーニングとデプロイに必要な時間を短縮できると述べています。
スキルは主に3つの領域に合わせて調整されています。自動運転車については、車線検出、歩行者追跡、交差点での意思決定を支援します。ロボティクスについては、物体の把持、倉庫内の移動、人間のコマンドへの応答に焦点を当てています。ビジョンAIについては、映像フィードにおける物体認識と異常検知を改善します。
基盤としてのCosmos 3
内部では、Cosmos 3がシミュレーションとトレーニングの基盤を提供します。このプラットフォームは、照明、天候、地形といった多様な実世界シナリオを処理し、物理的なプロトタイプなしでエージェントスキルをテストおよび微調整できるようにします。NVIDIAはCosmos 3を、数百万時間分の運転や歩行を数日でシミュレートできるデジタルツイン環境と表現しています。
Cosmos 3は生成したデータから継続的に学習するため、エージェントスキルは時間とともに更新されます。つまり、これらのスキルを使用するロボットは、手動でコードを変更しなくても、滑りやすい物体の把持を改善できる可能性があります。これは、新しい種類の工事現場に遭遇した自動運転車にも当てはまります。
自動運転車に取り組む企業にとって、新しいツールは非常に複雑なプロセスを簡素化する可能性があります。停止したスクールバスや雨の中の歩行者を車両に認識させるには、通常、数か月のデータ収集とラベル付けが必要です。NVIDIAのエージェントスキルは、そのようなエッジケースで事前トレーニングされているため、開発者はより高いベースラインからスタートできます。
スキルはまた、高価なハードウェア改造の必要性を減らすことを目指しています。それらはNVIDIAの既存の自動車用チップ上で動作し、さまざまなセンサー構成に適応できます。これにより、自動車メーカーは完全なプラットフォームの再設計を待つことなく柔軟性を得られます。
ロボティクスおよびビジョンAIの応用
ロボティクス側では、エージェントスキルは産業用ロボットとサービス用ロボットの両方をターゲットとしています。例えば、倉庫ロボットはナビゲーションスキルを使用して通路を縫うように移動し、マニピュレーションスキルでさまざまな形状やサイズのアイテムを扱うことができます。NVIDIAによると、スキルは一般的なロボットオペレーティングシステムと連携するため、統合は簡単です。
ビジョンAIについては、スキルはセキュリティカメラ、医療画像、製造検査に役立ちます。物体認識スキルは、組立ラインの欠陥を検出したり、制限エリアへの侵入者を識別したりできます。同じCosmos 3プラットフォーム上で動作するため、より多くのビデオデータが流れるにつれてスキルは向上し続けます。
この導入は、NVIDIAがAIエコシステムをデータセンターの枠を超えて物理世界に拡大する最新の取り組みを示しています。エージェントスキルは現在、同社の開発者ツールキットの一部となっています。開発者はNVIDIAの開発者ポータルからアクセスでき、同社は今後の業界イベントでユースケースを紹介する予定です。
