NVIDIA telah memperkenalkan serangkaian kemampuan agen baru yang dibangun di atas platform Cosmos 3, dirancang untuk mempercepat pengembangan dalam bidang kendaraan otonom, robotika, dan visi AI. Perusahaan menyatakan bahwa kemampuan ini memberikan kemampuan pra-terbangun kepada pengembang yang memungkinkan agen AI menangani tugas-tugas spesifik dalam lingkungan dunia nyata yang kompleks.
Apa yang Ditawarkan oleh Kemampuan Agen
Kemampuan agen mencakup fungsi inti yang dibutuhkan untuk sistem otonom – persepsi, navigasi, manipulasi objek, dan pemahaman adegan. Alih-alih membangun kemampuan tersebut dari awal, pengembang dapat memasang kemampuan yang sudah siap pakai. NVIDIA menyatakan pendekatan ini mengurangi waktu yang diperlukan untuk melatih dan menerapkan model AI pada mobil, robot, dan kamera.
Kemampuan ini disesuaikan untuk tiga bidang utama. Untuk kendaraan otonom, kemampuan ini membantu dalam deteksi jalur, pelacakan pejalan kaki, dan pengambilan keputusan di persimpangan jalan. Untuk robotika, fokusnya pada penggenggaman objek, pergerakan di gudang, dan respons terhadap perintah manusia. Untuk visi AI, kemampuan ini meningkatkan pengenalan objek dan deteksi anomali dalam aliran video.
Cosmos 3 sebagai Fondasi
Di balik layar, Cosmos 3 menyediakan tulang punggung simulasi dan pelatihan. Platform ini menangani keragaman skenario dunia nyata – seperti pencahayaan, cuaca, dan medan yang berbeda – sehingga kemampuan agen dapat diuji dan disempurnakan tanpa prototipe fisik. NVIDIA menggambarkan Cosmos 3 sebagai lingkungan kembar digital di mana jutaan jam berkendara atau berjalan dapat disimulasikan dalam hitungan hari.
Karena Cosmos 3 terus belajar dari data yang dihasilkannya, kemampuan agen diperbarui seiring waktu. Artinya, robot yang menggunakan kemampuan ini mungkin meningkatkan cengkeramannya pada objek licin tanpa perubahan kode manual. Hal yang sama berlaku untuk mobil otonom yang menghadapi zona konstruksi baru.
Bagi perusahaan yang mengembangkan mobil otonom, alat baru ini dapat menyederhanakan proses yang terkenal rumit. Mengajarkan kendaraan mengenali bus sekolah yang berhenti atau pejalan kaki saat hujan seringkali membutuhkan berbulan-bulan pengumpulan dan pelabelan data. Kemampuan agen NVIDIA telah dilatih sebelumnya untuk kasus tepi seperti ini, memungkinkan pengembang memulai dari dasar yang lebih tinggi.
Kemampuan ini juga bertujuan mengurangi kebutuhan modifikasi ulang perangkat keras yang mahal. Mereka berjalan di chip otomotif NVIDIA yang sudah ada dan dapat disesuaikan dengan berbagai konfigurasi sensor. Hal ini memberikan fleksibilitas bagi pembuat mobil tanpa harus menunggu desain ulang platform secara keseluruhan.
Aplikasi untuk Robotika dan Visi AI
Di sisi robotika, kemampuan agen ditujukan untuk robot industri maupun layanan. Sebagai contoh, robot gudang dapat menggunakan kemampuan navigasi untuk menyusuri lorong sementara kemampuan manipulasi menangani barang dengan berbagai bentuk dan ukuran. NVIDIA menyatakan kemampuan ini kompatibel dengan sistem operasi robotik yang umum digunakan, sehingga integrasinya langsung.
Untuk visi AI, kemampuan ini membantu dalam kamera keamanan, pencitraan medis, dan inspeksi manufaktur. Kemampuan pengenalan objek dapat menandai cacat pada lini produksi atau mengidentifikasi penyusup di area terlarang. Karena berjalan di platform Cosmos 3 yang sama, kemampuan ini terus meningkat seiring mengalirnya lebih banyak data video.
Pengenalan ini menandai upaya terbaru NVIDIA untuk memperluas ekosistem AI-nya melampaui pusat data dan ke dunia fisik. Kemampuan agen kini menjadi bagian dari toolkit pengembang perusahaan. Pengembang dapat mengaksesnya melalui portal pengembang NVIDIA, dan perusahaan berencana memamerkan kasus penggunaan pada acara industri mendatang.
