NVIDIA представила новий набір навичок агентів, створений на основі платформи Cosmos 3, призначений для прискорення розробки автономних транспортних засобів, робототехніки та візуального штучного інтелекту. Компанія стверджує, що ці навички надають розробникам готові функції, які дозволяють агентам штучного інтелекту виконувати конкретні завдання в складних реальних умовах.
Що пропонують навички агентів
\nНавички агентів охоплюють ключові функції, необхідні для автономних систем, — сприйняття, навігацію, маніпулювання об'єктами та розуміння сцен. Замість створення цих можливостей з нуля розробники можуть використовувати готові навички. NVIDIA стверджує, що такий підхід скорочує час, необхідний для навчання та розгортання моделей штучного інтелекту для автомобілів, роботів та камер.
Навички адаптовані для трьох основних сфер. Для автономних транспортних засобів вони допомагають у виявленні смуг, відстеженні пішоходів та прийнятті рішень на перехрестях. У робототехніці вони зосереджені на захопленні об'єктів, переміщенні по складах та реагуванні на людські команди. Для візуального штучного інтелекту вони покращують розпізнавання об'єктів та виявлення аномалій у відеопотоках.
Cosmos 3 як основа
\nПід капотом Cosmos 3 забезпечує основу для симуляції та навчання. Платформа враховує різноманітні реальні сценарії — різне освітлення, погодні умови та рельєф — щоб навички агентів можна було тестувати та доналаштовувати без фізичних прототипів. NVIDIA описує Cosmos 3 як середовище цифрового двійника, де мільйони годин їзди або ходьби можна симулювати за дні.
Оскільки Cosmos 3 постійно навчається на основі генерованих даних, навички агентів оновлюються з часом. Це означає, що робот, що використовує ці навички, може покращити захоплення слизького об'єкта без ручного зміни коду. Те саме стосується автономного автомобіля, який зустрічає новий тип будівельної ділянки.
Для компаній, які працюють над автономними автомобілями, нові інструменти можуть спростити надзвичайно складний процес. Навчання автомобіля розпізнавати зупинений шкільний автобус або пішохода під дощем часто вимагає місяців збору даних та їхній розмітки. Навички агентів NVIDIA мають попередню підготовку на таких краєвих випадках, що дозволяє розробникам починати з більш високого рівня.
Ці навички також спрямовані на зменшення потреби в дорогих модернізаціях апаратного забезпечення. Вони працюють на існуючих автомобільних чіпах NVIDIA і можуть адаптуватися до різних конфігурацій сенсорів. Це надає автовиробникам гнучкості без очікування повного перепроектування платформи.
Застосування в робототехніці та візуальному штучному інтелекті
\nЗ точки зору робототехніки навички агентів охоплюють як промислові, так і сервісні роботи. Наприклад, складський робот може використовувати навичку навігації для переміщення між стелажами, тоді як навичка маніпулювання обробляє предмети різної форми та розміру. NVIDIA стверджує, що навички сумісні з поширеними роботичними операційними системами, тому інтеграція проста.
Для візуального штучного інтелекту навички допомагають у роботі камер безпеки, медичної візуалізації та інспекції виробництва. Навичка розпізнавання об'єктів може відзначати дефекти на конвеєрі або виявляти незаконних осіб у обмеженій зоні. Оскільки вони працюють на тій самій платформі Cosmos 3, вони постійно покращуються зі збільшенням обсягу відеоданих.
Ця новина є останнім кроком NVIDIA у розширенні екосистеми штучного інтелекту за межі дата-центров у фізичний світ. Навички агентів тепер є частиною інструментарію розробників компанії. Розробники можуть отримати до них доступ через портал розробників NVIDIA, а компанія планує демонструвати практичні випадки використання на майбутніх галузевих подіях.
