NVIDIA Dynamo telah memperkenalkan satu set alat baharu yang bertujuan menjadikan ejen AI lebih pantas dan tepat dengan menambah baik cara mereka menstrim token dan mengendalikan panggilan alat. Pengumuman yang dibuat minggu ini ini menyasarkan bidang aliran kerja ejen yang semakin berkembang, di mana sistem AI melaksanakan tugas kompleks dengan campur tangan manusia yang minimum.
Apa yang alat ini lakukan
Alat ini memberi tumpuan kepada dua bidang utama: penstriman token dan pengendalian panggilan alat. Penstriman token merujuk kepada cara model AI mengeluarkan teks atau data dalam cebisan kecil, membolehkannya mula memproses sebelum keseluruhan respons dihasilkan. Pengendalian panggilan alat melibatkan keupayaan ejen untuk memanggil fungsi luaran—seperti mencari pangkalan data atau menjalankan kod—untuk menyelesaikan tugas. Dengan mempertingkatkan kedua-duanya, NVIDIA Dynamo menyatakan alat baharu ini dapat mengurangkan kependaman dan meningkatkan kebolehpercayaan dalam persekitaran pengeluaran.
Aliran kerja ejen semakin biasa dalam industri seperti perkhidmatan pelanggan, pembangunan perisian, dan robotik. Sistem ini perlu bertindak balas dengan pantas dan tepat kepada input yang berubah, yang menekankan kepentingan penstriman yang cekap dan integrasi alat yang mantap. Tawaran baharu daripada NVIDIA Dynamo secara langsung menangani keperluan tersebut.
Bagi jurutera yang membina ejen AI, penambahbaikan ini bermakna kurang masa menunggu model selesai menjana teks dan lebih sedikit ralat apabila ejen memanggil alat luaran. Alat ini direka untuk berfungsi dengan rangka kerja sedia ada, supaya pasukan boleh menggunakannya tanpa perlu menulis semula keseluruhan saluran paip mereka. NVIDIA Dynamo belum mengeluarkan penanda aras khusus, tetapi rekod prestasi syarikat dalam perkakasan dan perisian AI memberikan berat kepada pengumuman ini.
Pembangun sering bergelut dengan pertukaran antara kelajuan dan ketepatan dalam sistem ejen. Penstriman token yang lebih pantas boleh menyebabkan konteks tidak lengkap, manakala panggilan alat yang kompleks boleh menyebabkan kelewatan. Alat baharu ini bertujuan untuk mengimbangi faktor-faktor ini dengan mengoptimumkan komunikasi antara model dan alat yang digunakannya.
NVIDIA Dynamo belum lagi mengumumkan tarikh keluaran atau harga untuk alat ini, tetapi ia dijangka tersedia melalui portal pembangun syarikat dalam beberapa bulan akan datang. Syarikat mungkin akan memberikan butiran teknikal lanjut pada persidangan AI yang akan datang. Buat masa ini, pembangun perlu menunggu dokumentasi dan kod contoh untuk melihat prestasi alat ini dalam amalan.
