NVIDIA Dynamo đã giới thiệu một bộ công cụ mới nhằm giúp AI agent trở nên nhanh hơn và chính xác hơn thông qua việc cải thiện cách chúng truyền tải token và xử lý cuộc gọi công cụ. Thông báo được công khai vào tuần này nhắm đến lĩnh vực quy trình làm việc agent đang phát triển, nơi các hệ thống AI thực hiện nhiệm vụ phức tạp với sự can thiệp tối thiểu từ con người.
Chức năng của các công cụ
Các công cụ tập trung vào hai lĩnh vực chính: truyền tải token và xử lý cuộc gọi công cụ. Truyền tải token đề cập đến cách mô hình AI xuất ra văn bản hoặc dữ liệu thành từng phần nhỏ, cho phép bắt đầu xử lý trước khi toàn bộ phản hồi được tạo ra. Xử lý cuộc gọi công cụ liên quan đến khả năng của agent trong việc kích hoạt các hàm ngoại vi—như tìm kiếm cơ sở dữ liệu hoặc thực thi mã—để hoàn thành nhiệm vụ. Bằng cách tối ưu hóa cả hai yếu tố này, NVIDIA Dynamo cho biết các công cụ mới có thể giảm độ trễ và nâng cao độ tin cậy trong môi trường sản xuất.
Quy trình làm việc agent đang trở nên phổ biến hơn trong các ngành như dịch vụ khách hàng, phát triển phần mềm và robot. Các hệ thống này đòi hỏi phản hồi nhanh và chính xác trước đầu vào thay đổi, điều này làm nổi bật tầm quan trọng của việc truyền tải hiệu quả và tích hợp công cụ vững chắc. Sản phẩm mới từ NVIDIA Dynamo trực tiếp giải quyết những yêu cầu này.
Đối với kỹ sư xây dựng AI agent, các cải tiến này giúp tiết kiệm thời gian chờ mô hình hoàn thiện văn bản và giảm lỗi khi agent tương tác với công cụ bên ngoài. Các công cụ được thiết kế tương thích với khung làm việc hiện có, cho phép đội ngũ triển khai mà không cần viết lại toàn bộ quy trình. NVIDIA Dynamo chưa công bố số liệu cụ thể, nhưng thành tích của công ty trong phần cứng và phần mềm AI làm tăng độ tin cậy của thông báo này.
Các nhà phát triển thường phải đối mặt với bài toán cân bằng giữa tốc độ và độ chính xác trong hệ thống agent. Truyền tải token nhanh hơn có thể dẫn đến thiếu ngữ cảnh, trong khi cuộc gọi công cụ phức tạp dễ gây trễ. Các công cụ mới hướng đến việc tối ưu hóa giao tiếp giữa mô hình và công cụ, giúp hài hòa hai yếu tố này.
NVIDIA Dynamo chưa ấn định thời điểm phát hành hoặc mức giá, nhưng dự kiến các công cụ sẽ có sẵn trên cổng nhà phát triển của công ty trong những tháng tới. Thông tin kỹ thuật chi tiết có thể được công bố tại các hội nghị AI sắp tới. Hiện tại, các nhà phát triển cần chờ tài liệu hướng dẫn và mã mẫu để đánh giá hiệu năng thực tế của công cụ.
