Một nhóm nghiên cứu tại Trung Quốc đã xây dựng một mô hình trí tuệ nhân tạo sử dụng thời gian rảnh của chính nó để chuẩn bị cho câu hỏi tiếp theo của người dùng trước khi họ hỏi. Cách tiếp cận này có thể giảm độ trễ giữa các câu hỏi, làm cho các tác nhân hội thoại cảm thấy nhanh hơn và trực quan hơn.
Biến chu kỳ rảnh thành lợi thế
Hầu hết các chatbot AI xử lý từng câu hỏi một cách tuần tự. Chúng lắng nghe, tính toán và sau đó phản hồi. Điều đó tạo ra những khoảng trống giữa các lần mà không có công việc nào được thực hiện. Các nhà nghiên cứu Trung Quốc đã thiết kế một mô hình lấp đầy những khoảng trống đó bằng cách dự đoán những gì người dùng có thể hỏi tiếp theo và tính toán trước các câu trả lời khả thi.
Khi AI hoàn thành việc trả lời một câu hỏi, thay vì ngồi không, nó bắt đầu chạy các kịch bản câu hỏi tiếp theo có thể dựa trên ngữ cảnh của cuộc trò chuyện. Vào thời điểm người dùng gõ hoặc nói câu hỏi tiếp theo, mô hình đã thực hiện một phần công việc. Kết quả là sự giảm đáng kể thời gian phản hồi.
Chi tiết về kiến trúc chính xác còn ít, nhưng các nhà nghiên cứu đã chia sẻ phát hiện của họ trong một bản in trước. Họ đã thử nghiệm mô hình so với các chatbot tiêu chuẩn và thấy rằng việc tính toán trước đã giảm độ trễ phản hồi trung bình một cách đáng kể. Nhóm nghiên cứu không tiết lộ bộ dữ liệu hoặc phần cứng cụ thể được sử dụng.
Cách mô hình đoán bước tiếp theo
Hệ thống không chỉ đoán một cách ngẫu nhiên. Nó sử dụng lịch sử cuộc trò chuyện và tin nhắn cuối cùng của người dùng để xếp hạng các câu hỏi tiếp theo có khả năng xảy ra. Ví dụ, nếu ai đó hỏi về dự báo thời tiết, mô hình có thể tính toán trước câu trả lời cho 'Ngày mai thì sao?' hoặc 'Cuối tuần này có mưa không?'
Khả năng dự đoán này dựa trên một mạng nơ-ron nhẹ chạy song song với engine chat chính. Các nhà nghiên cứu cho biết chi phí phụ là nhỏ – lượng tính toán thêm chỉ tiêu tốn một phần nhỏ tài nguyên mà mô hình chính sử dụng.
Một thách thức: mô hình chỉ có thể chuẩn bị cho một số lượng ứng viên giới hạn. Nếu người dùng hỏi điều gì đó hoàn toàn ngoài kịch bản, công việc tính toán trước sẽ bị lãng phí. Nhóm nghiên cứu đang khám phá các cách để cải thiện độ chính xác dự đoán mà không làm phình to danh sách ứng viên.
Điều này có ý nghĩa gì đối với các trợ lý AI hàng ngày
Trợ lý ảo, bot dịch vụ khách hàng và các thiết bị kích hoạt bằng giọng nói có thể hưởng lợi từ cách tiếp cận này. Phản hồi nhanh hơn làm cho các tương tác cảm thấy tự nhiên hơn, đặc biệt khi người dùng đưa ra các câu hỏi tiếp theo nhanh chóng.
Nhưng ý tưởng không chỉ giới hạn trong trò chuyện. Kỹ thuật tương tự có thể áp dụng cho tự động hoàn thành mã, tạo hình ảnh, hoặc bất kỳ hệ thống AI nào mà người dùng đưa ra một loạt các lệnh liên quan.
Việc áp dụng thương mại không được đảm bảo. Mô hình phải được huấn luyện trên các bản ghi hội thoại lớn để xây dựng các mô hình dự đoán đáng tin cậy. Các công ty cũng sẽ cần cân nhắc chi phí tính toán thêm so với lợi ích giảm độ trễ.
Các nhà nghiên cứu chưa công bố kế hoạch phát hành mô hình công khai hoặc hợp tác với một công ty nào. Họ đang tiếp tục làm việc để cải thiện thuật toán dự đoán và giảm các dự đoán sai.
