Sebuah tim peneliti di China telah membangun model kecerdasan buatan yang menggunakan waktu idle-nya sendiri untuk mempersiapkan pertanyaan berikutnya pengguna sebelum mereka menanyakannya. Pendekatan ini dapat mengurangi jeda antarpertanyaan, membuat agen percakapan terasa lebih cepat dan intuitif.
Mengubah siklus idle menjadi keunggulan awal
Kebanyakan chatbot AI memproses setiap pertanyaan secara berurutan. Mereka mendengarkan, menghitung, lalu merespons. Itu menyisakan celah di antaranya di mana tidak ada pekerjaan yang dilakukan. Para peneliti China merancang model yang mengisi celah tersebut dengan memprediksi apa yang mungkin ditanyakan pengguna selanjutnya dan melakukan prakalkulasi jawaban yang mungkin.
Ketika AI selesai menjawab satu pertanyaan, alih-alih diam saja, ia mulai menjalankan skenario pertanyaan berikutnya yang mungkin berdasarkan konteks percakapan. Pada saat pengguna mengetik atau mengucapkan pertanyaan berikutnya, model sudah mengerjakan sebagian pekerjaan. Hasilnya adalah penurunan waktu respons yang signifikan.
Detail mengenai arsitektur pastinya masih sedikit, tetapi para peneliti membagikan temuan mereka dalam sebuah pracetak. Mereka menguji model tersebut terhadap chatbot standar dan menemukan bahwa prakalkulasi memangkas latensi respons rata-rata secara signifikan. Tim tidak mengungkapkan kumpulan data atau perangkat keras spesifik yang digunakan.
Bagaimana model menebak langkah selanjutnya
Sistem tidak hanya menebak secara acak. Ia menggunakan riwayat percakapan dan pesan terakhir pengguna untuk memeringkat kemungkinan pertanyaan lanjutan. Misalnya, jika seseorang bertanya tentang prakiraan cuaca, model mungkin akan melakukan prakalkulasi jawaban untuk “Bagaimana dengan besok?” atau “Akankah hujan akhir pekan ini?”
Kemampuan prediktif ini bergantung pada jaringan saraf ringan yang berjalan paralel dengan mesin obrolan utama. Para peneliti mengatakan overhead-nya kecil – komputasi ekstra hanya mengonsumsi sebagian kecil dari sumber daya yang digunakan model utama.
Satu tantangan: model hanya dapat mempersiapkan sejumlah kandidat terbatas. Jika pengguna menanyakan sesuatu yang benar-benar di luar skrip, pekerjaan yang sudah diprakalkulasi akan sia-sia. Tim sedang mencari cara untuk meningkatkan akurasi prediksi tanpa memperbesar daftar kandidat.
Apa artinya ini bagi asisten AI sehari-hari
Asisten virtual, bot layanan pelanggan, dan perangkat yang diaktifkan suara dapat memperoleh manfaat dari pendekatan ini. Respons yang lebih cepat membuat interaksi terasa lebih alami, terutama ketika pengguna melontarkan pertanyaan lanjutan dengan cepat.
Namun ide ini tidak terbatas pada obrolan. Teknik yang sama dapat diterapkan pada pelengkapan otomatis kode, generasi gambar, atau sistem AI lainnya di mana pengguna mengeluarkan serangkaian perintah terkait.
Adopsi komersial tidak dijamin. Model harus dilatih pada log percakapan yang besar untuk membangun model prediksi yang andal. Perusahaan juga perlu mempertimbangkan biaya komputasi tambahan dengan penghematan latensi.
Para peneliti belum mengumumkan rencana untuk merilis model secara publik atau bermitra dengan perusahaan. Mereka terus bekerja untuk meningkatkan algoritma prediksi dan mengurangi kesalahan awal.
