O echipă de cercetători din China a construit un model de inteligență artificială care își folosește timpul de inactivitate pentru a se pregăti pentru următoarea întrebare a unui utilizator, înainte ca acesta să o pună. Abordarea ar putea reduce întârzierea dintre întrebări, făcând agenții conversaționali să pară mai rapizi și mai intuitivi.
Transformarea ciclurilor inactive în starturi anticipate
Majoritatea chatbot-urilor AI procesează fiecare întrebare secvențial. Ascultă, calculează și apoi răspund. Aceasta lasă goluri între ele în care nu se face nicio muncă. Cercetătorii chinezi au proiectat un model care umple aceste goluri prin prezicerea a ceea ce utilizatorul ar putea întreba în continuare și precalculând posibile răspunsuri.
Când AI-ul termină de răspuns la o întrebare, în loc să stea inactiv, începe să ruleze posibile scenarii pentru următoarea întrebare, bazate pe contextul conversației. Până când utilizatorul tastează sau spune următoarea întrebare, modelul a făcut deja o parte din muncă. Rezultatul este o scădere vizibilă a timpului de răspuns.
Detaliile privind arhitectura exactă sunt limitate, dar cercetătorii și-au împărtășit concluziile într-o prepublicare. Au testat modelul împotriva chatbot-urilor standard și au descoperit că precalcularea a redus latența medie de răspuns cu o marjă semnificativă. Echipa nu a dezvăluit seturile de date sau hardware-ul specifice utilizate.
Cum ghicește modelul următoarea mișcare
Sistemul nu ghicește la întâmplare. Folosește istoricul conversației și ultimul mesaj al utilizatorului pentru a ierarhiza posibilele urmăriri. De exemplu, dacă cineva întreabă despre o prognoză meteo, modelul ar putea precalcula răspunsuri pentru „Dar mâine?” sau „Va ploua în weekend?”
Această capacitate predictivă se bazează pe o rețea neurală ușoară care rulează în paralel cu motorul principal de chat. Cercetătorii spun că suprasarcina este mică – calculul suplimentar consumă doar o fracțiune din resursele pe care le folosește modelul principal.
O provocare: modelul poate pregăti doar un număr limitat de candidați. Dacă utilizatorul întreabă ceva complet neașteptat, munca precalculată este irosită. Echipa explorează modalități de a îmbunătăți acuratețea predicției fără a infla lista de candidați.
Ce înseamnă acest lucru pentru ajutoarele AI de zi cu zi
Asistenții virtuali, roboții de serviciu clienți și dispozitivele activate prin voce ar putea beneficia de această abordare. Răspunsurile mai rapide fac interacțiunile să pară mai naturale, mai ales când utilizatorii lansează întrebări rapide consecutive.
Dar ideea nu se limitează la chat. Aceeași tehnică s-ar putea aplica la completarea automată a codului, generarea de imagini sau orice sistem AI în care un utilizator emite o serie de comenzi conexe.
Adoptarea comercială nu este garantată. Modelul trebuie antrenat pe jurnale mari de conversații pentru a construi modele de predicție fiabile. Companiile ar trebui, de asemenea, să cântărească costul computațional suplimentar față de economiile de latență.
Cercetătorii nu au anunțat planuri de a lansa modelul public sau de a colabora cu o companie. Ei continuă să lucreze la îmbunătățirea algoritmului de predicție și la reducerea starturilor false.
