Tým výzkumníků v Číně vytvořil model umělé inteligence, který využívá vlastní dobu nečinnosti k přípravě na další otázku uživatele dříve, než ji položí. Tento přístup by mohl zkrátit prodlevu mezi dotazy, čímž by konverzační agenti působili rychleji a intuitivněji.
Přeměna nečinných cyklů na náskok
Většina AI chatbotů zpracovává jednotlivé dotazy sekvenčně. Poslouchají, vypočítají a poté odpoví. Tím vznikají mezery, během nichž se nepracuje. Čínští výzkumníci navrhli model, který tyto mezery vyplňuje tím, že předpovídá, co by uživatel mohl chtít dále, a předpočítává možné odpovědi.
Když AI dokončí odpověď na jednu otázku, místo aby zůstala nečinná, začne spouštět možné scénáře další otázky na základě kontextu konverzace. Než uživatel napíše nebo vysloví další dotaz, model již část práce vykonal. Výsledkem je znatelné snížení doby odezvy.
Podrobnosti o přesné architektuře jsou strohé, ale výzkumníci své poznatky zveřejnili v preprintu. Testovali model proti standardním chatbotům a zjistili, že předpočítání snížilo průměrnou latenci odpovědi o významný rozdíl. Tým neuvedl konkrétní datové sady nebo použité vybavení.
Jak model odhaduje další krok
Systém nehádá jen náhodně. Využívá historii konverzace a poslední zprávu uživatele k seřazení pravděpodobných následných dotazů. Například, pokud se někdo zeptá na předpověď počasí, model může předpočítat odpovědi na 'Co zítra?' nebo 'Bude pršet o víkendu?'
Tato prediktivní schopnost spoléhá na lehkou neuronovou síť, která běží paralelně s hlavním chatovacím enginem. Výzkumníci tvrdí, že režie je malá – dodatečný výpočet spotřebuje jen zlomek zdrojů, které využívá hlavní model.
Jedna výzva: model se může připravit jen na omezený počet kandidátů. Pokud se uživatel zeptá na něco zcela mimo scénář, předpočítaná práce je ztracena. Tým zkoumá způsoby, jak zlepšit přesnost predikce bez nafukování seznamu kandidátů.
Co to znamená pro každodenní AI pomocníky
Virtuální asistenti, chatboty zákaznického servisu a hlasově ovládaná zařízení by mohly z tohoto přístupu těžit. Rychlejší odezvy činí interakce přirozenějšími, zejména když uživatelé rychle kladou další otázky.
Ale myšlenka se neomezuje jen na chat. Stejná technika by se dala použít pro automatické dokončování kódu, generování obrázků nebo jakýkoli AI systém, kde uživatel zadává sérii souvisejících příkazů.
Komerční přijetí není zaručeno. Model musí být trénován na rozsáhlých záznamech konverzací, aby se vybudovaly spolehlivé predikční modely. Společnosti by také musely zvážit dodatečné výpočetní náklady oproti úsporám latence.
Výzkumníci neoznámili žádné plány na veřejné uvolnění modelu nebo partnerství s firmou. Pokračují v práci na vylepšení predikčního algoritmu a snížení falešných startů.
