Ett team av forskare i Kina har byggt en artificiell intelligensmodell som använder sin egen inaktiva tid för att förbereda sig för användarens nästa fråga innan den ställs. Metoden kan minska fördröjningen mellan frågor, vilket gör konversationsagenter snabbare och mer intuitiva.
Inaktiva cykler omvandlas till försprång
De flesta AI-chattrobotar behandlar varje fråga sekventiellt. De lyssnar, beräknar och svarar sedan. Det lämnar luckor däremellan där inget arbete utförs. De kinesiska forskarna utformade en modell som fyller dessa luckor genom att förutse vad användaren kan fråga härnäst och förbereda möjliga svar.
När AI:n har svarat på en fråga, istället för att vara inaktiv, börjar den köra möjliga scenarier för nästa fråga baserat på samtalets sammanhang. När användaren skriver eller säger nästa fråga har modellen redan gjort en del av arbetet. Resultatet är en märkbar minskning av svarstiden.
Detaljer om den exakta arkitekturen är knapphändiga, men forskarna delade sina resultat i en preprint. De testade modellen mot standardchattrobotar och fann att förberäkningen minskade den genomsnittliga svarstiden med en betydande marginal. Teamet avslöjade inte vilka specifika datamängder eller hårdvara som användes.
Hur modellen förutser nästa steg
Systemet gissar inte slumpmässigt. Det använder samtalshistoriken och det senaste användarmeddelandet för att rangordna troliga uppföljningar. Om någon till exempel frågar om en väderprognos kan modellen förberäkna svar på ”Vad om imorgon?” eller ”Kommer det att regna i helgen?”
Denna förutsägande förmåga bygger på ett lättviktigt neuralt nätverk som körs parallellt med den huvudsakliga chattmotorn. Forskarna säger att överheaden är liten – den extra beräkningen förbrukar bara en bråkdel av de resurser som huvudmodellen använder.
En utmaning: modellen kan bara förbereda sig för ett begränsat antal kandidater. Om användaren frågar något helt utanför manus, är det förberäknade arbetet bortkastat. Teamet undersöker sätt att förbättra förutsägelsernas noggrannhet utan att svälla ut kandidatlistan.
Vad detta innebär för vardagliga AI-assistenter
Virtuella assistenter, kundtjänstrobotar och röststyrda enheter skulle kunna dra nytta av metoden. Snabbare svar gör interaktioner mer naturliga, särskilt när användare ställer snabba uppföljningsfrågor.
Men idén är inte begränsad till chatt. Samma teknik skulle kunna tillämpas på kodautokomplettering, bildgenerering eller andra AI-system där användaren ger en serie relaterade kommandon.
Kommersiell adoption är inte garanterad. Modellen måste tränas på stora samtalsloggar för att bygga tillförlitliga prediktionsmodeller. Företag skulle också behöva väga den extra beräkningskostnaden mot besparingarna i svarstid.
Forskarna har inte meddelat några planer på att släppa modellen offentligt eller samarbeta med ett företag. De fortsätter arbetet med att förbättra prediktionsalgoritmen och minska falska starter.
