Et team af forskere i Kina har bygget en kunstig intelligens-model, der bruger sin egen inaktive tid til at forberede sig på brugerens næste spørgsmål, før de stiller det. Metoden kan reducere forsinkelsen mellem spørgsmål, hvilket får samtaleagenter til at føles hurtigere og mere intuitive.
Inaktive cyklusser omdannes til forspring
De fleste AI-chatbots behandler hvert spørgsmål sekventielt. De lytter, beregner og svarer derefter. Det efterlader huller imellem, hvor der ikke arbejdes. De kinesiske forskere designede en model, der udfylder disse huller ved at forudsige, hvad brugeren måske spørger om næste gang, og forudberegne mulige svar.
Når AI'en er færdig med at svare på et spørgsmål, i stedet for at være inaktiv, begynder den at køre mulige næste-spørgsmål-scenarier baseret på samtalens kontekst. Når brugeren skriver eller taler det næste spørgsmål, har modellen allerede udført en del af arbejdet. Resultatet er et mærkbart fald i svartid.
Detaljer om den præcise arkitektur er sparsomme, men forskerne delte deres resultater i en preprint. De testede modellen mod standard-chatbots og fandt, at forudberegningen reducerede den gennemsnitlige responslatenstid med en betydelig margin. Holdet oplyste ikke de specifikke datasæt eller hardware, der blev brugt.
Sådan gætter modellen næste træk
Systemet gætter ikke bare tilfældigt. Det bruger samtalens historik og den sidste brugerbesked til at rangere sandsynlige opfølgninger. For eksempel, hvis nogen spørger om en vejrudsigt, kan modellen forudberegne svar på “Hvad med i morgen?” eller “Vil det regne i weekenden?”
Denne forudsigelsesevne afhænger af et letvægts neuralt netværk, der kører parallelt med den primære chatmotor. Forskerne siger, at overheaden er lille – den ekstra beregning bruger kun en brøkdel af de ressourcer, som hovedmodellen anvender.
En udfordring: modellen kan kun forberede sig på et begrænset antal kandidater. Hvis brugeren spørger om noget helt uventet, er det forudberegnede arbejde spildt. Holdet undersøger måder at forbedre forudsigelsesnøjagtigheden uden at svulme kandidatlisten op.
Hvad dette betyder for daglige AI-hjælpere
Virtuelle assistenter, kundeservicebots og stemmeaktiverede enheder kan drage fordel af metoden. Hurtigere svar gør interaktioner mere naturlige, især når brugere affyrer hurtige opfølgninger.
Men ideen er ikke begrænset til chat. Samme teknik kunne anvendes til kodefuldførelse, billedgenerering eller ethvert AI-system, hvor en bruger afgiver en serie af relaterede kommandoer.
Kommerciel anvendelse er ikke garanteret. Modellen skal trænes på store samtalelogs for at opbygge pålidelige forudsigelsesmodeller. Virksomheder ville også skulle afveje de ekstra beregningsomkostninger mod besparelserne i latenstid.
Forskerne har ikke annonceret nogen planer om at udgive modellen offentligt eller samarbejde med en virksomhed. De fortsætter arbejdet med at forbedre forudsigelsesalgoritmen og reducere falske starter.
