Et team av forskere i Kina har bygget en kunstig intelligens-modell som bruker sin egen ledige tid til å forberede seg på brukerens neste spørsmål før det blir stilt. Tilnærmingen kan redusere forsinkelsen mellom spørsmålene, noe som får samtalemaskiner til å føles raskere og mer intuitive.
Omformer ledige sykluser til forsprang
De fleste AI-chatboter behandler hver forespørsel sekvensielt. De lytter, beregner, og svarer så. Det etterlater hull i mellom der intet arbeid blir gjort. De kinesiske forskerne designet en modell som fyller disse hullene ved å forutsi hva brukeren kan spørre om neste gang og forhåndsberegne mulige svar.
Når AI-en er ferdig med å svare på ett spørsmål, i stedet for å være inaktiv, begynner den å kjøre mulige scenarier for neste spørsmål basert på samtalens kontekst. Når brukeren skriver eller sier neste spørsmål, har modellen allerede gjort deler av arbeidet. Resultatet er en merkbar reduksjon i responstid.
Detaljer om den nøyaktige arkitekturen er sparsommelige, men forskerne delte funnene sine i en forhåndspublikasjon. De testet modellen mot standard chatboter og fant at forhåndsberegningen reduserte gjennomsnittlig responstid med en betydelig margin. Teamet oppga ikke de spesifikke datasettene eller maskinvaren som ble brukt.
Slik gjetter modellen neste trekk
Systemet gjetter ikke bare tilfeldig. Det bruker samtalens historikk og den siste brukermeldingen for å rangere sannsynlige oppfølgingsspørsmål. For eksempel, hvis noen spør om en værmelding, kan modellen forhåndsberegne svar for «Hva med i morgen?» eller «Blir det regn i helgen?»
Denne prediktive evnen er avhengig av et lettvekts neuralt nettverk som kjører parallelt med hovedchattemotoren. Forskerne sier at overheaden er liten – den ekstra beregningen bruker bare en brøkdel av ressursene som hovedmodellen bruker.
En utfordring: modellen kan bare forberede seg på et begrenset antall kandidater. Hvis brukeren spør om noe helt uventet, er det forhåndsberegnede arbeidet bortkastet. Teamet utforsker måter å forbedre prediksjonsnøyaktigheten på uten å blåse opp kandidatlisten.
Hva dette betyr for daglige AI-hjelpere
Virtuelle assistenter, kundeserviceboter og stemmeaktiverte enheter kan dra nytte av tilnærmingen. Raskere svar gjør interaksjoner mer naturlige, spesielt når brukere kommer med raske oppfølgingsspørsmål.
Men ideen er ikke begrenset til chat. Samme teknikk kan brukes til kodefullføring, bildegenerering eller ethvert AI-system der en bruker gir en serie relaterte kommandoer.
Kommersiell adopsjon er ikke garantert. Modellen må trenes på store samtalelogger for å bygge pålitelige prediksjonsmodeller. Bedrifter må også veie den ekstra beregningskostnaden opp mot besparelsene i responstid.
Forskerne har ikke annonsert noen planer om å offentliggjøre modellen eller samarbeide med et selskap. De fortsetter arbeidet med å forbedre prediksjonsalgoritmen og redusere falske starter.
