Un team di ricercatori in Cina ha costruito un modello di intelligenza artificiale che utilizza i propri tempi di inattività per prepararsi alla prossima domanda di un utente prima che venga posta. L'approccio potrebbe ridurre il ritardo tra le domande, rendendo gli agenti conversazionali più veloci e intuitivi.
Trasformare i cicli inattivi in vantaggi
La maggior parte dei chatbot AI elabora ogni domanda in sequenza. Ascoltano, calcolano e poi rispondono. Ciò lascia degli intervalli in cui non viene svolto alcun lavoro. I ricercatori cinesi hanno progettato un modello che riempie questi intervalli prevedendo cosa potrebbe chiedere l'utente successivamente e precalcolando possibili risposte.
Quando l'IA finisce di rispondere a una domanda, invece di restare inattiva, inizia a eseguire possibili scenari per la domanda successiva basandosi sul contesto della conversazione. Quando l'utente digita o pronuncia la domanda successiva, il modello ha già svolto parte del lavoro. Il risultato è una notevole riduzione del tempo di risposta.
I dettagli sull'architettura esatta sono scarsi, ma i ricercatori hanno condiviso i loro risultati in un preprint. Hanno testato il modello rispetto ai chatbot standard e hanno scoperto che il precalcolo ha ridotto la latenza media di risposta di un margine significativo. Il team non ha rivelato i set di dati specifici o l'hardware utilizzato.
Come il modello indovina la mossa successiva
Il sistema non indovina a caso. Utilizza la cronologia della conversazione e l'ultimo messaggio dell'utente per classificare i possibili sviluppi. Ad esempio, se qualcuno chiede informazioni sulle previsioni del tempo, il modello potrebbe precalcolare le risposte per "E domani?" o "Pioverà questo fine settimana?".
Questa capacità predittiva si basa su una rete neurale leggera che funziona in parallelo con il motore principale della chat. I ricercatori affermano che il sovraccarico è minimo: il calcolo extra consuma solo una frazione delle risorse utilizzate dal modello principale.
Una sfida: il modello può prepararsi solo per un numero limitato di candidati. Se l'utente chiede qualcosa di completamente fuori copione, il lavoro precalcolato viene sprecato. Il team sta esplorando modi per migliorare la precisione delle previsioni senza gonfiare l'elenco dei candidati.
Cosa significa per gli assistenti AI quotidiani
Assistenti virtuali, chatbot per il servizio clienti e dispositivi ad attivazione vocale potrebbero trarre vantaggio da questo approccio. Risposte più rapide rendono le interazioni più naturali, specialmente quando gli utenti lanciano veloci domande successive.
Ma l'idea non si limita alla chat. La stessa tecnica potrebbe essere applicata all'autocompletamento del codice, alla generazione di immagini o a qualsiasi sistema di IA in cui un utente emette una serie di comandi correlati.
L'adozione commerciale non è garantita. Il modello deve essere addestrato su ampi log di conversazione per costruire modelli di previsione affidabili. Le aziende dovrebbero anche valutare il costo computazionale extra rispetto al risparmio di latenza.
I ricercatori non hanno annunciato piani per rilasciare pubblicamente il modello o collaborare con un'azienda. Stanno continuando a lavorare per migliorare l'algoritmo di previsione e ridurre i falsi avvii.
