Zespół badaczy w Chinach zbudował model sztucznej inteligencji, który wykorzystuje własny czas bezczynności do przygotowania się na kolejne pytanie użytkownika, zanim ten je zada. Podejście to może skrócić opóźnienie między zapytaniami, czyniąc agentów konwersacyjnych szybszymi i bardziej intuicyjnymi.
Zamiana cykli bezczynności w przewagę
Większość chatbotów AI przetwarza każde zapytanie sekwencyjnie. Słuchają, obliczają, a następnie odpowiadają. To pozostawia przerwy, w których nie jest wykonywana żadna praca. Chińscy badacze zaprojektowali model, który wypełnia te luki, przewidując, o co użytkownik może zapytać następnie, i wstępnie obliczając możliwe odpowiedzi.
Gdy AI kończy odpowiadać na jedno pytanie, zamiast pozostawać bezczynne, zaczyna uruchamiać scenariusze możliwych następnych pytań na podstawie kontekstu rozmowy. Zanim użytkownik wpisze lub wypowie kolejne zapytanie, model już wykonał część pracy. Rezultatem jest zauważalny spadek czasu odpowiedzi.
Szczegóły dotyczące dokładnej architektury są skąpe, ale badacze podzielili się swoimi odkryciami w preprintcie. Przetestowali model w porównaniu ze standardowymi chatbotami i stwierdzili, że wstępne obliczenia znacząco zmniejszyły średnie opóźnienie odpowiedzi. Zespół nie ujawnił konkretnych zbiorów danych ani użytego sprzętu.
Jak model przewiduje kolejny krok
System nie zgaduje po prostu losowo. Wykorzystuje historię rozmowy i ostatnią wiadomość użytkownika do rankingu prawdopodobnych kontynuacji. Na przykład, jeśli ktoś zapyta o prognozę pogody, model może wstępnie obliczyć odpowiedzi na pytania takie jak „A co jutro?” lub „Czy będzie padać w ten weekend?”
Ta zdolność predykcyjna opiera się na lekkiej sieci neuronowej, która działa równolegle z głównym silnikiem czatu. Badacze twierdzą, że narzut jest niewielki – dodatkowe obliczenia zużywają tylko ułamek zasobów, które wykorzystuje główny model.
Jedno wyzwanie: model może przygotować się tylko na ograniczoną liczbę kandydatów. Jeśli użytkownik zapyta o coś zupełnie poza scenariuszem, wstępnie obliczona praca jest marnowana. Zespół bada sposoby poprawy dokładności przewidywań bez rozdmuchiwania listy kandydatów.
Co to oznacza dla codziennych asystentów AI
Asystenci wirtualni, boty obsługi klienta i urządzenia aktywowane głosem mogą skorzystać z tego podejścia. Szybsze odpowiedzi sprawiają, że interakcje wydają się bardziej naturalne, zwłaszcza gdy użytkownicy zadają szybkie pytania uzupełniające.
Ale pomysł nie ogranicza się do czatu. Ta sama technika może mieć zastosowanie w autouzupełnianiu kodu, generowaniu obrazów lub dowolnym systemie AI, w którym użytkownik wydaje serię powiązanych poleceń.
Komercyjne przyjęcie nie jest gwarantowane. Model musi być trenowany na dużych dziennikach rozmów, aby zbudować niezawodne modele predykcyjne. Firmy musiałyby również rozważyć dodatkowy koszt obliczeniowy w porównaniu z oszczędnościami w opóźnieniach.
Badacze nie ogłosili żadnych planów publicznego udostępnienia modelu ani współpracy z firmą. Kontynuują prace nad ulepszeniem algorytmu predykcyjnego i redukcją fałszywych startów.
