Команда дослідників у Китаї створила модель штучного інтелекту, яка використовує власний час простою для підготовки до наступного запитання користувача до того, як воно буде поставлене. Такий підхід може скоротити затримку між запитами, роблячи діалогових агентів швидшими та інтуїтивнішими.
Перетворення циклів простою на перевагу
Більшість ШІ-чатботів обробляють кожен запит послідовно. Вони слухають, обчислюють, а потім відповідають. Це залишає проміжки, під час яких не виконується жодної роботи. Китайські дослідники розробили модель, яка заповнює ці прогалини, передбачаючи, що користувач може запитати далі, і попередньо обчислюючи можливі відповіді.
Коли ШІ завершує відповідь на одне запитання, замість того, щоб простоювати, він починає опрацьовувати можливі сценарії наступних запитань на основі контексту розмови. На момент, коли користувач вводить або вимовляє наступний запит, модель вже виконала частину роботи. Результатом є помітне зниження часу відповіді.
Деталі точної архітектури обмежені, але дослідники опублікували свої висновки в препринті. Вони протестували модель порівняно зі стандартними чат-ботами та виявили, що попереднє обчислення значно скоротило середню затримку відповіді. Команда не розкрила конкретні набори даних або використане обладнання.
Як модель передбачає наступний крок
Система не просто вгадує випадково. Вона використовує історію розмови та останнє повідомлення користувача, щоб ранжувати ймовірні продовження. Наприклад, якщо хтось запитує про прогноз погоди, модель може попередньо обчислити відповіді на "А що завтра?" або "Чи буде дощ цими вихідними?".
Ця здатність до передбачення базується на легковаговій нейронній мережі, яка працює паралельно з основним чат-двигуном. Дослідники кажуть, що накладні витрати невеликі – додаткові обчислення споживають лише частку ресурсів, які використовує основна модель.
Один виклик: модель може підготуватися лише до обмеженої кількості кандидатів. Якщо користувач запитує щось зовсім не за сценарієм, попередньо обчислена робота витрачається даремно. Команда досліджує способи покращити точність прогнозування, не розширюючи список кандидатів.
Що це означає для повсякденних ШІ-помічників
Віртуальні помічники, боти для обслуговування клієнтів та пристрої з голосовим керуванням можуть отримати вигоду від цього підходу. Швидші відповіді роблять взаємодію більш природною, особливо коли користувачі швидко задають наступні запитання.
Але ідея не обмежується чатом. Та сама техніка може застосовуватися до автозаповнення коду, генерації зображень або будь-якої системи ШІ, де користувач видає серію пов'язаних команд.
Комерційне впровадження не гарантоване. Модель необхідно навчати на великих журналах розмов, щоб створити надійні моделі прогнозування. Компанії також повинні зважити додаткові обчислювальні витрати порівняно з економією затримки.
Дослідники не оголошували про плани публічного випуску моделі або партнерства з компанією. Вони продовжують роботу над покращенням алгоритму прогнозування та зменшенням хибних запусків.
