Группа исследователей из Китая разработала модель искусственного интеллекта, которая использует своё время простоя для подготовки к следующему вопросу пользователя ещё до того, как он будет задан. Такой подход может сократить задержки между запросами, делая диалоговые агенты более быстрыми и интуитивно понятными.
Превращение тактов простоя в преимущество
Большинство ИИ-чат-ботов обрабатывают запросы последовательно: слушают, вычисляют, затем отвечают. Между этими этапами возникают паузы, когда работа не выполняется. Китайские учёные разработали модель, которая заполняет эти паузы, предсказывая, что пользователь может спросить дальше, и предварительно вычисляя возможные ответы.
Когда ИИ заканчивает отвечать на один вопрос, вместо того чтобы простаивать, он начинает прорабатывать сценарии следующего вопроса на основе контекста разговора. К моменту, когда пользователь набирает или произносит следующий запрос, модель уже выполнила часть работы. Результат — заметное сокращение времени ответа.
Подробности точной архитектуры не раскрываются, но исследователи поделились результатами в препринте. Они протестировали модель по сравнению со стандартными чат-ботами и обнаружили, что предварительное вычисление значительно снизило среднюю задержку ответа. Команда не раскрыла конкретные наборы данных или используемое оборудование.
Как модель угадывает следующий шаг
Система не просто гадает наугад. Она использует историю разговора и последнее сообщение пользователя, чтобы ранжировать вероятные продолжения. Например, если кто-то спрашивает о прогнозе погоды, модель может заранее подготовить ответы на вопросы «А что на завтра?» или «Будет ли дождь в эти выходные?»
Эта способность к предсказанию основана на лёгкой нейронной сети, работающей параллельно с основным чат-движком. Исследователи утверждают, что дополнительные затраты невелики — дополнительные вычисления потребляют лишь малую долю ресурсов, используемых основной моделью.
Одна из проблем: модель может подготовиться только к ограниченному числу вариантов. Если пользователь задаёт нечто совершенно неожиданное, предварительно вычисленная работа окажется напрасной. Команда ищет способы повысить точность предсказаний без увеличения списка кандидатов.
Что это значит для повседневных ИИ-помощников
Виртуальные ассистенты, боты для поддержки клиентов и голосовые устройства могут воспользоваться этим подходом. Более быстрые ответы делают взаимодействие более естественным, особенно когда пользователи задают быстрые уточняющие вопросы.
Но идея не ограничивается чатами. Та же техника может применяться для автодополнения кода, генерации изображений или любых ИИ-систем, где пользователь выдаёт серию связанных команд.
Коммерческое внедрение не гарантировано. Модель необходимо обучать на больших журналах разговоров для создания надёжных моделей предсказания. Компании также должны будут взвесить дополнительные вычислительные затраты и экономию времени задержки.
Исследователи не объявили о планах выпустить модель открыто или сотрудничать с какой-либо компанией. Они продолжают работу над улучшением алгоритма предсказания и сокращением ложных срабатываний.
