중국 연구팀이 사용자의 다음 질문을 예측하여 미리 준비하는 인공지능 모델을 개발했습니다. 이 접근 방식은 질문 간 지연 시간을 줄여 대화형 에이전트가 더 빠르고 직관적으로 느껴지게 할 수 있습니다.
유휴 사이클을 선제적 준비로 전환
대부분의 AI 챗봇은 각 질문을 순차적으로 처리합니다. 듣고, 계산하고, 응답합니다. 그 사이에 작업이 이루어지지 않는 간격이 발생합니다. 중국 연구진은 사용자가 다음에 무엇을 물을지 예측하고 가능한 답변을 미리 계산하여 그 간격을 채우는 모델을 설계했습니다.
AI가 한 질문에 대한 답변을 완료하면 유휴 상태가 아니라 대화 맥락을 바탕으로 가능한 다음 질문 시나리오를 실행하기 시작합니다. 사용자가 다음 질문을 입력하거나 말할 때쯤 모델은 이미 일부 작업을 완료한 상태입니다. 그 결과 응답 시간이 눈에 띄게 감소합니다.
정확한 아키텍처에 대한 세부 정보는 부족하지만, 연구진은 사전 인쇄본을 통해 연구 결과를 공유했습니다. 표준 챗봇과 비교 테스트한 결과, 사전 계산으로 평균 응답 지연 시간이 의미 있는 수준으로 단축되었습니다. 팀은 사용된 특정 데이터셋이나 하드웨어는 공개하지 않았습니다.
모델이 다음 동작을 예측하는 방법
시스템은 무작위로 추측하지 않습니다. 대화 기록과 마지막 사용자 메시지를 사용하여 가능한 후속 질문의 순위를 매깁니다. 예를 들어, 누군가 날씨 예보에 대해 물으면 모델은 '내일은 어떤가요?' 또는 '이번 주말에 비가 올까요?'에 대한 답변을 미리 계산할 수 있습니다.
이 예측 능력은 주 채팅 엔진과 병렬로 실행되는 경량 신경망에 의존합니다. 연구진은 오버헤드가 작다고 말합니다. 추가 계산은 주 모델이 사용하는 리소스의 극히 일부만 소비합니다.
한 가지 과제는 모델이 제한된 수의 후보만 준비할 수 있다는 점입니다. 사용자가 완전히 예상 밖의 질문을 하면 사전 계산 작업이 낭비됩니다. 연구팀은 후보 목록을 크게 늘리지 않고 예측 정확도를 개선하는 방법을 모색 중입니다.
일상적인 AI 도우미에게 의미하는 바
가상 비서, 고객 서비스 봇, 음성 활성화 기기가 이 접근 방식의 혜택을 받을 수 있습니다. 더 빠른 응답은 특히 사용자가 빠르게 연속 질문을 할 때 상호작용이 더 자연스럽게 느껴지게 합니다.
하지만 이 아이디어는 채팅에만 국한되지 않습니다. 동일한 기술이 코드 자동 완성, 이미지 생성, 또는 사용자가 일련의 관련 명령을 내리는 모든 AI 시스템에 적용될 수 있습니다.
상업적 채택이 보장되지는 않습니다. 모델은 신뢰할 수 있는 예측 모델을 구축하기 위해 대규모 대화 로그로 훈련되어야 합니다. 기업은 또한 추가 계산 비용과 지연 시간 절감 효과를 저울질해야 합니다.
연구진은 모델을 공개하거나 기업과 협력할 계획을 발표하지 않았습니다. 그들은 예측 알고리즘을 개선하고 잘못된 시작을 줄이기 위한 작업을 계속하고 있습니다.
