中国的一个研究团队构建了一个人工智能模型，该模型利用自身的空闲时间，在用户提出下一个问题之前就进行准备。这种方法可以缩短查询之间的延迟，使对话代理感觉更快速、更直观。
将空闲周期转化为先发优势
大多数AI聊天机器人按顺序处理查询：聆听、计算，然后响应。这会在过程中留下间隙，期间没有执行任何操作。中国研究人员设计了一种模型，通过预测用户可能提出的下一个问题并预先计算可能的答案来填补这些间隙。当AI回答完一个问题后，它不会闲置，而是根据对话上下文开始运行可能的下一个问题场景。等到用户输入或说出下一个查询时，模型已经完成了部分工作。结果就是响应时间显著缩短。关于具体架构的细节不多，但研究人员在预印本中分享了他们的发现。他们将该模型与标准聊天机器人进行测试，发现预计算使平均响应延迟大幅降低。团队没有透露使用的具体数据集或硬件。
模型如何猜测下一步
该系统并非随机猜测。它利用对话历史和上一条用户消息对可能的后续问题进行排序。例如，如果有人询问天气预报，模型可能会预先计算“那明天呢？”或“这个周末会下雨吗？”等问题的答案。这种预测能力依赖于一个轻量级神经网络，该网络与主聊天引擎并行运行。研究人员表示，额外开销很小——这种额外的计算仅消耗主模型所用资源的一小部分。一个挑战是：模型只能为有限数量的候选答案做准备。如果用户问了一个完全偏离预期的问题，预计算的工作就会被浪费。该团队正在探索如何在不扩大候选列表的前提下提高预测准确性。
这对日常AI助手意味着什么
虚拟助手、客服机器人和语音激活设备都可以受益于这种方法。更快的响应使交互感觉更自然，尤其是当用户快速连续追问时。不过，这个想法不仅限于聊天。同样的技术还可应用于代码自动补全、图像生成或任何用户发出一系列相关命令的AI系统。商业落地并非板上钉钉：模型需要在大规模对话日志上进行训练才能建立可靠的预测模型，公司也需要权衡额外的计算成本与延迟节省。研究人员尚未宣布公开发布该模型或与公司合作的计划。他们正在继续改进预测算法并减少错误预判。
