OpenAI声称，Terminal X的Eval Agent——一款用于检查投资决策是否符合既定授权范围的工具——在88.6%的情况下与资深投资者的判断一致。该公司还表示，与所对比的现有流程相比，该代理发现的授权偏离多出25%。这两项数据均为供应商报告。
这些数字来自Terminal X发布的一份案例研究，该研究将性能归功于GPT-6.1。OpenAI和Terminal X均未公布底层测试数据、样本规模，也未披露其判断被用作基准的投资者姓名。
Eval Agent的预期功能
该产品针对的是投资组合管理中一个易于描述却难以自动化的环节：检查拟议交易或持仓是否真正符合其应遵循的授权范围。授权范围可能很宽泛——例如行业上限、久期限制、流动性下限——也可能窄到两位经验丰富的人阅读同一份文件后，对某一持仓是否合规产生分歧。
Terminal X的案例研究将Eval Agent定位为在这一问题上提供第二双眼睛。88.6%这一数字衡量的是一致性，而非正确性。一个与资深投资者近十次有九次一致的代理，仍在约十分之一的判断上存在分歧，而案例研究并未说明这些分歧的方向——代理是更严格、更宽松，还是仅仅不同。
25%的偏离数据需要背景信息
该代理发现授权偏离多出25%的说法是两项数据中更具实质意义的一项，因为它涉及的是发现问题而非复制判断。但“更多”是相对于什么而言至关重要。案例研究将代理与现有流程进行对比，但事实并未说明该基线是人工审查、基于规则的筛选，还是先前的模型。
检测到的偏离增加25%，可能意味着代理发现了此前被遗漏的真实违规。也可能意味着代理标记了人工审查者认为可接受的事项。在没有真阳性和假阳性细分的情况下，这一数字只是一个方向，而非结果。
为何信息来源在此至关重要
这是一项来自单一案例研究的供应商报告基准。这在意向AI领域并不罕见——大多数早期性能声明都是这样出现的——但这确实意味着这些数字尚未被独立复现。OpenAI是模型提供商；Terminal X是产品构建者；案例研究由Terminal X完成。各方都希望结果看起来强劲。
将改进归因于GPT-6.1也值得与其他部分分开看待。案例研究称改进的授权检查归功于模型，但此类产品将模型与提示工程、对授权文件的检索以及顶层的任何后处理捆绑在一起。要分离出88.6%中有多少来自模型本身，需要进行消融实验，而案例研究似乎并未包含此类实验。
合规团队希望看到什么
对于评估此类工具的任何人来说，悬而未决的问题都很具体。样本量是多少，资深投资者是如何选出的？测试中使用的授权是真实客户文件还是构造的示例？在资深投资者自身存在分歧的案例中，代理表现如何？
这些并非学术问题。一个88.6%正确率的授权检查代理作为分诊层是有用的，作为权威则是有风险的。两者之间的区别正是案例研究往往省略的那类细节。
Terminal X尚未表示是否计划公布底层评估数据或将代理提交外部审查。在此之前，88.6%和25%这两个数字仍是来自构建和销售该产品的公司的声明——具体、原则上可核查，但迄今为止未经核查。
