OpenAIは、投資判断が表明されたマンデートの範囲内に収まっているかを確認するために構築されたツール「Terminal XのEval Agent」が、シニア投資家の判断と88.6%の確率で一致したと主張している。同社はまた、このエージェントが比較対象の既存プロセスよりも25%多くマンデート逸脱を検出したとも述べている。いずれの数値もベンダーによる報告である。
これらの数値はTerminal Xが公開したケーススタディに基づくもので、同社はこの性能をGPT-6.1によるものとしている。OpenAIもTerminal Xも、基礎となるテストデータ、サンプルサイズ、あるいはベンチマークとして使用された投資家の名前を公開していない。
Eval Agentが想定する役割
この製品は、説明するのは簡単だが自動化が難しいポートフォリオ管理の領域を対象としている。すなわち、提案された取引や保有が、従うべきマンデートに実際に適合しているかを確認することである。マンデートは広範なもの——セクター上限、デュレーション制限、流動性フロア——から、経験豊富な2人が同じ文書を読んでもポジションが適合するかどうかで意見が分かれるほど狭いものまであり得る。
Terminal Xのケーススタディは、Eval Agentをこの問いに対する「第二の目」として位置づけている。88.6%という数値は正確性ではなく一致度の指標である。シニア投資家と10回中9回近く一致するエージェントでも、約10回に1回は判断が分かれており、ケーススタディではその相違がどちらの方向にあったのか——エージェントがより厳格だったのか、より緩かったのか、あるいは単に異なっていたのか——については述べられていない。
25%の逸脱検出率には文脈が必要
エージェントが25%多くマンデート逸脱を発見したという主張は、2つの数値の中でより重要な意味を持つ。なぜなら、判断を再現することではなく問題を捕捉することに言及しているからだ。しかし「より多く」が何に対してなのかが重要である。ケーススタディではエージェントを既存プロセスと比較しているが、そのベースラインが手動レビューだったのか、ルールベースのスクリーニングだったのか、あるいは以前のモデルだったのかは明記されていない。
検出された逸脱の25%増は、以前は見逃されていた実際の違反をエージェントが見つけていることを意味する可能性がある。一方で、人間のレビュアーが許容可能と判断した事項をエージェントがフラグ立てしているだけの可能性もある。真陽性と偽陽性の内訳がなければ、この数値は結果ではなく方向性を示すものに過ぎない。
ここで情報源が重要な理由
これは単一のケーススタディに基づくベンダー報告のベンチマークである。エンタープライズAIでは珍しいことではない——初期の性能主張のほとんどはこの形で出てくる——が、数値が独立に再現されていないことは確かである。OpenAIはモデルプロバイダーであり、Terminal Xは製品構築者であり、ケーススタディはTerminal Xのものである。各当事者は結果が強く見えることに利害関係を持つ。
GPT-6.1への帰属も、他の部分と切り離して考える価値がある。ケーススタディはマンデートチェックの改善がモデルによるものだとしているが、このような製品はモデルをプロンプティング、マンデート文書に対する検索、およびその上に乗る後処理と組み合わせている。88.6%のうちどれだけがモデル自体に由来するかを切り分けるには、ケーススタディには含まれていないと思われるアブレーションが必要である。
コンプライアンスチームが求めるもの
この種のツールを評価する人にとって、未解決の問いは具体的である。サンプルサイズはどれくらいだったのか、シニア投資家はどのように選ばれたのか。テストで使用されたマンデートは実際の顧客文書だったのか、それとも構築された例だったのか。シニア投資家自身の意見が分かれたケースで、エージェントはどのように機能したのか。
これらは学術的な論点ではない。88.6%の確率で正しいマンデートチェックエージェントは、トリアージ層としては有用だが、権威としては危険である。両者の違いは、まさにケーススタディが省略しがちな種類の詳細である。
Terminal Xは、基礎となる評価データを公開する予定があるか、あるいはエージェントを外部レビューに提出する予定があるかについて述べていない。それが実現するまで、88.6%と25%という数値は、製品を構築し販売する企業からの主張として残る——具体的で、原則として検証可能だが、これまでのところ検証されていない。
