Lenz Researchの新たな研究により、人工知能モデルがファクトチェックの主張の67%で不一致を示すことが判明し、自動検証システムの信頼性に疑念が生じている。事前の発表なしに公開されたこの調査結果は、高度なAIツールでさえ真偽の判断を求められた際に互いに矛盾することが多いことを示唆している。研究者らは、特に金融市場のような動きの速い分野では、多様な情報源と人間による監視が必要だと強調している。
不一致の規模
67%という数字は驚くべきものだ。つまり、異なるAIモデルで実行されるファクトチェックの主張のうち、3件中2件が矛盾する判定結果となることを意味する。Lenz Researchは、どのモデルをテストしたのか、また主張の性質については明らかにしていないが、単一のAIシステムだけで真偽を判断できるとは到底信頼できないことは明らかだ。この不一致率は、モデルのトレーニング方法、利用するデータ、そしてその根底にある論理に根本的な違いがあることを示している。
変動の激しい市場では、噂が瞬時に価格を動かす可能性があるため、リスクは高い。AIファクトチェッカーに依存するトレーダーは、別のモデルが却下するであろうラベルに基づいて行動するかもしれない。調査の著者らは、多様な情報源と人間の判断が重要となる状況として「変動の激しい市場」を明示的に挙げている。自動化ツールは膨大な量の情報を処理できるが、人間が関与しなければ、自身の矛盾を解決することはできない。
調査の示唆
Lenz Researchの推奨事項は単純明快だ。単一のAI情報源に頼るのではなく、出力を相互検証し、人間のレビュアーを導入し、自動ファクトチェックを多くの入力のうちの1つとして扱うこと。これは技術を放棄するよう求めるものではなく、過信に対する警告である。調査は不一致問題の解決策を提示しているわけではないが、常に人間を関与させることの重要性を強く主張している。
この調査結果は、AIがその処理速度にもかかわらず、依然として一貫性に課題を抱えていることを示す証拠の蓄積に加わるものだ。Lenz Researchは、モデルがなぜ不一致を起こすのか、またそれらをどのように調整するのかについて、より深い分析を続ける予定があるかどうかは明らかにしていない。今のところ、伝えられるメッセージはシンプルだ。「機械が一致しないときは、決定は人間に委ねられる」というものだ。
