OpenAI hävdar att Terminal X:s Eval Agent — ett verktyg byggt för att kontrollera om investeringsbeslut håller sig inom sina angivna mandat — höll med seniora investerare 88,6 % av gångerna. Företaget säger också att agenten fångade 25 % fler mandatavvikelser än den befintliga processen den jämfördes med. Båda siffrorna är leverantörsrapporterade.
Siffrorna kommer från en fallstudie publicerad av Terminal X, som tillskriver prestandan GPT-6.1. Varken OpenAI eller Terminal X har offentliggjort underliggande testdata, urvalets storlek eller namnen på de investerare vars bedömning användes som benchmark.
Vad Eval Agent förväntas göra
Produkten riktar sig mot den del av portföljförvaltningen som är lätt att beskriva men svår att automatisera: att kontrollera om en föreslagen affär eller innehav faktiskt passar det mandat det förväntas följa. Mandat kan vara breda — ett sektortak, en durationgräns, en likviditetsgolv — eller så smala att två erfarna personer kan läsa samma dokument och vara oense om huruvida en position klarar det.
Terminal X:s fallstudie framställer Eval Agent som ett par extra ögon på den frågan. Siffran 88,6 % är ett mått på överensstämmelse, inte korrekthet. En agent som matchar en senior investerare nästan nio av tio gånger avviker fortfarande i ungefär ett av tio fall, och fallstudien säger inte åt vilket håll dessa avvikelser gick — om agenten var striktare, lösare eller helt enkelt annorlunda.
Siffran 25 % avvikelser behöver kontext
Påståendet att agenten hittade 25 % fler mandatavvikelser är den mer betydelsefulla av de två siffrorna, eftersom det är den som handlar om att fånga problem snarare än att replikera bedömning. Men "fler" i förhållande till vad spelar roll. Fallstudien jämför agenten med en befintlig process, och fakta anger inte om den baslinjen var en manuell granskning, en regelbaserad screening eller en tidigare modell.
En 25-procentig ökning av upptäckta avvikelser kan innebära att agenten hittar verkliga överträdelser som tidigare missats. Det kan också innebära att agenten flaggar saker som en mänsklig granskare ansåg acceptabla. Utan en uppdelning av sanna positiva och falska positiva är siffran en riktning, inte ett resultat.
Varför källan spelar roll här
Detta är ett leverantörsrapporterat riktmärke hämtat från en enda fallstudie. Det är inte ovanligt inom företags-AI — de flesta tidiga prestandapåståenden kommer på detta sätt — men det innebär att siffrorna inte har replikerats oberoende. OpenAI är modellleverantören; Terminal X är produktbyggaren; fallstudien är Terminal X:s. Varje part har ett intresse av att resultatet ser starkt ut.
Tillskrivningen till GPT-6.1 är också värd att separera från resten. Fallstudien säger att de förbättrade mandatkontrollerna beror på modellen, men en produkt som denna kombinerar modellen med promptning, retrieval över mandatdokument och all efterbearbetning som ligger ovanpå. Att isolera hur mycket av de 88,6 % som kommer från modellen själv skulle kräva en ablation som fallstudien inte verkar innehålla.
Vad compliance-team kommer att vilja se
För alla som utvärderar den här typen av verktyg är de öppna frågorna konkreta. Vad var urvalsstorleken, och hur valdes de seniora investerarna ut? Var mandaten som användes i testningen riktiga kunddokument eller konstruerade exempel? Hur presterade agenten i de fall där de seniora investerarna själva var oense?
Det är inte akademiska poänger. En mandatkontrollerande agent som har rätt 88,6 % av tiden är användbar som ett triagelager och riskabel som en auktoritet. Skillnaden mellan de två är precis den typ av detalj som en fallstudie tenderar att utelämna.
Terminal X har inte sagt om man planerar att publicera den underliggande utvärderingsdatan eller skicka agenten till en extern granskning. Tills dess står siffrorna 88,6 % och 25 % som påståenden från företagen som byggde och säljer produkten — specifika, i princip kontrollerbara och hittills okontrollerade.
