OpenAI hævder, at Terminal X's Eval Agent — et værktøj udviklet til at kontrollere, om investeringsbeslutninger holder sig inden for deres angivne mandater — var enig med seniorinvestorer 88,6 % af tiden. Virksomheden siger også, at agenten fangede 25 % flere mandatafvigelser end den eksisterende proces, den blev sammenlignet med. Begge tal er leverandørrapporterede.
Tallene kommer fra en case study offentliggjort af Terminal X, som tilskriver ydeevnen GPT-6.1. Hverken OpenAI eller Terminal X har offentliggjort de underliggende testdata, stikprøvens størrelse eller navnene på de investorer, hvis vurdering blev brugt som benchmark.
Hvad Eval Agenten forventes at gøre
Produktet er rettet mod den del af porteføljeforvaltningen, der er let at beskrive og svær at automatisere: at kontrollere, om en foreslået handel eller beholdning faktisk passer til det mandat, den skal følge. Mandater kan være brede — et sektormaksimum, en varighedsgrænse, et likviditetsgulv — eller så snævre, at to erfarne personer kan læse samme dokument og være uenige om, hvorvidt en position opfylder det.
Terminal X's case study fremstiller Eval Agenten som et ekstra sæt øjne på det spørgsmål. Tallet 88,6 % er et mål for enighed, ikke korrekthed. En agent, der matcher en seniorinvestor næsten ni ud af ti gange, afviger stadig på omkring hvert tiende kald, og case studyet siger ikke, i hvilken retning disse afvigelser gik — om agenten var strengere, løsere eller blot anderledes.
Tallet på 25 % afvigelser kræver kontekst
Påstanden om, at agenten fandt 25 % flere mandatafvigelser, er det mest betydningsfulde af de to tal, fordi det er det, der handler om at fange problemer snarere end at replicere vurdering. Men "flere" i forhold til hvad har betydning. Case studyet sammenligner agenten med en eksisterende proces, og fakta specificerer ikke, om den baseline var en manuel gennemgang, en regelbaseret screening eller en tidligere model.
En stigning på 25 % i opdagede afvigelser kan betyde, at agenten finder reelle overtrædelser, der tidligere blev overset. Det kan også betyde, at agenten flagger ting, som en menneskelig reviewer anså for acceptable. Uden en opdeling af sande positive og falske positive er tallet en retning, ikke et resultat.
Hvorfor kilden er vigtig her
Dette er en leverandørrapporteret benchmark baseret på et enkelt case study. Det er ikke usædvanligt inden for enterprise AI — de fleste tidlige præstationspåstande kommer på denne måde — men det betyder, at tallene ikke er blevet uafhængigt replikeret. OpenAI er modeludbyderen; Terminal X er produktbyggerne; case studyet er Terminal X's. Hver part har en interesse i, at resultatet ser stærkt ud.
Tilskrivningen til GPT-6.1 er også værd at adskille fra resten. Case studyet siger, at de forbedrede mandatkontroller skyldes modellen, men et produkt som dette kombinerer modellen med prompting, retrieval over mandatdokumenter og enhver efterbehandling, der ligger ovenpå. At isolere, hvor meget af de 88,6 %, der kommer fra modellen selv, ville kræve en ablation, som case studyet ikke ser ud til at indeholde.
Hvad compliance-teams vil se
For alle, der evaluerer denne type værktøj, er de åbne spørgsmål konkrete. Hvad var stikprøvens størrelse, og hvordan blev seniorinvestorerne udvalgt? Var de anvendte mandater i testen rigtige klientdokumenter eller konstruerede eksempler? Hvordan klarede agenten sig i de sager, hvor seniorinvestorerne selv var uenige?
Det er ikke akademiske pointer. En mandatkontrollerende agent, der har ret 88,6 % af tiden, er nyttig som et triagelag og risikabel som en autoritet. Forskellen mellem de to er netop den slags detalje, et case study har tendens til at udelade.
Terminal X har ikke sagt, om de planlægger at offentliggøre de underliggende evalueringsdata eller indsende agenten til en ekstern gennemgang. Indtil de gør det, står tallene 88,6 % og 25 % som påstande fra de virksomheder, der har bygget og sælger produktet — specifikke, i princippet kontrollerbare og hidtil ukontrollerede.
