OpenAI hevder at Terminal X' Eval Agent – et verktøy laget for å sjekke om investeringsbeslutninger holder seg innenfor de angitte mandatene – var enig med erfarne investorer 88,6 % av tiden. Selskapet sier også at agenten fanget opp 25 % flere mandatavvik enn den eksisterende prosessen den ble sammenlignet med. Begge tallene er rapportert av leverandøren.
Tallene kommer fra en casestudie publisert av Terminal X, som tilskriver ytelsen GPT-6.1. Verken OpenAI eller Terminal X har offentliggjort de underliggende testdataene, størrelsen på utvalget eller navnene på investorene hvis vurdering ble brukt som referanse.
Hva Eval Agent skal gjøre
Produktet er rettet mot den delen av porteføljeforvaltningen som er lett å beskrive og vanskelig å automatisere: å sjekke om en foreslått handel eller posisjon faktisk passer inn i mandatet den skal følge. Mandater kan være brede – en sektorbegrensning, en durasjonsgrense, et likviditetsgulv – eller så smale at to erfarne personer kan lese samme dokument og være uenige om hvorvidt en posisjon oppfyller det.
Terminal X' casestudie fremstiller Eval Agent som et ekstra sett med øyne på dette spørsmålet. Tallet 88,6 % er et mål på samsvar, ikke korrekthet. En agent som matcher en erfaren investor nesten ni av ti ganger, avviker fortsatt i omtrent én av ti vurderinger, og casestudien sier ikke hvilken vei disse avvikene gikk – om agenten var strengere, løsere eller bare annerledes.
Tallet på 25 % avvik trenger kontekst
Påstanden om at agenten fant 25 % flere mandatavvik, er det mest konsekvensrike av de to tallene, fordi det er det som handler om å fange opp problemer snarere enn å replikere vurderinger. Men «flere» er relativt til hva som teller. Casestudien sammenligner agenten med en eksisterende prosess, og fakta spesifiserer ikke om den referansen var en manuell gjennomgang, en regelbasert screening eller en tidligere modell.
En økning på 25 % i oppdagede avvik kan bety at agenten finner reelle brudd som tidligere ble oversett. Det kan også bety at agenten flagger ting en menneskelig gjennomgang anså som akseptabelt. Uten en oppdeling av sanne positive og falske positive er tallet en retning, ikke et resultat.
Hvorfor kildene er viktige her
Dette er en leverandørrapportert referansemåling hentet fra en enkelt casestudie. Det er ikke uvanlig innen bedrifts-AI – de fleste tidlige ytelsespåstander kommer på denne måten – men det betyr at tallene ikke er uavhengig replikert. OpenAI er modellleverandøren; Terminal X er produktbyggeren; casestudien er Terminal X' sin. Hver part har en interesse i at resultatet ser sterkt ut.
Tilskrivningen til GPT-6.1 er også verdt å skille fra resten. Casestudien sier at de forbedrede mandatsjekkene skyldes modellen, men et produkt som dette kombinerer modellen med prompting, gjenfinning over mandatdokumenter og eventuell etterbehandling som ligger på toppen. Å isolere hvor mye av de 88,6 % som kommer fra modellen selv, ville kreve en ablasjon som casestudien ikke ser ut til å inkludere.
Hva etterlevelseteam vil se etter
For alle som vurderer denne typen verktøy, er de åpne spørsmålene konkrete. Hva var utvalgsstørrelsen, og hvordan ble de erfarne investorene valgt? Var mandatene som ble brukt i testingen, reelle klientdokumenter eller konstruerte eksempler? Hvordan presterte agenten i sakene der de erfarne investorene selv var uenige?
Dette er ikke akademiske poenger. En mandatsjekkende agent som har rett 88,6 % av tiden, er nyttig som et triagelag og risikabel som en autoritet. Forskjellen mellom de to er nettopp den typen detalj en casestudie har en tendens til å utelate.
Terminal X har ikke sagt om de planlegger å publisere de underliggende evalueringsdataene eller sende agenten til en ekstern gjennomgang. Inntil de gjør det, står tallene 88,6 % og 25 % som påstander fra selskapene som bygde og selger produktet – spesifikke, i prinsippet kontrollerbare og så langt ukontrollerte.
