OpenAI sostiene che l'Eval Agent di Terminal X — uno strumento creato per verificare se le decisioni di investimento rimangono entro i mandati dichiarati — sia stato d'accordo con gli investitori senior nell'88,6% dei casi. L'azienda afferma inoltre che l'agente ha individuato il 25% in più di deviazioni dal mandato rispetto al processo esistente con cui è stato confrontato. Entrambe le cifre sono dichiarate dal fornitore.
I numeri provengono da un caso di studio pubblicato da Terminal X, che attribuisce le prestazioni a GPT-6.1. Né OpenAI né Terminal X hanno reso pubblici i dati di test sottostanti, la dimensione del campione o i nomi degli investitori il cui giudizio è stato utilizzato come benchmark.
Cosa dovrebbe fare l'Eval Agent
Il prodotto è rivolto a quella parte della gestione di portafoglio che è facile da descrivere e difficile da automatizzare: verificare se una proposta di trade o una posizione detenuta sia effettivamente conforme al mandato che dovrebbe seguire. I mandati possono essere ampi — un limite di settore, un limite di duration, una soglia di liquidità — o sufficientemente ristretti che due persone esperte possono leggere lo stesso documento e non essere d'accordo sul fatto che una posizione lo soddisfi.
Il caso di studio di Terminal X presenta l'Eval Agent come un secondo paio d'occhi su questa questione. La cifra dell'88,6% è una misura di concordanza, non di correttezza. Un agente che concorda con un investitore senior quasi nove volte su dieci diverge comunque in circa un caso su dieci, e il caso di studio non specifica in quale direzione siano andate queste divergenze — se l'agente fosse più severo, più permissivo o semplicemente diverso.
La cifra del 25% di deviazioni necessita di contesto
L'affermazione che l'agente abbia trovato il 25% in più di deviazioni dal mandato è la più significativa delle due cifre, perché è quella che parla di individuare problemi piuttosto che replicare il giudizio. Ma "più" rispetto a cosa è importante. Il caso di studio confronta l'agente con un processo esistente, e i fatti non specificano se tale baseline fosse una revisione manuale, uno screening basato su regole o un modello precedente.
Un aumento del 25% delle deviazioni rilevate potrebbe significare che l'agente sta trovando violazioni reali che erano state precedentemente trascurate. Potrebbe anche significare che l'agente sta segnalando cose che un revisore umano considerava accettabili. Senza una ripartizione tra veri positivi e falsi positivi, la cifra è un'indicazione, non un risultato.
Perché la fonte conta in questo caso
Questo è un benchmark dichiarato dal fornitore, tratto da un singolo caso di studio. Non è insolito nell'AI aziendale — la maggior parte delle prime affermazioni sulle prestazioni arriva in questo modo — ma significa che i numeri non sono stati replicati in modo indipendente. OpenAI è il fornitore del modello; Terminal X è il costruttore del prodotto; il caso di studio è di Terminal X. Ogni parte ha interesse a che il risultato appaia solido.
Anche l'attribuzione a GPT-6.1 merita di essere separata dal resto. Il caso di studio afferma che i controlli migliorati sui mandati sono dovuti al modello, ma un prodotto come questo combina il modello con il prompting, il retrieval sui documenti di mandato e qualunque post-elaborazione vi sia sopra. Isolare quanto dell'88,6% provenga dal modello stesso richiederebbe un'ablazione che il caso di studio non sembra includere.
Cosa vorranno vedere i team di compliance
Per chiunque valuti questo tipo di strumento, le domande aperte sono concrete. Qual era la dimensione del campione e come sono stati selezionati gli investitori senior? I mandati utilizzati nei test erano documenti reali di clienti o esempi costruiti? Come si è comportato l'agente nei casi in cui gli stessi investitori senior erano in disaccordo?
Non sono punti accademici. Un agente di verifica dei mandati che ha ragione nell'88,6% dei casi è utile come livello di triage e rischioso come autorità. La differenza tra i due è esattamente il tipo di dettaglio che un caso di studio tende a omettere.
Terminal X non ha dichiarato se intende pubblicare i dati di valutazione sottostanti o sottoporre l'agente a una revisione esterna. Fino ad allora, le cifre dell'88,6% e del 25% restano affermazioni delle aziende che hanno costruito e vendono il prodotto — specifiche, verificabili in linea di principio e finora non verificate.
