OpenAI väittää, että Terminal X:n Eval Agent – työkalu, joka tarkistaa, pysyvätkö sijoituspäätökset ilmoitetuissa valtuuksissaan – oli samaa mieltä seniorisijoittajien kanssa 88,6 %:ssa tapauksista. Yhtiö väittää myös, että agentti havaitsi 25 % enemmän valtuuspoikkeamia kuin aiempi prosessi, johon sitä verrattiin. Molemmat luvut ovat toimittajan ilmoittamia.
Luvut tulevat Terminal X:n julkaisemasta tapaustutkimuksesta, joka antaa suorituskyvyn GPT-6.1:n ansioiksi. Kumpikaan yhtiö – OpenAI tai Terminal X – ei ole julkaissut taustalla olevaa testidataa, otoksen kokoa tai niiden sijoittajien nimiä, joiden arvioita käytettiin vertailukohtana.
Mitä Eval Agentin on tarkoitus tehdä
Tuote on suunnattu salkunhoidon osa-alueelle, joka on helppo kuvata mutta vaikea automatisoida: sen tarkistamiseen, sopiiko ehdotettu kauppa tai positio todella siihen valtuuteen, jota sen pitäisi noudattaa. Valtuudet voivat olla laajoja – toimialaraja, duraatioraja, likviditeettialaraja – tai niin kapeita, että kaksi kokenutta henkilöä voi lukea saman asiakirjan ja olla eri mieltä siitä, täyttääkö positio sen.
Terminal X:n tapaustutkimus esittää Eval Agentin toisena silmäparina tässä kysymyksessä. Luku 88,6 % on yhdenmukaisuuden mitta, ei oikeellisuuden. Agentti, joka on samaa mieltä seniorisijoittajan kanssa lähes yhdeksän kertaa kymmenestä, poikkeaa silti noin joka kymmenennellä kerralla, eikä tapaustutkimus kerro, mihin suuntaan poikkeamat menivät – oliko agentti tiukempi, löyhempi vai yksinkertaisesti eri mieltä.
25 %:n poikkeamaluku vaatii kontekstia
Väite siitä, että agentti löysi 25 % enemmän valtuuspoikkeamia, on kahdesta luvusta merkittävämpi, koska se kertoo ongelmien havaitsemisesta eikä arvioiden toistamisesta. Mutta "enemmän" suhteessa mihin on olennaista. Tapaustutkimus vertaa agenttia olemassa olevaan prosessiin, eikä faktat tarkenna, oliko vertailukohtana manuaalinen tarkistus, sääntöpohjainen seulonta vai aiempi malli.
25 %:n kasvu havaituissa poikkeamissa voi tarkoittaa, että agentti löytää todellisia rikkomuksia, jotka aiemmin jäivät huomaamatta. Se voi myös tarkoittaa, että agentti merkitsee asioita, joita ihmistarkistaja piti hyväksyttävinä. Ilman erittelyä oikeista ja vääristä positiivisista luku on suunta, ei tulos.
Miksi lähde on tässä tärkeä
Tämä on toimittajan ilmoittama vertailuarvo yhdestä tapaustutkimuksesta. Se ei ole epätavallista yritystekoälyssä – useimmat varhaiset suorituskykyväitteet tulevat tällä tavalla – mutta se tarkoittaa, että lukuja ei ole riippumattomasti toistettu. OpenAI on mallin tarjoaja; Terminal X on tuotteen rakentaja; tapaustutkimus on Terminal X:n. Jokaisella osapuolella on intressi siihen, että tulos näyttää vahvalta.
Myös GPT-6.1:een viittaaminen kannattaa erottaa muusta. Tapaustutkimus sanoo, että parantuneet valtuustarkistukset johtuvat mallista, mutta tällainen tuote yhdistää mallin kehotteisiin, valtuusasiakirjojen hakuun ja kaikkeen jälkikäsittelyyn, joka sen päällä on. Sen eristäminen, kuinka paljon 88,6 %:sta tulee itse mallista, vaatisi ablaitiotutkimuksen, jota tapaustutkimus ei näytä sisältävän.
Mitä vaatimustenmukaisuustiimit haluavat nähdä
Kaikille tämänkaltaista työkalua arvioiville avoimet kysymykset ovat konkreettisia. Mikä oli otoksen koko, ja miten seniorisijoittajat valittiin? Käytettiinkö testauksessa oikeita asiakasasiakirjoja vai rakennettuja esimerkkejä? Miten agentti suoriutui tapauksissa, joissa seniorisijoittajat itse olivat eri mieltä?
Nämä eivät ole akateemisia kysymyksiä. Valtuustarkistusagentti, joka on oikeassa 88,6 %:ssa tapauksista, on hyödyllinen triage-kerroksena ja riskialtis auktoriteettina. Näiden kahden ero on juuri sellainen yksityiskohta, jonka tapaustutkimus yleensä jättää pois.
Terminal X ei ole kertonut, aikooko se julkaista taustalla olevan arviointidatan tai toimittaa agentin ulkopuoliseen arviointiin. Siihen asti luvut 88,6 % ja 25 % ovat väitteitä yrityksiltä, jotka rakensivat ja myyvät tuotetta – täsmällisiä, periaatteessa tarkistettavissa olevia ja toistaiseksi tarkistamattomia.
