OpenAI po pretendon se Eval Agent i Terminal X — një mjet i ndërtuar për të kontrolluar nëse vendimet investuese qëndrojnë brenda mandateve të deklaruara — është në përputhje me investitorët e lartë 88.6% të rasteve. Kompania gjithashtu thotë se agjenti zbuloi 25% më shumë devijime nga mandati sesa procesi ekzistues me të cilin u krahasua. Të dyja shifrat janë raportuar nga shitësi.
Shifrat vijnë nga një studim rasti i publikuar nga Terminal X, i cili ia atribuon performancën GPT-6.1. As OpenAI as Terminal X nuk kanë publikuar të dhënat bazë të testit, madhësinë e mostrës, ose emrat e investitorëve, gjykimi i të cilëve u përdor si pikë referimi.
Çfarë pritet të bëjë Eval Agent
Produkti synon pjesën e menaxhimit të portofolit që është e lehtë për t'u përshkruar dhe e vështirë për t'u automatizuar: kontrollimin nëse një tregti ose pozicion i propozuar përshtatet në të vërtetë me mandatin që duhet të ndjekë. Mandatet mund të jenë të gjera — një kufi sektori, një kufi kohëzgjatjeje, një dysheme likuiditeti — ose aq të ngushta sa dy persona me përvojë mund të lexojnë të njëjtin dokument dhe të mos bien dakord nëse një pozicion e plotëson atë.
Studimi i rastit i Terminal X e paraqet Eval Agent si një palë sy të dytë për këtë pyetje. Shifra 88.6% është një masë e përputhjes, jo e saktësisë. Një agjent që përputhet me një investitor të lartë pothuajse nëntë herë nga dhjetë, ende ndryshon në afërsisht një rast në dhjetë, dhe studimi i rastit nuk thotë në cilin drejtim shkuan ato ndryshime — nëse agjenti ishte më i rreptë, më i lehtë, ose thjesht i ndryshëm.
Shifra 25% e devijimeve kërkon kontekst
Pretendimi se agjenti gjeti 25% më shumë devijime nga mandati është më i rëndësishmi nga dy shifrat, sepse është ai që flet për kapjen e problemeve sesa për përsëritjen e gjykimit. Por "më shumë" në krahasim me çfarë ka rëndësi. Studimi i rastit e krahason agjentin me një proces ekzistues, dhe faktet nuk specifikojnë nëse ai bazë ishte një rishikim manual, një filtër i bazuar në rregulla, ose një model i mëparshëm.
Një rritje prej 25% në devijimet e zbuluara mund të thotë se agjenti po gjen shkelje reale që më parë ishin anashkaluar. Mund të thotë gjithashtu se agjenti po shënon gjëra që një rishikues njerëzor i konsideronte të pranueshme. Pa një ndarje të pozitivëve të vërtetë dhe pozitivëve të rremë, shifra është një drejtim, jo një rezultat.
Pse burimi ka rëndësi këtu
Ky është një standard i raportuar nga shitësi, i nxjerrë nga një studim i vetëm rasti. Kjo nuk është e pazakontë në AI për ndërmarrje — shumica e pretendimeve të hershme të performancës vijnë në këtë mënyrë — por do të thotë që shifrat nuk janë riprodhuar në mënyrë të pavarur. OpenAI është ofruesi i modelit; Terminal X është ndërtuesi i produktit; studimi i rastit është i Terminal X. Secila palë ka interes që rezultati të duket i fortë.
Atribuimi te GPT-6.1 gjithashtu vlen të ndahet nga pjesa tjetër. Studimi i rastit thotë se kontrollet e përmirësuara të mandateve janë për shkak të modelit, por një produkt si ky e paketon modelin me prompting, retrieval mbi dokumentet e mandateve, dhe çdo post-processing që qëndron sipër. Izolimi i asaj se sa nga 88.6% vjen nga vetë modeli do të kërkonte një ablation që studimi i rastit nuk duket se e përfshin.
Çfarë do të duan të shohin ekipet e përputhshmërisë
Për këdo që vlerëson këtë lloj mjeti, pyetjet e hapura janë konkrete. Cila ishte madhësia e mostrës, dhe si u zgjodhën investitorët e lartë? A ishin mandatet e përdorura në testim dokumente reale klientësh apo shembuj të konstruktuar? Si performoi agjenti në rastet kur vetë investitorët e lartë nuk binin dakord?
Këto nuk janë pika akademike. Një agjent kontrolli mandati që është i saktë 88.6% të kohës është i dobishëm si një shtresë triazhi dhe i rrezikshëm si autoritet. Dallimi midis të dyjave është pikërisht lloji i detajit që një studim rasti tenton ta lërë jashtë.
Terminal X nuk ka thënë nëse planifikon të publikojë të dhënat bazë të vlerësimit ose ta paraqesë agjentin për një rishikim të jashtëm. Derisa ta bëjë, shifrat 88.6% dhe 25% qëndrojnë si pretendime nga kompanitë që ndërtuan dhe shesin produktin — specifike, të kontrollueshme në parim, dhe deri tani të pakontrolluara.
