Coinbase har finjusterat en öppen AI-modell med öppna vikter för att upptäcka bedrägerier på sin plattform, efter att interna tester visat att nyare versioner av frontier-modeller faktiskt presterade sämre på flera bedrägeriupptäcktsmått än modellerna de ersatte. Börsen tränade Qwen3.5-9B på sina egna transaktionsdata, och vd Brian Armstrong uppgav att resultatet slog frontier-modellerna för bedrägeriförebyggande.
Åtgärden är viktig eftersom den går emot antagandet att den största, nyaste modellen alltid är rätt verktyg. För en regelefterlevnadstung verksamhet som en börs kan en mindre modell som finns inom huset – och kan justeras direkt – vara värd mer än en generalist som nås via någon annans API.
Varför de nyare modellerna förlorade
Coinbase körde jämförelsen på ett fast benchmark med 16 140 transaktioner över 7 293 användare. Den uppsättningen innehöll 813 bekräftade bedrägliga transaktioner, vilket är det antal som faktiskt spelar roll när man mäter om en modell fångar dåliga betalningar eller bara undviker falsklarm.
Enligt Armstrong presterade nyare Opus-, Sonnet- och GPT-versioner sämre på flera bedrägeriupptäcktsmått än sina föregångare. GPT-5.6 var mer exakt men hade lägre recall, vilket innebär att den identifierade en mindre andel bedrägliga transaktioner. Inom bedrägeriarbete är den avvägningen hela spelet: en modell som sällan ropar varg men släpper igenom bedrägeri gör inte jobbet.
Dessa resultat drev Coinbase mot en öppenviktsmodell, vars parametrar kunde anpassas direkt i stället för att endast vara tillgängliga via en leverantörs API. Armstrong formulerade den bredare lärdomen enkelt: frontier-modeller är generalister, medan specialiserade modeller i allt högre grad överträffar dem på smala uppgifter.
Vad agenten faktiskt gör
Coinbase lade till en AI-riskagent till sin befintliga maskininlärningsmodell och regelverk för Onramp, produkten som låter användare köpa krypto via partnerappar, inklusive gästutcheckning. Agenten tittar på senaste transaktionssekvenser för att hitta mönster som inte syns från en enskild betalning isolerat.
Ett onlineexperiment fann 30 % färre bedrägliga transaktioner och 22 % mindre bedrägeribelopp i gruppen som fick den extra AI-granskningen.
Agenten körs med begränsningar. Den returnerar en riskpoäng, och applikationskoden tillämpar beslutsreglerna. Den kan blockera en transaktion som passerat de tidigare kontrollerna, men den kan inte häva en uppströms blockering – en envägsventil som hindrar det autonoma lagret från att åsidosätta befintliga kontroller.
Säkerhetsfrågan som Certik tog upp
Säkerhetsföretaget Certik varnade för att fler autonoma säkerhetsagenter medför egna risker: felaktiga utdata och minskad mänsklig granskning när människor lär sig att lita på maskinen. Certik rekommenderade tydliga gränser för autonoma beslut och en namngiven ägare för varje agent.
Coinbases design svarar på en del av detta. Agenten föreslår, den omgivande applikationskoden beslutar, och den blockering-endast-riktningen innebär att den inte kan rulla tillbaka ett beslut som fattats någon annanstans i stacken. Huruvida en namngiven mänsklig ägare sitter bakom varje agent är inget som företaget har redogjort för offentligt.
Tidpunkten är inte slumpmässig. Bedrägeriteam är under press att automatisera granskning utan att ge en modell sista ordet, och benchmarkdatan som Coinbase släppte går emot reflexen att gripa efter den största tillgängliga modellen varje gång en ny släpps.
Vad som fortfarande är oklart är hur Coinbases finjusterade Qwen3.5-9B står sig när bedrägerimönster förändras och när nästa omgång frontier-modeller lanseras. Börsen har inte sagt om den planerar att publicera modellen eller benchmarken för extern granskning – och tills någon kör om testet på färska data står jämförelsen på Coinbases egna siffror.
