Coinbase har finjustert en åpen AI-modell med åpne vekter for å avdekke svindel på plattformen sin, etter at interne tester viste at nyere versjoner av frontmodeller faktisk presterte dårligere på flere svindeldeteksjonsmål enn modellene de erstattet. Børsen trente Qwen3.5-9B på egne transaksjonsdata, og administrerende direktør Brian Armstrong sa at resultatet slo frontmodellene innen svindelforebygging.
Tiltaket er viktig fordi det går imot antakelsen om at den største og nyeste modellen alltid er det rette verktøyet. For en virksomhet med høye compliance-krav, som en børs, kan en mindre modell som befinner seg internt – og som kan justeres direkte – være mer verdifull enn en generalist som nås via en annens API.
Hvorfor de nyere modellene tapte
Coinbase kjørte sammenligningen på en fast benchmark med 16 140 transaksjoner på tvers av 7 293 brukere. Settet inkluderte 813 bekreftede svindeltransaksjoner, som er tallet som faktisk betyr noe når man måler om en modell fanger dårlige betalinger eller bare unngår falske alarmer.
Ifølge Armstrong scoret nyere Opus-, Sonnet- og GPT-versjoner dårligere på flere svindeldeteksjonsmål enn sine forgjengere. GPT-5.6 var mer presis, men hadde lavere recall, noe som betyr at den identifiserte en mindre andel av svindeltransaksjonene. I svindelarbeid er denne avveiningen selve kjernen: en modell som sjelden roper ulv, men slipper svindel gjennom, gjør ikke jobben sin.
Disse resultatene dyttet Coinbase mot en åpen vekt-modell, hvis parametere kunne tilpasses direkte i stedet for bare å være tilgjengelige via en leverandørs API. Armstrong rammet inn den bredere lærdommen enkelt: frontmodeller er generalister, mens spesialistmodeller i økende grad utkonkurrerer dem på smale oppgaver.
Hva agenten faktisk gjør
Coinbase la til en AI-risikoagent i sin eksisterende maskinlæringsmodell og regelverk for Onramp, produktet som lar brukere kjøpe krypto gjennom partnerapper, inkludert gjestekasse. Agenten ser på nylige transaksjonssekvenser for å oppdage mønstre som ikke er synlige fra en enkelt betaling isolert sett.
Et netteksperiment fant 30 % færre svindeltransaksjoner og 22 % mindre svindelverdi i gruppen som fikk den ekstra AI-vurderingen.
Agenten kjører med begrensninger. Den returnerer en risikoscore, og applikasjonskoden anvender beslutningspolicyen. Den kan blokkere en transaksjon som passerte de tidligere sjekkene, men den kan ikke reversere en blokkering lenger opp i systemet – en enveisventil som hindrer at det autonome laget overstyrer eksisterende kontroller.
Sikkerhetsspørsmålet Certik reiste
Sikkerhetsfirmaet Certik advarte om at flere autonome sikkerhetsagenter bringer med seg egne risikoer: feilaktige utdata og redusert menneskelig gransking etter hvert som folk lærer å stole på maskinen. Certik anbefalte klare grenser for autonome beslutninger og en navngitt eier for hver agent.
Coinbases design svarer på en del av dette. Agenten foreslår, den omkringliggende applikasjonskoden bestemmer, og den blokkeringsbare retningen betyr at den ikke kan oppheve en beslutning tatt andre steder i stacken. Hvorvidt en navngitt menneskelig eier sitter bak hver agent, er ikke noe selskapet har detaljert offentlig.
Tidspunktet er ikke tilfeldig. Svindelteams er under press for å automatisere gjennomgang uten å gi en modell det siste ordet, og benchmarkdataene Coinbase publiserte taler imot refleksen med å gripe etter den største tilgjengelige modellen hver gang en ny lanseres.
Det som fortsatt er uavklart, er hvordan Coinbases finjusterte Qwen3.5-9B holder seg når svindelmønstre endrer seg og når neste runde med frontmodeller kommer. Børsen har ikke sagt om den planlegger å publisere modellen eller benchmarken for ekstern gjennomgang – og inntil noen kjører testen på nytt på ferske data, står sammenligningen på Coinbases egne tall.
