Coinbase heeft een open-weight AI-model verfijnd om fraude op zijn platform op te sporen, nadat interne tests uitwezen dat nieuwere versies van frontier-modellen op verschillende fraudedetectiemaatstaven zelfs slechter presteerden dan de modellen die ze vervingen. De exchange tune-de Qwen3.5-9B op zijn eigen transactiedata, en CEO Brian Armstrong zei dat het resultaat frontier-modellen versloeg op het gebied van fraudepreventie.
Deze stap is belangrijk omdat hij ingaat tegen de aanname dat het grootste, nieuwste model altijd het juiste gereedschap is. Voor een compliance-zwaar bedrijf als een exchange kan een kleiner model dat in-house draait — en direct kan worden aangepast — waardevoller zijn dan een generalist die via de API van een ander wordt bereikt.
Waarom de nieuwere modellen verloren
Coinbase voerde de vergelijking uit op een vaste benchmark van 16.140 transacties van 7.293 gebruikers. Die set bevatte 813 bevestigde frauduleuze transacties, wat het aantal is dat er echt toe doet wanneer je meet of een model slechte betalingen oppikt of alleen valse alarmen vermijdt.
Volgens Armstrong scoorden nieuwere Opus-, Sonnet- en GPT-versies op verschillende fraudedetectiemaatstaven slechter dan hun voorgangers. GPT-5.6 was preciezer maar had een lagere recall, wat betekent dat het een kleiner aandeel van de frauduleuze transacties identificeerde. Bij fraudewerk is die afweging allesbepalend: een model dat zelden vals alarm slaat maar fraude doorlaat, doet zijn werk niet.
Die resultaten duwden Coinbase richting een open-weight model, waarvan de parameters direct konden worden aangepast in plaats van alleen toegankelijk te zijn via de API van een provider. Armstrong vatte de bredere les simpel samen: frontier-modellen zijn generalisten, terwijl gespecialiseerde modellen steeds vaker beter presteren op nauwe taken.
Wat de agent daadwerkelijk doet
Coinbase voegde een AI-risicoagent toe aan zijn bestaande machine learning-model en regelmotor voor Onramp, het product waarmee gebruikers crypto kunnen kopen via partner-apps, inclusief gastafrekenen. De agent bekijkt recente transactiereeksen om patronen te herkennen die niet zichtbaar zijn bij een enkele betaling op zichzelf.
Een online experiment vond 30% minder frauduleuze transacties en 22% minder fraudewaarde in de groep die de extra AI-beoordeling kreeg.
De agent werkt met beperkingen. Hij retourneert een risicoscore en applicatiecode past het beslissingsbeleid toe. Hij kan een transactie blokkeren die de eerdere controles heeft doorstaan, maar hij kan een blokkade stroomopwaarts niet ongedaan maken — een eenrichtingsklep die voorkomt dat de autonome laag bestaande controles overschrijft.
De veiligheidsvraag die Certik opwierp
Beveiligingsbedrijf Certik waarschuwde dat meer autonome beveiligingsagenten hun eigen risico's met zich meebrengen: onjuiste outputs en verminderde menselijke controle naarmate mensen de machine leren vertrouwen. Certik adviseerde duidelijke limieten voor autonome beslissingen en een benoemde eigenaar voor elke agent.
Het ontwerp van Coinbase beantwoordt een deel daarvan. De agent doet voorstellen, de omliggende applicatiecode beslist, en de blokkeer-only-richting betekent dat hij een beslissing elders in de stack niet kan terugdraaien. Of er achter elke agent een benoemde menselijke eigenaar zit, heeft het bedrijf niet publiekelijk uiteengezet.
De timing is niet toevallig. Fraudeteams staan onder druk om beoordeling te automatiseren zonder een model het laatste woord te geven, en de benchmarkdata die Coinbase vrijgaf, gaan in tegen de reflex om telkens naar het grootste beschikbare model te grijpen wanneer er een nieuwe versie uitkomt.
Wat nog onopgelost is, is hoe Coinbases getunede Qwen3.5-9B standhoudt naarmate fraudepatronen veranderen en de volgende ronde frontier-modellen arriveert. De exchange heeft niet gezegd of het van plan is het model of de benchmark voor extern onderzoek te publiceren — en totdat iemand de test op nieuwe data opnieuw uitvoert, staat de vergelijking op Coinbases eigen cijfers.
