A Coinbase ajustou finamente um modelo de IA open-weight para detectar fraudes em sua plataforma, após testes internos descobrirem que versões mais recentes de modelos de fronteira tiveram desempenho pior em várias métricas de detecção de fraude do que os modelos que substituíram. A exchange ajustou o Qwen3.5-9B com seus próprios dados de transações, e o CEO Brian Armstrong disse que o resultado superou os modelos de fronteira na prevenção de fraudes.
A medida importa porque contraria a suposição de que o maior e mais novo modelo é sempre a ferramenta certa. Para um negócio com forte carga de compliance como uma exchange, um modelo menor que fica dentro da empresa — e pode ser ajustado diretamente — pode valer mais do que um generalista acessado via API de terceiros.
Por que os modelos mais novos perderam
A Coinbase realizou a comparação em um benchmark fixo de 16.140 transações em 7.293 usuários. Esse conjunto incluía 813 transações fraudulentas confirmadas, que é o número que realmente importa quando se mede se um modelo detecta pagamentos fraudulentos ou apenas evita falsos alarmes.
Segundo Armstrong, versões mais recentes do Opus, Sonnet e GPT tiveram pontuação pior em várias métricas de detecção de fraude do que seus antecessores. O GPT-5.6 era mais preciso, mas tinha recall menor, ou seja, identificava uma proporção menor de transações fraudulentas. No trabalho de fraude, esse trade-off é o jogo inteiro: um modelo que raramente dá alarme falso mas deixa a fraude passar não está fazendo o trabalho.
Esses resultados levaram a Coinbase em direção a um modelo open-weight, cujos parâmetros podiam ser adaptados diretamente em vez de acessíveis apenas via API de um provedor. Armstrong resumiu a lição mais ampla de forma simples: modelos de fronteira são generalistas, enquanto modelos especialistas estão cada vez mais superando em tarefas específicas.
O que o agente realmente faz
A Coinbase adicionou um agente de risco de IA ao seu modelo de machine learning existente e ao motor de regras para o Onramp, o produto que permite aos usuários comprar cripto por meio de aplicativos parceiros, incluindo checkout como convidado. O agente analisa sequências recentes de transações para identificar padrões que não são visíveis a partir de um único pagamento isolado.
Um experimento online encontrou 30% menos transações fraudulentas e 22% menos valor de fraude no grupo que recebeu a revisão adicional de IA.
O agente opera com limites. Ele retorna uma pontuação de risco, e o código da aplicação aplica a política de decisão. Ele pode bloquear uma transação que passou pelas verificações anteriores, mas não pode reverter um bloqueio upstream — uma válvula de mão única que impede a camada autônoma de sobrepor os controles existentes.
A questão de segurança levantada pela Certik
A empresa de segurança Certik alertou que agentes de segurança mais autônomos trazem riscos próprios: saídas incorretas e escrutínio humano reduzido à medida que as pessoas aprendem a confiar na máquina. A Certik recomendou limites claros para decisões autônomas e um responsável nomeado para cada agente.
O design da Coinbase responde a parte disso. O agente propõe, o código da aplicação ao redor decide, e a direção apenas de bloqueio significa que ele não pode desfazer uma decisão tomada em outro ponto da stack. Se um responsável humano nomeado está por trás de cada agente não é algo que a empresa tenha detalhado publicamente.
O timing não é acidental. As equipes de fraude estão sob pressão para automatizar a revisão sem entregar a um modelo a palavra final, e os dados de benchmark divulgados pela Coinbase contrariam o reflexo de recorrer ao maior modelo disponível sempre que um novo é lançado.
O que ainda não está resolvido é como o Qwen3.5-9B ajustado da Coinbase se comporta à medida que os padrões de fraude mudam e a próxima rodada de modelos de fronteira chega. A exchange não disse se planeja publicar o modelo ou o benchmark para revisão externa — e até que alguém execute o teste novamente com dados novos, a comparação se baseia nos próprios números da Coinbase.
