코인베이스가 자사 플랫폼의 사기를 잡기 위해 오픈웨이트 AI 모델을 미세 조정했다. 내부 테스트에서 최신 프론티어 모델 버전들이 여러 사기 탐지 지표에서 이전 모델보다 오히려 더 나쁜 성능을 보였기 때문이다. 이 거래소는 자사 거래 데이터로 Qwen3.5-9B를 조정했으며, 브라이언 암스트롱 CEO는 그 결과가 사기 방지에서 프론티어 모델을 능가했다고 밝혔다.
이 조치는 가장 크고 최신 모델이 항상 올바른 도구라는 가정에 반하기 때문에 중요하다. 거래소처럼 규제 준수가 중요한 비즈니스에서는 외부 API를 통해 접근하는 범용 모델보다, 사내에 위치하고 직접 조정할 수 있는 더 작은 모델이 더 가치 있을 수 있다.
최신 모델들이 패배한 이유
코인베이스는 7,293명의 사용자에 걸친 16,140건의 거래로 구성된 고정 벤치마크에서 비교를 수행했다. 이 세트에는 확인된 사기 거래 813건이 포함되어 있었는데, 이는 모델이 나쁜 결제를 잡아내는지 아니면 단지 오탐을 피하는지만 측정할 때 실제로 중요한 숫자다.
암스트롱에 따르면, 최신 Opus, Sonnet, GPT 버전들은 여러 사기 탐지 지표에서 이전 버전보다 더 나쁜 점수를 받았다. GPT-5.6은 더 정밀했지만 재현율이 낮아, 사기 거래 중 더 적은 비율을 식별했다. 사기 업무에서 이 트레이드오프는 전부라고 해도 과언이 아니다. 좀처럼 경고를 울리지 않으면서 사기를 통과시키는 모델은 제 역할을 하지 못하는 것이다.
이러한 결과는 코인베이스를 오픈웨이트 모델로 이끌었다. 이 모델의 파라미터는 제공업체의 API를 통해서만 접근 가능한 것이 아니라 직접 조정할 수 있었다. 암스트롱은 더 넓은 교훈을 간단히 정리했다. 프론티어 모델은 범용 모델인 반면, 전문 모델은 좁은 작업에서 점점 더 뛰어난 성능을 보인다는 것이다.
에이전트가 실제로 하는 일
코인베이스는 게스트 체크아웃을 포함해 사용자가 파트너 앱을 통해 암호화폐를 구매할 수 있게 하는 제품인 Onramp의 기존 머신러닝 모델과 규칙 엔진에 AI 리스크 에이전트를 추가했다. 이 에이전트는 최근 거래 시퀀스를 살펴 단일 결제만으로는 보이지 않는 패턴을 포착한다.
온라인 실험에서 추가 AI 검토를 받은 그룹에서 사기 거래가 30% 줄고 사기 금액이 22% 감소한 것으로 나타났다.
에이전트는 제한을 두고 작동한다. 위험 점수를 반환하면 애플리케이션 코드가 결정 정책을 적용한다. 이전 검사를 통과한 거래를 차단할 수는 있지만, 상위 단계의 차단을 되돌릴 수는 없다. 이는 자율 계층이 기존 통제를 무시하지 못하게 하는 일방향 밸브다.
Certik이 제기한 안전성 문제
보안 업체 Certik은 더 많은 자율 보안 에이전트가 그 자체로 위험을 초래한다고 경고했다. 잘못된 출력과 사람들이 기계를 신뢰하는 법을 배우면서 인간의 감독이 줄어드는 위험이다. Certik은 자율 결정에 명확한 한도를 두고 모든 에이전트에 지정된 책임자를 둘 것을 권고했다.
코인베이스의 설계는 그 일부에 답한다. 에이전트는 제안하고, 주변 애플리케이션 코드가 결정하며, 차단 전용 방향은 스택의 다른 곳에서 내린 결정을 되돌릴 수 없음을 의미한다. 각 에이전트 뒤에 지정된 인간 책임자가 있는지는 회사가 공개적으로 자세히 밝히지 않았다.
시점은 우연이 아니다. 사기 대응팀은 모델에 최종 결정권을 넘기지 않고 검토를 자동화하라는 압박을 받고 있으며, 코인베이스가 공개한 벤치마크 데이터는 새로운 모델이 나올 때마다 가장 큰 모델을 선택하려는 반사적 행동에 반한다.
아직 해결되지 않은 것은 사기 패턴이 변하고 차기 프론티어 모델이 등장할 때 코인베이스가 조정한 Qwen3.5-9B가 얼마나 잘 버티느냐이다. 이 거래소는 모델이나 벤치마크를 외부 검토를 위해 공개할 계획인지 밝히지 않았다. 누군가 새로운 데이터로 테스트를 다시 실행하기 전까지, 이 비교는 코인베이스 자체 수치에 근거해 있다.
