Coinbase telah memperhalusi model AI open-weight untuk mengesan fraud di platformnya, selepas ujian dalaman mendapati versi terbaharu model frontier sebenarnya berprestasi lebih teruk dalam beberapa ukuran pengesanan fraud berbanding model yang mereka gantikan. Bursa itu telah memperhalusi Qwen3.5-9B menggunakan data transaksinya sendiri, dan CEO Brian Armstrong berkata hasilnya mengalahkan model frontier untuk pencegahan fraud.
Langkah ini penting kerana ia bertentangan dengan andaian bahawa model terbesar dan terbaharu sentiasa merupakan alat yang tepat. Bagi perniagaan yang berat dengan pematuhan seperti bursa, model yang lebih kecil yang berada di dalam organisasi — dan boleh dilaraskan secara langsung — mungkin lebih bernilai daripada model generalis yang diakses melalui API pihak lain.
Mengapa model terbaharu kalah
Coinbase menjalankan perbandingan pada penanda aras tetap melibatkan 16,140 transaksi merentas 7,293 pengguna. Set itu termasuk 813 transaksi fraud yang disahkan, iaitu angka yang sebenarnya penting apabila anda mengukur sama ada model mengesan pembayaran buruk atau hanya mengelakkan penggera palsu.
Menurut Armstrong, versi Opus, Sonnet dan GPT yang lebih baharu memperoleh skor lebih teruk dalam beberapa ukuran pengesanan fraud berbanding pendahulunya. GPT-5.6 lebih tepat tetapi mempunyai recall yang lebih rendah, bermakna ia mengenal pasti bahagian transaksi fraud yang lebih kecil. Dalam kerja fraud, pertukaran itu adalah segalanya: model yang jarang memberi amaran palsu tetapi membiarkan fraud berlalu tidak menjalankan tugasnya.
Keputusan itu mendorong Coinbase ke arah model open-weight, yang parameternya boleh diadaptasi secara langsung dan bukan hanya boleh diakses melalui API penyedia. Armstrong merumuskan pengajaran yang lebih luas secara ringkas: model frontier adalah generalis, manakala model pakar semakin mengatasi prestasi dalam tugasan khusus.
Apa yang sebenarnya dilakukan oleh ejen itu
Coinbase menambah ejen risiko AI kepada model pembelajaran mesin dan enjin peraturan sedia ada untuk Onramp, produk yang membolehkan pengguna membeli kripto melalui aplikasi rakan kongsi, termasuk pembayaran tetamu. Ejen itu meneliti urutan transaksi terkini untuk mengesan corak yang tidak kelihatan daripada satu pembayaran secara berasingan.
Satu eksperimen dalam talian mendapati 30% lebih sedikit transaksi fraud dan 22% kurang nilai fraud dalam kumpulan yang menerima semakan AI tambahan.
Ejen itu beroperasi dengan had. Ia mengembalikan skor risiko, dan kod aplikasi menggunakan dasar keputusan. Ia boleh menyekat transaksi yang lulus semakan awal, tetapi ia tidak boleh membatalkan sekatan huluan — injap sehala yang menghalang lapisan autonomi daripada mengatasi kawalan sedia ada.
Persoalan keselamatan yang dibangkitkan Certik
Firma keselamatan Certik memberi amaran bahawa lebih banyak ejen keselamatan autonomi membawa risiko tersendiri: output yang tidak betul, dan pengawasan manusia yang berkurangan apabila orang mula mempercayai mesin. Certik mengesyorkan had yang jelas terhadap keputusan autonomi dan pemilik bernama untuk setiap ejen.
Reka bentuk Coinbase menjawab sebahagian daripada itu. Ejen mencadangkan, kod aplikasi sekeliling membuat keputusan, dan arah sekatan sahaja bermakna ia tidak boleh membatalkan keputusan yang dibuat di tempat lain dalam timbunan. Sama ada pemilik manusia bernama berada di belakang setiap ejen bukanlah sesuatu yang telah diperincikan oleh syarikat secara terbuka.
Masa pemilihan itu bukan kebetulan. Pasukan fraud berada di bawah tekanan untuk mengautomasikan semakan tanpa memberikan model kata putus, dan data penanda aras yang dikeluarkan Coinbase bercanggah dengan refleks untuk mencapai model terbesar yang tersedia setiap kali model baharu dikeluarkan.
Apa yang masih belum diselesaikan ialah bagaimana Qwen3.5-9B yang diperhalusi Coinbase bertahan apabila corak fraud berubah dan apabila pusingan seterusnya model frontier tiba. Bursa itu belum menyatakan sama ada ia merancang untuk menerbitkan model atau penanda aras untuk semakan luar — dan sehingga seseorang menjalankan semula ujian pada data baharu, perbandingan itu bergantung pada angka Coinbase sendiri.
