Anthropic uppger att de har infört nya försvar som minskar mängden träningsdata angripare kan extrahera från sina Claude-modeller genom destillation med 90 till 99 procent. Företaget tillkännagav åtgärderna som en del av ett bredare arbete för att skydda modellintegritet och sin proprietära teknik.
Destillationsattacker innebär att man upprepade gånger frågar en modell för att samla in dess utdata och sedan använder dessa data för att träna ett konkurrerande system. Tekniken låter någon åka snålskjuts på ett annat företags forskning utan att betala för den. Anthropics nya skyddsåtgärder är avsedda att göra den processen mycket mindre effektiv.
Hur attackerna fungerar
I en destillationsattack behöver en motståndare inte tillgång till modellens underliggande kod eller vikter. De behöver bara kunna skicka frågor och registrera svaren. Genom att köra miljontals prompter genom en modell kan de bygga en datamängd som fångar mycket av dess beteende. Den datamängden blir sedan träningsmaterial för en rivaliserande modell, som kan efterlikna originalets förmågor till en bråkdel av utvecklingskostnaden.
För AI-företag är detta både ett säkerhets- och ett affärsproblem. Utdata representerar månader av forskning och betydande beräkningskostnader. Om en konkurrent billigt kan skörda dessa utdata minskar incitamentet att investera i frontlinjemodeller. Anthropics försvar syftar till att bryta den kedjan genom att göra den skördade datan mindre användbar eller svårare att samla in i stor skala.
Vad Anthropic ändrade
Företaget gick inte in på de exakta tekniska mekanismerna, men sade att försvaren är utformade för att upptäcka och störa destillationsförsök i realtid. Det kan innebära att begränsa misstänkta frågemönster, lägga till brus i utdata eller vattenmärka svar så att de kan spåras. Anthropic hävdar att resultatet är en minskning med 90 till 99 procent av den data som angripare framgångsrikt kan skörda.
Intervallet är brett eftersom effektiviteten varierar beroende på attackmetod. En grov skrapningsoperation med hög volym kan blockeras nästan helt, medan en mer försiktig metod med låg takt fortfarande kan lyckas. Anthropic säger att de kommer att fortsätta finjustera systemet allt eftersom motståndare anpassar sig.
Detta är inte första gången ett AI-företag talar om destillation. Både OpenAI och Google har anklagat rivaler för att använda deras modellers utdata för att träna konkurrerande system. Men offentliga, kvantifierade resultat är sällsynta. Anthropics siffror ger ett konkret riktmärke för hur väl en uppsättning försvar presterar, åtminstone enligt företagets egen mätning.
Modellstöld ligger i skärningspunkten mellan säkerhet, immateriella rättigheter och nationell konkurrenskraft. Regeringar börjar behandla avancerade AI-modeller som strategiska tillgångar. Om destillation kan begränsas stärker det argumentet för företag att fortsätta investera i större, dyrare modeller utan att frukta att deras arbete kopieras över en natt.
Det finns också en säkerhetsaspekt. Om en illvillig aktör destillerar en modell och tar bort säkerhetsfinjustering kan de skapa en icke-alignerad version som är svårare att övervaka. Anthropics försvar tar inte direkt itu med det scenariot, men genom att göra destillation svårare höjer de kostnaden för den som försöker.
Tillkännagivandet kommer samtidigt som Anthropic möter ökande konkurrens från öppna modeller med fria vikter som är gratis att använda och modifiera. Dessa modeller kan destilleras utan några API-frågor, så de nya försvaren gäller inte för dem. Företagets strategi är en satsning på att proprietära, API-baserade modeller kommer att förbli tillräckligt värdefulla för att kunder ska betala för åtkomst, och att det är värt ingenjörsarbetet att skydda dem.
Anthropic har inte sagt om de kommer att publicera en teknisk artikel eller göra försvarsverktygen öppen källkod. För närvarande är siffran 90 till 99 procent ett påstående som utomstående forskare inte enkelt kan verifiera. Företaget säger att de kommer att fortsätta uppdatera systemet i takt med att de lär sig mer om hur angripare agerar.
Konkurrenter tittar sannolikt noga på. Om försvaren håller måttet kan de bli en standardfunktion i kommersiella AI-API:er. Om de inte gör det kommer katt-och-råtta-spelet mellan modellleverantörer och dataskördare att fortsätta, med båda sidor som anpassar sig till motpartens senaste drag.
