Anthropic afirmă că a implementat noi apărări care reduc cantitatea de date de antrenament pe care atacatorii le pot extrage din modelele sale Claude prin distilare cu 90 până la 99 la sută. Compania a anunțat măsurile ca parte a unui efort mai amplu de protejare a integrității modelului și a tehnologiei sale proprietare.
Atacurile de distilare implică interogarea repetată a unui model pentru a-i colecta rezultatele, apoi utilizarea acestor date pentru a antrena un sistem concurent. Tehnica permite cuiva să profite de cercetarea altei companii fără a plăti pentru ea. Noile măsuri de protecție ale Anthropic sunt menite să facă acest proces mult mai puțin eficient.
Cum funcționează atacurile
Într-un atac de distilare, un adversar nu are nevoie de acces la codul sau ponderile subiacente ale modelului. Are nevoie doar de capacitatea de a trimite interogări și de a înregistra răspunsurile. Prin rularea a milioane de prompturi printr-un model, poate construi un set de date care capturează o mare parte din comportamentul acestuia. Acest set de date devine apoi material de antrenament pentru un model rival, care poate imita capacitățile originalului la o fracțiune din costul de dezvoltare.
Pentru companiile de AI, aceasta este atât o problemă de securitate, cât și una de afaceri. Rezultatele reprezintă luni de cercetare și cheltuieli semnificative cu puterea de calcul. Dacă un concurent poate recolta aceste rezultate ieftin, stimulentul de a investi în modele de frontieră scade. Apărările Anthropic urmăresc să rupă acest lanț făcând datele recoltate mai puțin utile sau mai greu de colectat la scară largă.
Ce a schimbat Anthropic
Compania nu a detaliat mecanismele tehnice exacte, dar a declarat că apărările sunt concepute pentru a detecta și a perturba încercările de distilare în timp real. Aceasta ar putea însemna limitarea ratei modelelor de interogare suspecte, adăugarea de zgomot la rezultate sau marcarea răspunsurilor cu filigran pentru a putea fi urmărite. Anthropic susține că rezultatul este o reducere de 90 până la 99 la sută a datelor pe care atacatorii le pot recolta cu succes.
Intervalul este larg deoarece eficacitatea variază în funcție de metoda de atac. O operațiune de scraping brută, cu volum mare, ar putea fi blocată aproape în întregime, în timp ce o abordare mai atentă, cu volum redus și lentă, ar putea încă trece. Anthropic spune că va continua să regleze sistemul pe măsură ce adversarii se adaptează.
Nu este prima dată când o companie de AI vorbește despre distilare. Atât OpenAI, cât și Google au acuzat rivalii că folosesc rezultatele modelelor lor pentru a antrena sisteme concurente. Dar rezultatele publice și cuantificate sunt rare. Cifrele Anthropic oferă un punct de referință concret pentru cât de bine performează un set de apărări, cel puțin conform măsurătorilor companiei.
Furtul de modele se află la intersecția dintre securitate, proprietatea intelectuală și competitivitatea națională. Guvernele încep să trateze modelele avansate de AI ca active strategice. Dacă distilarea poate fi limitată, aceasta întărește argumentul ca companiile să continue să investească în modele mai mari și mai scumpe fără a se teme că munca lor va fi copiată peste noapte.
Există și un aspect legat de siguranță. Dacă un actor rău intenționat distilează un model și elimină reglajul fin de siguranță, poate crea o versiune nealiniată care este mai greu de monitorizat. Apărările Anthropic nu abordează direct acest scenariu, dar făcând distilarea mai dificilă, cresc costul pentru oricine încearcă.
Anunțul vine în timp ce Anthropic se confruntă cu o concurență tot mai mare din partea modelelor cu ponderi deschise, care sunt gratuite de utilizat și modificat. Aceste modele pot fi distilate fără nicio interogare API, astfel încât noile apărări nu li se aplică. Abordarea companiei este un pariu că modelele proprietare, bazate pe API, vor rămâne suficient de valoroase pentru ca clienții să plătească pentru acces și că protejarea lor merită efortul de inginerie.
Anthropic nu a precizat dacă va publica o lucrare tehnică sau va open-sursa instrumentele de apărare. Deocamdată, cifra de 90 până la 99 la sută este o afirmație pe care cercetătorii externi nu o pot verifica cu ușurință. Compania spune că va continua să actualizeze sistemul pe măsură ce află mai multe despre modul în care operează atacatorii.
Concurenții probabil urmăresc cu atenție. Dacă apărările rezistă, ar putea deveni o caracteristică standard a API-urilor comerciale de AI. Dacă nu, jocul de-a șoarecele și pisica dintre furnizorii de modele și cei care recoltează date va continua, fiecare parte adaptându-se la cea mai recentă mișcare a celeilalte.
