Společnost Anthropic uvádí, že nasadila nové obranné mechanismy, které snižují množství trénovacích dat, jež útočníci mohou vytěžit z jejích modelů Claude prostřednictvím distilace, o 90 až 99 procent. Firma oznámila tato opatření v rámci širší snahy chránit integritu modelů a své proprietární technologie.
Distilační útoky spočívají v opakovaném dotazování modelu za účelem sběru jeho výstupů, které se pak použijí k trénování konkurenčního systému. Tato technika umožňuje někomu přiživit se na výzkumu jiné společnosti, aniž by za něj zaplatil. Nové ochranné prvky Anthropicu mají tento proces výrazně zneefektivnit.
Jak útoky fungují
Při distilačním útoku protivník nepotřebuje přístup k podkladovému kódu modelu ani k jeho vahám. Potřebuje pouze možnost posílat dotazy a zaznamenávat odpovědi. Spuštěním milionů promptů modelem může sestavit datovou sadu, která zachycuje velkou část jeho chování. Tato datová sada se pak stane trénovacím materiálem pro konkurenční model, který dokáže napodobit schopnosti originálu za zlomek nákladů na vývoj.
Pro AI společnosti je to jak bezpečnostní, tak obchodní problém. Výstupy představují měsíce výzkumu a značné výdaje na výpočetní výkon. Pokud konkurent může tato data levně získat, motivace investovat do špičkových modelů klesá. Obranné mechanismy Anthropicu se snaží tento řetězec přerušit tím, že vytěžená data činí méně užitečnými nebo obtížněji shromážditelnými ve velkém měřítku.
Co Anthropic změnil
Společnost neuvedla přesné technické mechanismy, ale uvedla, že obranné prvky jsou navrženy tak, aby odhalovaly a narušovaly pokusy o distilaci v reálném čase. To by mohlo znamenat omezení rychlosti podezřelých vzorců dotazů, přidávání šumu do výstupů nebo vodoznačení odpovědí, aby je bylo možné vysledovat. Anthropic tvrdí, že výsledkem je 90 až 99procentní snížení objemu dat, která útočníci dokážou úspěšně vytěžit.
Rozpětí je široké, protože účinnost se liší podle metody útoku. Hrubý, vysokokapacitní scrapingový útok může být téměř zcela zablokován, zatímco opatrnější, pomalý přístup s nízkou intenzitou může stále projít. Anthropic uvádí, že bude systém dále ladit, jak se budou protivníci přizpůsobovat.
Není to poprvé, co AI společnost mluví o distilaci. OpenAI i Google obvinily konkurenty z používání výstupů jejich modelů k trénování konkurenčních systémů. Veřejně dostupné kvantifikované výsledky jsou však vzácné. Čísla Anthropicu poskytují konkrétní měřítko toho, jak si jedna sada obranných opatření vede, alespoň podle měření samotné společnosti.
Krádež modelů se nachází na průsečíku bezpečnosti, duševního vlastnictví a národní konkurenceschopnosti. Vlády začínají považovat pokročilé AI modely za strategická aktiva. Pokud lze distilaci omezit, posiluje to argument pro společnosti, aby nadále investovaly do větších a dražších modelů, aniž by se obávaly, že jejich práce bude přes noc zkopírována.
Existuje také bezpečnostní hledisko. Pokud zlomyslný aktér distiluje model a odstraní bezpečnostní doladění, může vytvořit nezarovnanou verzi, kterou je obtížnější monitorovat. Obranné mechanismy Anthropicu tento scénář přímo neřeší, ale tím, že distilaci ztěžují, zvyšují náklady pro každého, kdo se o ni pokusí.
Oznámení přichází v době, kdy Anthropic čelí rostoucí konkurenci modelů s otevřenými váhami, které lze volně používat a upravovat. Tyto modely lze distilovat bez jakýchkoli API dotazů, takže se na ně nové obranné mechanismy nevztahují. Přístup společnosti je sázkou na to, že proprietární modely založené na API zůstanou dostatečně hodnotné, aby za přístup k nim zákazníci platili, a že jejich ochrana stojí za inženýrské úsilí.
Anthropic neuvedl, zda zveřejní technický článek nebo otevře obranné nástroje jako open source. Prozatím je číslo 90 až 99 procent tvrzením, které externí výzkumníci nemohou snadno ověřit. Společnost uvádí, že bude systém dále aktualizovat, jak se bude dozvídat více o tom, jak útočníci postupují.
Konkurenti pravděpodobně bedlivě sledují. Pokud obranné mechanismy obstojí, mohly by se stát standardní součástí komerčních AI API. Pokud ne, hra na kočku a myš mezi poskytovateli modelů a sběrači dat bude pokračovat, přičemž každá strana se přizpůsobí nejnovějšímu tahu té druhé.
