Anthropic twierdzi, że wdrożył nowe zabezpieczenia, które zmniejszają ilość danych treningowych, jakie atakujący mogą wyodrębnić z jego modeli Claude poprzez destylację, o 90 do 99 procent. Firma ogłosiła te środki w ramach szerszych działań mających na celu ochronę integralności modeli i własnej technologii.
Ataki destylacyjne polegają na wielokrotnym odpytywaniu modelu w celu zebrania jego wyników, a następnie wykorzystaniu tych danych do wytrenowania konkurencyjnego systemu. Technika ta pozwala komuś czerpać korzyści z badań innej firmy bez płacenia za nie. Nowe zabezpieczenia Anthropic mają sprawić, że proces ten będzie znacznie mniej skuteczny.
Jak działają ataki
W ataku destylacyjnym przeciwnik nie potrzebuje dostępu do bazowego kodu modelu ani jego wag. Potrzebuje jedynie możliwości wysyłania zapytań i rejestrowania odpowiedzi. Przepuszczając przez model miliony podpowiedzi, mogą zbudować zbiór danych, który odzwierciedla znaczną część jego zachowania. Ten zbiór danych staje się następnie materiałem treningowym dla konkurencyjnego modelu, który może naśladować możliwości oryginału przy ułamku kosztów rozwoju.
Dla firm zajmujących się sztuczną inteligencją jest to zarówno problem bezpieczeństwa, jak i biznesowy. Wyniki reprezentują miesiące badań i znaczne nakłady obliczeniowe. Jeśli konkurent może tanio pozyskać te wyniki, zachęta do inwestowania w modele frontier maleje. Zabezpieczenia Anthropic mają przerwać ten łańcuch, czyniąc pozyskane dane mniej użytecznymi lub trudniejszymi do zebrania na dużą skalę.
Co zmienił Anthropic
Firma nie ujawniła dokładnych mechanizmów technicznych, ale stwierdziła, że zabezpieczenia mają wykrywać i zakłócać próby destylacji w czasie rzeczywistym. Może to oznaczać ograniczanie szybkości podejrzanych wzorców zapytań, dodawanie szumu do wyników lub znakowanie wodne odpowiedzi, aby można je było prześledzić. Anthropic twierdzi, że rezultatem jest redukcja o 90 do 99 procent danych, które atakujący mogą skutecznie pozyskać.
Zakres jest szeroki, ponieważ skuteczność różni się w zależności od metody ataku. Prymitywna operacja masowego scrapingu może zostać niemal całkowicie zablokowana, podczas gdy bardziej ostrożne, powolne podejście może nadal przejść. Anthropic twierdzi, że będzie stale dostrajać system, w miarę jak przeciwnicy będą się adaptować.
To nie pierwszy raz, gdy firma zajmująca się sztuczną inteligencją mówi o destylacji. OpenAI i Google oskarżały rywali o wykorzystywanie wyników ich modeli do trenowania konkurencyjnych systemów. Jednak publiczne, skwantyfikowane wyniki są rzadkością. Liczby Anthropic dają konkretny punkt odniesienia dla skuteczności jednego zestawu zabezpieczeń, przynajmniej według pomiarów samej firmy.
Kradzież modeli znajduje się na przecięciu bezpieczeństwa, własności intelektualnej i konkurencyjności narodowej. Rządy zaczynają traktować zaawansowane modele AI jako aktywa strategiczne. Jeśli destylację można ograniczyć, wzmacnia to argument za tym, by firmy nadal inwestowały w większe, droższe modele, nie obawiając się, że ich praca zostanie skopiowana z dnia na dzień.
Istnieje również aspekt bezpieczeństwa. Jeśli złośliwy aktor zdestyluje model i usunie dostrajanie bezpieczeństwa, może stworzyć niewyrównaną wersję, którą trudniej monitorować. Zabezpieczenia Anthropic nie rozwiązują bezpośrednio tego scenariusza, ale utrudniając destylację, podnoszą koszt dla każdego, kto próbuje to zrobić.
Ogłoszenie następuje w czasie, gdy Anthropic mierzy się z rosnącą konkurencją ze strony modeli o otwartych wagach, które są darmowe w użyciu i modyfikacji. Takie modele można destylować bez żadnych zapytań API, więc nowe zabezpieczenia ich nie dotyczą. Podejście firmy to zakład, że zastrzeżone modele oparte na API pozostaną wystarczająco wartościowe, by klienci płacili za dostęp, a ich ochrona jest warta wysiłku inżynieryjnego.
Anthropic nie powiedział, czy opublikuje artykuł techniczny lub udostępni narzędzia obronne jako open source. Na razie liczba 90 do 99 procent to twierdzenie, którego zewnętrzni badacze nie mogą łatwo zweryfikować. Firma twierdzi, że będzie nadal aktualizować system w miarę poznawania sposobów działania atakujących.
Konkurenci prawdopodobnie uważnie obserwują. Jeśli zabezpieczenia się utrzymają, mogą stać się standardową funkcją komercyjnych API AI. Jeśli nie, gra w kotka i myszkę między dostawcami modeli a zbieraczami danych będzie trwać, a każda ze stron będzie dostosowywać się do najnowszego ruchu drugiej.
