Anthropic заявляє, що впровадила нові засоби захисту, які зменшують обсяг тренувальних даних, які зловмисники можуть витягти з її моделей Claude через дистиляцію, на 90–99 відсотків. Компанія оголосила про ці заходи в рамках ширших зусиль із захисту цілісності моделей і власних технологій.
Атаки дистиляції полягають у багаторазових запитах до моделі для збору її вихідних даних, які потім використовуються для тренування конкуруючої системи. Ця техніка дозволяє комусь скористатися дослідженнями іншої компанії безкоштовно. Нові запобіжні заходи Anthropic покликані зробити цей процес значно менш ефективним.
Як працюють атаки
Під час атаки дистиляції зловмиснику не потрібен доступ до вихідного коду чи ваг моделі. Йому достатньо мати можливість надсилати запити та записувати відповіді. Проганяючи мільйони підказок через модель, вони можуть створити набір даних, який відображає значну частину її поведінки. Цей набір даних потім стає тренувальним матеріалом для конкуруючої моделі, яка може імітувати можливості оригіналу за мізерну частку витрат на розробку.
Для компаній зі штучного інтелекту це проблема як безпеки, так і бізнесу. Вихідні дані представляють місяці досліджень і значні витрати на обчислення. Якщо конкурент може дешево збирати ці вихідні дані, стимул інвестувати в передові моделі зменшується. Захист Anthropic має на меті розірвати цей ланцюжок, роблячи зібрані дані менш корисними або складнішими для збору в масштабі.
Що змінила Anthropic
Компанія не розкрила точних технічних механізмів, але заявила, що засоби захисту розроблені для виявлення та перешкоджання спробам дистиляції в реальному часі. Це може означати обмеження швидкості підозрілих шаблонів запитів, додавання шуму до вихідних даних або водяні знаки у відповідях, щоб їх можна було відстежити. Anthropic стверджує, що результатом є скорочення на 90–99 відсотків обсягу даних, які зловмисники можуть успішно зібрати.
Діапазон широкий, оскільки ефективність залежить від методу атаки. Груба операція з високим обсягом збору даних може бути майже повністю заблокована, тоді як більш обережний, повільний підхід все ще може спрацювати. Anthropic каже, що продовжуватиме налаштовувати систему, оскільки зловмисники адаптуються.
Це не перший випадок, коли компанія зі штучного інтелекту говорить про дистиляцію. OpenAI і Google обидві звинувачували конкурентів у використанні вихідних даних їхніх моделей для тренування конкуруючих систем. Але публічні, кількісно виміряні результати рідкість. Цифри Anthropic дають конкретний орієнтир для того, наскільки добре працює один набір засобів захисту, принаймні за власними вимірами компанії.
Крадіжка моделей знаходиться на перетині безпеки, інтелектуальної власності та національної конкурентоспроможності. Уряди починають розглядати передові моделі ШІ як стратегічні активи. Якщо дистиляцію можна стримати, це посилює аргументи для компаній продовжувати інвестувати в більші, дорожчі моделі, не боячись, що їхню роботу скопіюють за одну ніч.
Є також аспект безпеки. Якщо зловмисник дистилює модель і видаляє тонке налаштування безпеки, він може створити невирівняну версію, яку важче контролювати. Захист Anthropic безпосередньо не вирішує цей сценарій, але, ускладнюючи дистиляцію, він підвищує вартість для будь-кого, хто намагається це зробити.
Оголошення з'явилося, коли Anthropic стикається зі зростаючою конкуренцією з боку моделей з відкритими вагами, які можна вільно використовувати та модифікувати. Ці моделі можна дистилювати без будь-яких запитів до API, тому нові засоби захисту до них не застосовуються. Підхід компанії — це ставка на те, що пропрієтарні моделі на основі API залишаться достатньо цінними, щоб клієнти платили за доступ, і що їхній захист вартий інженерних зусиль.
Anthropic не повідомила, чи публікуватиме технічну статтю або відкриє вихідний код інструментів захисту. Наразі цифра 90–99 відсотків є твердженням, яке зовнішні дослідники не можуть легко перевірити. Компанія каже, що продовжуватиме оновлювати систему в міру отримання більше інформації про те, як діють зловмисники.
Конкуренти, ймовірно, уважно стежать. Якщо засоби захисту витримають, вони можуть стати стандартною функцією комерційних API ШІ. Якщо ні, гра в кішки-мишки між постачальниками моделей і збирачами даних продовжиться, і кожна сторона буде адаптуватися до останнього кроку іншої.
