Anthropic заявляет, что внедрила новые средства защиты, которые снижают объем обучающих данных, которые злоумышленники могут извлечь из ее моделей Claude с помощью дистилляции, на 90–99 процентов. Компания объявила об этих мерах в рамках более широких усилий по защите целостности моделей и своей проприетарной технологии.
Атаки дистилляции предполагают многократные запросы к модели для сбора ее выходных данных, которые затем используются для обучения конкурирующей системы. Этот метод позволяет кому-то паразитировать на исследованиях другой компании, не платя за них. Новые меры защиты Anthropic призваны сделать этот процесс гораздо менее эффективным.
Как работают атаки
При атаке дистилляции злоумышленнику не нужен доступ к исходному коду или весам модели. Ему достаточно иметь возможность отправлять запросы и записывать ответы. Прогоняя миллионы подсказок через модель, он может создать набор данных, который отражает большую часть ее поведения. Затем этот набор становится обучающим материалом для конкурирующей модели, которая может имитировать возможности оригинала при доле затрат на разработку.
Для ИИ-компаний это одновременно проблема безопасности и бизнеса. Выходные данные представляют собой месяцы исследований и значительные вычислительные затраты. Если конкурент может дешево собирать эти выходные данные, стимул инвестировать в передовые модели уменьшается. Защита Anthropic направлена на разрыв этой цепочки путем making собранные данные менее полезными или более сложными для сбора в больших масштабах.
Что изменила Anthropic
Компания не раскрыла точные технические механизмы, но заявила, что средства защиты предназначены для обнаружения и прерывания попыток дистилляции в реальном времени. Это может означать ограничение скорости подозрительных шаблонов запросов, добавление шума в выходные данные или нанесение водяных знаков на ответы для их отслеживания. Anthropic утверждает, что результатом является сокращение на 90–99 процентов объема данных, которые злоумышленники могут успешно собрать.
Диапазон широк, поскольку эффективность зависит от метода атаки. Грубая высокообъемная операция по сбору данных может быть почти полностью заблокирована, в то время как более осторожный подход с низкой интенсивностью все еще может пройти. Anthropic говорит, что будет продолжать настраивать систему по мере адаптации противников.
Это не первый раз, когда ИИ-компания говорит о дистилляции. OpenAI и Google обвиняли конкурентов в использовании выходных данных своих моделей для обучения конкурирующих систем. Но публичные количественные результаты редки. Цифры Anthropic дают конкретный ориентир для оценки эффективности одного набора защит, по крайней мере, по собственным измерениям компании.
Кража моделей находится на пересечении безопасности, интеллектуальной собственности и национальной конкурентоспособности. Правительства начинают рассматривать передовые ИИ-модели как стратегические активы. Если дистилляцию можно ограничить, это усиливает аргументы в пользу того, чтобы компании продолжали инвестировать в более крупные и дорогие модели, не опасаясь, что их работу скопируют за одну ночь.
Есть также аспект безопасности. Если злоумышленник дистиллирует модель и удаляет тонкую настройку безопасности, он может создать невыровненную версию, которую труднее контролировать. Защита Anthropic напрямую не решает этот сценарий, но, усложняя дистилляцию, она повышает стоимость для любого, кто попытается это сделать.
Объявление прозвучало на фоне растущей конкуренции со стороны моделей с открытыми весами, которые можно свободно использовать и модифицировать. Такие модели можно дистиллировать без каких-либо API-запросов, поэтому новые защиты к ним не применяются. Подход компании — это ставка на то, что проприетарные модели на основе API останутся достаточно ценными, чтобы клиенты платили за доступ, и что их защита стоит инженерных усилий.
Anthropic не сообщила, будет ли публиковать технический документ или открывать исходный код инструментов защиты. На данный момент цифра 90–99 процентов — это утверждение, которое внешние исследователи не могут легко проверить. Компания заявляет, что продолжит обновлять систему по мере изучения того, как действуют злоумышленники.
Конкуренты, вероятно, внимательно следят. Если защиты выдержат, они могут стать стандартной функцией коммерческих ИИ-API. Если нет, игра в кошки-мышки между поставщиками моделей и сборщиками данных продолжится, и каждая сторона будет адаптироваться к последнему ходу другой.
