A Anthropic afirma ter implantado novas defesas que reduzem em 90 a 99 por cento a quantidade de dados de treinamento que atacantes podem extrair de seus modelos Claude por meio de destilação. A empresa anunciou as medidas como parte de um esforço mais amplo para proteger a integridade do modelo e sua tecnologia proprietária.
Ataques de destilação envolvem consultar um modelo repetidamente para coletar suas saídas e, em seguida, usar esses dados para treinar um sistema concorrente. A técnica permite que alguém se aproveite da pesquisa de outra empresa sem pagar por ela. As novas salvaguardas da Anthropic visam tornar esse processo muito menos eficaz.
Como os ataques funcionam
Em um ataque de destilação, um adversário não precisa de acesso ao código subjacente ou aos pesos do modelo. Ele só precisa da capacidade de enviar consultas e registrar as respostas. Ao executar milhões de prompts por meio de um modelo, ele pode construir um conjunto de dados que captura grande parte de seu comportamento. Esse conjunto de dados então se torna material de treinamento para um modelo rival, que pode imitar as capacidades do original a uma fração do custo de desenvolvimento.
Para empresas de IA, isso é tanto um problema de segurança quanto de negócios. As saídas representam meses de pesquisa e gastos significativos com computação. Se um concorrente puder colher essas saídas de forma barata, o incentivo para investir em modelos de fronteira diminui. As defesas da Anthropic visam quebrar essa cadeia tornando os dados colhidos menos úteis ou mais difíceis de coletar em escala.
O que a Anthropic mudou
A empresa não detalhou os mecanismos técnicos exatos, mas disse que as defesas são projetadas para detectar e interromper tentativas de destilação em tempo real. Isso pode significar limitar a taxa de padrões de consulta suspeitos, adicionar ruído às saídas ou marcar as respostas com watermark para que possam ser rastreadas. A Anthropic afirma que o resultado é uma redução de 90 a 99 por cento nos dados que os atacantes conseguem colher com sucesso.
A variação é ampla porque a eficácia varia conforme o método de ataque. Uma operação de scraping bruta e de alto volume pode ser bloqueada quase inteiramente, enquanto uma abordagem mais cuidadosa e lenta ainda pode passar. A Anthropic diz que continuará ajustando o sistema à medida que os adversários se adaptarem.
Esta não é a primeira vez que uma empresa de IA fala sobre destilação. A OpenAI e o Google já acusaram rivais de usar as saídas de seus modelos para treinar sistemas concorrentes. Mas resultados públicos e quantificados são raros. Os números da Anthropic fornecem um benchmark concreto de quão bem um conjunto de defesas se sai, pelo menos segundo a medição da própria empresa.
O roubo de modelos está na interseção entre segurança, propriedade intelectual e competitividade nacional. Governos estão começando a tratar modelos avançados de IA como ativos estratégicos. Se a destilação puder ser restringida, isso fortalece o argumento para que as empresas continuem investindo em modelos maiores e mais caros sem temer que seu trabalho seja copiado da noite para o dia.
Há também uma questão de segurança. Se um ator malicioso destilar um modelo e remover o ajuste fino de segurança, ele pode criar uma versão desalinhada que é mais difícil de monitorar. As defesas da Anthropic não abordam diretamente esse cenário, mas, ao tornar a destilação mais difícil, elas aumentam o custo para qualquer um que tente.
O anúncio ocorre enquanto a Anthropic enfrenta concorrência crescente de modelos de pesos abertos que são livres para usar e modificar. Esses modelos podem ser destilados sem quaisquer consultas de API, então as novas defesas não se aplicam a eles. A abordagem da empresa é uma aposta de que modelos proprietários baseados em API permanecerão valiosos o suficiente para que os clientes paguem pelo acesso, e que protegê-los vale o esforço de engenharia.
A Anthropic não disse se publicará um artigo técnico ou tornará as ferramentas de defesa de código aberto. Por enquanto, o número de 90 a 99 por cento é uma afirmação que pesquisadores externos não podem verificar facilmente. A empresa diz que continuará atualizando o sistema à medida que aprender mais sobre como os atacantes operam.
Os concorrentes provavelmente estão observando de perto. Se as defesas se mantiverem, elas podem se tornar um recurso padrão das APIs comerciais de IA. Se não, o jogo de gato e rato entre provedores de modelos e coletores de dados continuará, com cada lado se ajustando ao último movimento do outro.
