Anthropic affirme avoir déployé de nouvelles défenses qui réduisent de 90 à 99 % la quantité de données d'entraînement que les attaquants peuvent extraire de ses modèles Claude par distillation. L'entreprise a annoncé ces mesures dans le cadre d'un effort plus large visant à protéger l'intégrité de ses modèles et sa technologie propriétaire.
Les attaques par distillation consistent à interroger un modèle de manière répétée pour collecter ses sorties, puis à utiliser ces données pour entraîner un système concurrent. Cette technique permet à quelqu'un de profiter des recherches d'une autre entreprise sans payer. Les nouvelles protections d'Anthropic visent à rendre ce processus beaucoup moins efficace.
Comment fonctionnent les attaques
Dans une attaque par distillation, un adversaire n'a pas besoin d'accéder au code sous-jacent du modèle ni à ses poids. Il lui suffit de pouvoir envoyer des requêtes et d'enregistrer les réponses. En faisant passer des millions d'invites à travers un modèle, il peut constituer un jeu de données qui capture une grande partie de son comportement. Ce jeu de données devient ensuite le matériel d'entraînement d'un modèle rival, qui peut imiter les capacités de l'original à une fraction du coût de développement.
Pour les entreprises d'IA, c'est à la fois un problème de sécurité et un problème commercial. Les sorties représentent des mois de recherche et des dépenses de calcul considérables. Si un concurrent peut récolter ces sorties à bas prix, l'incitation à investir dans des modèles de pointe diminue. Les défenses d'Anthropic visent à briser cette chaîne en rendant les données récoltées moins utiles ou plus difficiles à collecter à grande échelle.
Ce qu'Anthropic a changé
L'entreprise n'a pas détaillé les mécanismes techniques exacts, mais elle indique que les défenses sont conçues pour détecter et perturber les tentatives de distillation en temps réel. Cela pourrait signifier limiter le débit des schémas de requêtes suspects, ajouter du bruit aux sorties ou marquer les réponses avec un filigrane pour qu'elles puissent être tracées. Anthropic affirme que le résultat est une réduction de 90 à 99 % des données que les attaquants peuvent récolter avec succès.
La fourchette est large car l'efficacité varie selon la méthode d'attaque. Une opération de scraping brutale à gros volume pourrait être presque entièrement bloquée, tandis qu'une approche plus prudente et lente pourrait encore passer. Anthropic dit qu'elle continuera d'ajuster le système à mesure que les adversaires s'adaptent.
Ce n'est pas la première fois qu'une entreprise d'IA parle de distillation. OpenAI et Google ont tous deux accusé des rivaux d'utiliser les sorties de leurs modèles pour entraîner des systèmes concurrents. Mais les résultats publics et quantifiés sont rares. Les chiffres d'Anthropic donnent un point de référence concret sur la performance d'un ensemble de défenses, du moins selon la mesure de l'entreprise elle-même.
Le vol de modèles se situe à l'intersection de la sécurité, de la propriété intellectuelle et de la compétitivité nationale. Les gouvernements commencent à traiter les modèles d'IA avancés comme des actifs stratégiques. Si la distillation peut être limitée, cela renforce l'argument pour que les entreprises continuent d'investir dans des modèles plus grands et plus coûteux sans craindre que leur travail soit copié du jour au lendemain.
Il y a aussi un aspect lié à la sécurité. Si un acteur malveillant distille un modèle et en retire le réglage fin de sécurité, il peut créer une version non alignée plus difficile à surveiller. Les défenses d'Anthropic ne traitent pas directement ce scénario, mais en rendant la distillation plus difficile, elles augmentent le coût pour quiconque tente de le faire.
L'annonce intervient alors qu'Anthropic fait face à une concurrence croissante de modèles à poids ouverts, libres d'utilisation et de modification. Ces modèles peuvent être distillés sans aucune requête API, donc les nouvelles défenses ne s'y appliquent pas. L'approche de l'entreprise est un pari que les modèles propriétaires basés sur API resteront suffisamment précieux pour que les clients paient pour y accéder, et que les protéger vaut l'effort d'ingénierie.
Anthropic n'a pas précisé si elle publierait un article technique ou open-sourcerait les outils de défense. Pour l'instant, le chiffre de 90 à 99 % est une affirmation que les chercheurs externes ne peuvent pas facilement vérifier. L'entreprise dit qu'elle continuera de mettre à jour le système à mesure qu'elle en apprend davantage sur le mode opératoire des attaquants.
Les concurrents observent probablement cela de près. Si les défenses tiennent, elles pourraient devenir une caractéristique standard des API d'IA commerciales. Si ce n'est pas le cas, le jeu du chat et de la souris entre les fournisseurs de modèles et les collecteurs de données se poursuivra, chaque camp s'ajustant au dernier coup de l'autre.
