Anthropic은 자사 Claude 모델에서 공격자들이 증류(distillation)를 통해 추출할 수 있는 학습 데이터의 양을 90~99% 줄이는 새로운 방어 체계를 도입했다고 밝혔습니다. 이 회사는 모델 무결성과 독점 기술을 보호하기 위한 광범위한 노력의 일환으로 이 조치를 발표했습니다.
증류 공격은 모델에 반복적으로 질의하여 출력을 수집한 뒤, 그 데이터를 경쟁 시스템 학습에 사용하는 방식입니다. 이 기법을 통해 누군가는 다른 회사의 연구에 무임승차할 수 있습니다. Anthropic의 새로운 안전장치는 그 과정을 훨씬 덜 효과적으로 만들기 위한 것입니다.
공격 방식
증류 공격에서 적대자는 모델의 기본 코드나 가중치에 접근할 필요가 없습니다. 단지 질의를 보내고 응답을 기록할 수 있는 능력만 있으면 됩니다. 수백만 개의 프롬프트를 모델에 통과시키면 모델 행동의 상당 부분을 포착한 데이터셋을 구축할 수 있습니다. 그 데이터셋은 경쟁 모델의 학습 자료가 되어, 개발 비용의 일부만으로 원본의 능력을 모방할 수 있게 합니다.
AI 기업들에게 이는 보안 문제이자 비즈니스 문제입니다. 출력물은 수개월의 연구와 상당한 컴퓨팅 비용을 대표합니다. 경쟁자가 그 출력물을 저렴하게 수확할 수 있다면, 프런티어 모델에 투자할 유인은 줄어듭니다. Anthropic의 방어 체계는 수확된 데이터를 덜 유용하게 만들거나 대규모 수집을 더 어렵게 만들어 그 고리를 끊는 것을 목표로 합니다.
Anthropic이 바꾼 것
회사는 정확한 기술적 메커니즘을 공개하지 않았지만, 방어 체계가 증류 시도를 실시간으로 탐지하고 방해하도록 설계되었다고 말했습니다. 이는 의심스러운 질의 패턴에 대한 속도 제한, 출력에 노이즈 추가, 또는 응답에 워터마크를 삽입하여 추적 가능하게 하는 것을 의미할 수 있습니다. Anthropic은 그 결과 공격자가 성공적으로 수확할 수 있는 데이터가 90~99% 감소한다고 주장합니다.
범위가 넓은 이유는 공격 방법에 따라 효과가 다르기 때문입니다. 조잡한 대량 스크래핑 작업은 거의 완전히 차단될 수 있지만, 더 신중하고 느린 접근 방식은 여전히 통과할 수 있습니다. Anthropic은 적대자가 적응함에 따라 시스템을 계속 조정할 것이라고 밝혔습니다.
AI 기업이 증류에 대해 언급한 것은 이번이 처음이 아닙니다. OpenAI와 Google 모두 경쟁사가 자사 모델의 출력을 사용해 경쟁 시스템을 학습시킨다고 비난한 바 있습니다. 그러나 공개적으로 수치화된 결과는 드뭅니다. Anthropic의 수치는 적어도 회사 자체 측정 기준으로 한 방어 체계가 얼마나 잘 작동하는지에 대한 구체적인 벤치마크를 제공합니다.
모델 도용은 보안, 지식재산권, 국가 경쟁력의 교차점에 있습니다. 정부들은 첨단 AI 모델을 전략적 자산으로 취급하기 시작했습니다. 증류를 억제할 수 있다면, 기업들이 자신의 작업이 하룻밤 사이에 복제될 것을 두려워하지 않고 더 크고 비싼 모델에 계속 투자할 수 있는 명분이 강화됩니다.
안전 측면도 있습니다. 악의적인 행위자가 모델을 증류하고 안전 미세조정을 제거하면, 모니터링하기 더 어려운 정렬되지 않은 버전을 만들 수 있습니다. Anthropic의 방어 체계가 그 시나리오를 직접 다루지는 않지만, 증류를 더 어렵게 만들어 시도하는 모든 사람의 비용을 높입니다.
이 발표는 Anthropic이 무료로 사용 및 수정할 수 있는 오픈 웨이트 모델과의 경쟁이 심화되는 가운데 나왔습니다. 그런 모델은 API 질의 없이도 증류될 수 있으므로 새로운 방어 체계가 적용되지 않습니다. 회사의 접근 방식은 독점적인 API 기반 모델이 고객이 비용을 지불할 만큼 충분히 가치 있고, 이를 보호하는 것이 엔지니어링 노력에 걸맞다는 베팅입니다.
Anthropic은 기술 논문을 발표하거나 방어 도구를 오픈소스로 공개할지 여부를 밝히지 않았습니다. 현재로선 90~99%라는 수치는 외부 연구자들이 쉽게 검증할 수 없는 주장입니다. 회사는 공격자의 운영 방식에 대해 더 많이 알게 됨에 따라 시스템을 계속 업데이트할 것이라고 말했습니다.
경쟁사들은 면밀히 지켜볼 가능성이 높습니다. 방어 체계가 유지된다면 상용 AI API의 표준 기능이 될 수 있습니다. 그렇지 않다면 모델 제공업체와 데이터 수확자 간의 쥐와 고양이 게임이 계속되어, 양측이 상대의 최신 움직임에 적응할 것입니다.
