OpenAI는 자체 최첨단 인공지능 시스템을 테스트할 책임이 있는 독립 연구자 및 기관을 위해 상세한 가이드를 발표했습니다. 이번 주에 공개된 이 가이드는 선도적 AI 모델(분야 최전선에 있는 강력한 범용 시스템)을 제3자 평가자가 어떻게 평가해야 하는지 명시하고 있습니다.
가이드의 주요 내용
이 문서는 안전 장치, 타당성, 구조화된 테스트 프레임워크라는 세 가지 기둥에 중점을 둡니다. 안전 장치는 테스트 중 예상치 못한 결과를 방지하기 위해 평가자가 따라야 할 안전 조치를 의미합니다. 타당성은 테스트가 주장하는 바를 실제로 측정하는지, 즉 결과가 재현 가능하고 의미 있는지를 보장합니다. 구조화된 테스트 프레임워크는 평가자가 모델에서 표준화되고 통제된 실험을 수행할 수 있게 하는 기술적 프레임워크입니다.
OpenAI의 목표는 외부 평가를 일관되고 신뢰할 수 있게 만드는 것입니다. 회사는 오랫동안 외부 연구자들에게 모델을 탐구하도록 초청해 왔지만, 이번에 처음으로 공식적인 단계별 가이드를 제공했습니다. 이 가이드는 모호성을 줄이고 평가자가 테스트 중 모델을 실수로 학습시키거나 출력을 잘못 해석하는 등의 일반적인 실수를 피할 수 있도록 도와주기 위해 마련되었습니다.
구조화된 테스트가 중요한 이유
선도적 AI 모델은 코드 작성부터 사실적인 이미지 생성에 이르기까지 다양한 작업을 수행할 수 있어 종합적으로 평가하기 어렵습니다. 단순한 채팅 기반 테스트는 모델의 조작 또는 기만 능력과 같은 미묘한 위험을 놓칠 수 있습니다. OpenAI의 가이드는 평가자를 더 엄격하고 모듈화된 테스트 설정으로 나아가게 함으로써 이 문제를 해결하려고 합니다.
회사는 과거에 내부 테스트에 지나치게 의존했다는 비판을 받아왔습니다. 외부 감사는 정책 입안자와 안전 옹호자들의 주요 요구 사항이 되었습니다. 표준 가이드를 제공함으로써 OpenAI는 독립 감시에 진지하게 임하고 있음을 보여주고, 나머지 산업을 위한 기준을 설정하려고 합니다.
회사는 이 가이드가 외부 평가자에게 내부 팀과 동등한 역량을 제공하도록 설계되었다고 밝혔습니다.
연구자와 감사 기관에게 이 가이드는 더 이상 제로부터 시작하지 않아도 됨을 의미합니다. 테스트 계획 템플릿, 데이터 처리 지침, 결과 문서화를 위한 체크리스트가 포함되어 있습니다. OpenAI는 이 가이드가 살아있는 문서로, 모델이 발전하고 커뮤니티가 효과적인 방법을 배우는 대로 업데이트될 것이라고 말했습니다.
이 가이드는 윤리적 문제도 다룹니다. 평가자는 사람에게 해를 끼치거나 프라이버시를 침해할 수 있는 테스트를 피하고, 발견한 위험한 기능을 즉시 보고해야 합니다. 이러한 보고 절차는 프로세스의 핵심 부분으로, OpenAI는 문제들이 공공에 알려지기 전에 알고자 합니다.
일부 관찰자들은 이 가이드가 자발적인 것이라고 지적했습니다. 제3자는 이를 따라야 할 의무가 없습니다. 그러나 OpenAI는 명확하고 잘 설계된 방법론을 제공함으로써 이것이 선도적 AI 평가를 위한 실질적 표준이 되기를 희망하고 있습니다. 회사는 가이드의 규칙을 준수하는 데 도움이 될 자동화 도구도 개발 중입니다.
다음 단계: OpenAI는 올해 말까지 이 가이드를 공개 의견 수렴에 부치고, 더 작고 능력이 떨어지는 모델을 대상으로 한 버전을 출시할 계획입니다. 회사는 가이드를 사용한 첫 번째 정식 제3자 평가 결과가 언제 발표될지 아직 밝히지 않았습니다.
