폰에서 프롬프트로
'탈옥'이라는 단어는 사용자들이 Cydia와 같은 도구를 통해 Apple의 제한을 우회하던 iPhone 시대에서 유래했습니다. 동일한 아이디어가 AI 시스템에 재사용되었습니다. iPhone 탈옥자들이 Apple이 승인하지 않은 소프트웨어를 실행하려 했던 것처럼, AI 탈옥자들은 챗봇이 말해서는 안 되는 말을 하도록 만들고 싶어합니다. 목표가 항상 악의적인 것은 아닙니다. 때로는 호기심이고, 때로는 한계를 테스트하는 것입니다. 그러나 결과는 동일합니다. 모델의 제한이 무시됩니다.
게임의 진행 방식
고양이와 쥐 게임은 프롬프트에서 진행됩니다. 사용자들은 모델이 제한 없이 캐릭터 역할을 하도록 요청하는 메시지를 만들거나, 요청을 가상 시나리오로 표현합니다. 어떤 이들은 대화가 게임이나 이야기인 척하여 모델이 자체 훈련을 무시하도록 시도합니다. 개발자들은 이에 대응하여 이러한 속임수를 잡기 위해 안전 필터를 업데이트합니다. 그러나 한 허점이 막히면 곧바로 다른 허점이 열립니다. 속도가 줄어들 기미가 보이지 않는 줄다리기입니다.
개발자들이 우려하는 이유
AI 연구소들은 성공적인 탈옥이 유해한 출력을 초래할 수 있기 때문에 우려하고 있습니다. 일반적으로 위험한 활동에 대한 지침을 제공하지 않는 챗봇이 속임수에 넘어가면 단계별 안내를 제공할 수
