새로운 보고서는 AI 에이전트를 단순한 소프트웨어 도구가 아니라 인력의 일원으로 대우해야 한다고 주장한다. 이러한 변화는 AI 에이전트가 수동적인 위협 경보를 넘어 예약, 차단, 제출, 신고 등의 자율적인 행동을 수행하며, 매번 사람이 버튼을 누를 필요가 없어졌기 때문이다. 제안된 모델에 따르면, 그러한 행동에 대한 책임은 인간 관리자에게 있으며, 관리자는 마치 주니어 직원을 감독하듯이 에이전트를 감독하게 된다.
경보에서 행동으로
수년간 보안 운영에서 AI는 주로 연기 감지기 역할을 했다. 로그를 모니터링하고 이상 징후를 발견하여 인간이 조사하도록 경보를 보냈다. 새로운 세대의 에이전트 AI는 이 루프를 닫는다. 단순히 "이 로그인이 잘못된 것 같다"고 말하는 것이 아니라 세션을 비활성화하거나 자격 증명을 교체하거나 티켓을 열 수 있다. 자금세탁 방지 분야에서는 거래 내역을 가져와 사건 파일을 구성하고 검토를 위해 라우팅할 수 있다. 보고서의 핵심 주장은 이러한 시스템이 이제 지원 도구가 아니라 운영 주체라는 것이다. 이러한 재분류는 기업이 이들을 관리하는 방식, 즉 누가 그들의 작업을 검토하고, 실수를 어떻게 기록하며, 에이전트가 오래된 지침에 따라 행동할 때 어떤 일이 발생하는지를 변화시키기 때문에 중요하다.
책임이 인간에게 남는 이유
보고서는 책임에 대해 분명히 밝히고 있다. AI 에이전트가 스스로 행동하더라도 인간 관리자가 책임을 진다. 이는 기술적인 세부 사항이 아니라 법적, 조직적 핵심이다. 기업은 모델에 책임을 전가할 수 없다. 실질적인 결과는 관리자가 에이전트가 무엇을 하는지 알아야 하며, 이는 감사 추적, 행동 로그, 명확한 에스컬레이션 경로를 의미한다. 또한 교육도 필요하다. 에이전트를 관리한다면 신입 직원의 결정 경계를 이해하듯이 에이전트의 결정 경계를 이해해야 한다. 보고서는 새로운 법을 요구하지 않지만, 관리 문제를 시급한 것으로 규정한다.
규정 준수의 압박
사이버 보안, 자금세탁 방지, 규정 준수 팀이 이 변화의 최전선에 있다. 이러한 기능은 경보와 서류 작업에 압도되어 있으며, 에이전트 AI가 구제책을 약속한다. 그러나 이들은 실수가 규제적 무게를 지니는 기능이기도 하다. 사기 경보를 너무 빨리 종료하거나 거래를 잘못 분류하는 에이전트는 감사자가 추적할 흔적을 남긴다. 보고서는 에이전트를 인력 구성원으로 대우하면 올바른 질문을 하게 된다고 제안한다. 에이전트의 범위는 무엇인가? 누가 그 출력을 검토하는가? 어떻게 수정하는가? 이는 인사 질문처럼 들리며, 바로 그 점이 핵심이다.
관리자가 지금 해야 할 일
보고서는 단일 프레임워크를 규정하지 않지만, 그 논리는 몇 가지 조치를 시사한다. 에이전트와 그들이 허용된 작업을 목록화하라. 각 에이전트에 인간 책임자를 지정하라. 감사를 견딜 수 있는 방식으로 그들의 행동을 기록하라. 그리고 경계를 설정하라. 사용자를 차단할 수 있는 에이전트가 검토 없이 환불을 승인할 수도 있어서는 안 된다. 이 중 이색적인 것은 없다. 팀에 적용하는 것과 동일한 규율이다. 차이점은 지침이 모호할 때 에이전트는 명확화를 요구하지 않는다는 것이다. 그들은 행동한다.
보고서의 발표는 이미 붐비는 AI 거버넌스 지침 분야에 압력을 더한다. 빠진 것은 도구 전반에 걸쳐 에이전트 행동이 어떻게 기록되고 검토되는지에 대한 표준, 즉 스스로 행동하는 소프트웨어를 위한 작업 로그와 유사한 것이다. 그것이 존재할 때까지 관리자는 자신만의 통제를 짜맞추어야 한다. 보고서의 틀에 따르면 다음 실질적인 단계는 조직이 에이전트 감독을 IT의 부차적인 일이 아니라 관리 의무로 대우하는 것이다. 다음 자율 행동이 잘못되기 전에 그렇게 될지는 미지수다.
