행동하는 AI 안전장치 논의에 30일간 의견수렴
대만 금융감독관리위원회(FSC)는 2026년 10월 13일, 금융기관의 운영 시스템에 연결하거나 이를 작동·가동시킬 수 있는 인공지능 에이전트의 보안 안전장치를 제안하며 30일간의 공개 의견수렴을 시작했다. 제안은 L1부터 L4까지 네 가지 위험 등급을 설정하고, 최고위험 행동에는 필요한 승인과 검토 또는 실행 차단 장치를 요구한다.
목차
‘금융 부문 에이전트형 AI의 안전한 활용에 관한 의견수렴 문서’는 에이전트가 널리 도입되기 전에 마련됐다. 린위타이 금융감독관리위원회 정보관리국장은 대부분의 금융기관이 통제된 환경에서 실험하거나 소규모 시험을 진행 중이라고 말했다. 에이전트를 실제 업무에 투입한 기관은 아직 없다고 들었다고 덧붙였다.
위원회가 가장 우려하는 것은 정보를 생성하는 AI에서 행동을 취하는 AI로의 전환이다. 고객 불만을 요약하는 보조 도구와 기밀 기록을 검색하고, 시스템 정보를 변경하거나 고객에게 직접 답변을 보낼 수 있는 AI는 보안상 서로 다른 문제를 낳는다.
이에 따라 의견수렴은 모델 정확도만이 아니라 권한과 책임소재에 초점을 맞춘다. 기관은 에이전트가 어떤 정보에 접근할 수 있는지, 어떤 도구를 사용할 수 있는지, 어떤 행동을 할 수 있는지 정하고 문제가 생겼을 때 직원이 이를 중단하거나 개입할 방법도 마련해야 한다.
이 문서는 새로운 규정이나 공식 지침이 아니다. 기존 법률과 감독 요건, 아웃소싱 규정, 내부 통제를 대체하지 않는다. 위원회는 이번 의견수렴이 향후 지침 마련에 도움이 되기를 바라지만, 이를 위한 일정은 정하지 않았다.
운영 시스템 접근이 위험을 바꾸는 이유
에이전트형 AI는 목표를 수행하기 위해 단계별 계획을 세우고, 소프트웨어 도구를 호출하며, 여러 시스템에서 정보를 검색할 수 있다. 이는 사람이 답변을 검토하는 것이 주된 기능인 대화형 애플리케이션과 다르다. 잘못된 답변이 곧바로 운영상 조치로 이어질 수 있다면 보안 문제는 더욱 시급해진다.
린 국장은 주요 위험으로 에이전트가 의도된 목표에서 벗어나는 경우, 도구를 오용하거나 권한을 넘는 경우, 민감한 정보가 노출되는 경우, 그리고 일련의 행동을 거치며 오류가 확산되는 경우 등 네 가지를 꼽았다. 이런 위험은 서로 결합될 수 있다. 에이전트가 사용해서는 안 되는 정보를 검색해 메시지에 포함한 뒤 기관 외부로 전송할 수 있다.
그럴듯하지만 틀린 결과를 내놓는 AI 환각도 여전히 우려 사항이다. 린 국장은 에이전트가 개인정보를 부적절하게 외부 이메일에 담는 상황을 예로 들었다. 이는 발생 가능한 오류를 설명한 것이며, 금융기관에서 실제로 발생한 사건을 공개한 것은 아니다.
속도 역시 잠재적 피해 규모를 바꾼다. 린 국장은 사람이 한 시간에 한 건 정도를 처리하는 경우와 에이전트가 100건을 처리할 수 있는 경우를 비교했다. 이는 처리량이 100배 차이 날 수 있다는 예시이지, 측정된 생산성 결과가 아니다. 그의 요지는 직원이 개입하기 전에 자동화된 오류가 많은 사례로 확산될 수 있다는 것이다.
기술뿐 아니라 업무를 관리해야
의견수렴 문서는 보안 거버넌스, 위험 분류, 보안 통제라는 세 가지 영역을 중심으로 제안을 구성한다. 관리의 기본 단위는 AI 제품 자체가 아니라 기관이 에이전트에 맡기려는 구체적인 업무, 즉 적용 시나리오다.
기관은 각 시나리오에 대해 업무 목적과 책임자, 허용된 데이터, 이용 가능한 도구, 허용된 행동을 정해야 한다. 결과물을 어디로 전송하거나 기록할 수 있는지, 에이전트가 비정상적으로 작동하면 어떻게 대응할지도 확인해야 한다.
이 접근법에 따르면 같은 소프트웨어라도 역할에 따라 통제가 달라진다. 보안 정보를 분석하되 행동을 취하지 않는 에이전트는 운영 시스템을 수정할 권한이 있는 에이전트와 다르다. 따라서 권한 변경은 기반 모델의 변경만큼이나 중요할 수 있다.
거버넌스는 최초 승인 이후에도 이어진다. 제안은 위험에 맞춘 검토와 모니터링, 점검, 기능 축소, 중단 및 복구 체계를 요구한다. 위험 분류는 승인 기준과 시험 조건, 배포 여부, 이후 감독에 반영되어야 하며, 적용 방식이 바뀌면 재평가해야 한다.
세 가지 기준으로 나누는 네 단계 위험 등급
제안된 L1~L4 분류는 데이터 민감도, 행동의 영향, 기능 범위 또는 영향 확산 가능성이라는 세 가지 기준을 적용한다. 위험이 낮은 요소가 더 위험한 요소를 상쇄하도록 하지 않고, 더 높은 위험 결과를 기준으로 평가한다.
데이터 민감도는 에이전트가 무엇을 볼 수 있는지에 관한 기준이다. 공개 정보에 접근하는 것과 개인정보 기록이나 기업 기밀에 접근하는 것은 다르다. 행동의 영향은 해당 정보를 활용해 무엇을 할 수 있는지를 따진다. 정보를 읽는 데 그치는지, 기록을 변경하거나 기관 외부와 소통할 수 있는지가 여기에 해당한다.
세 번째 기준은 활동의 범위와 도달 범위를 살핀다. 단일 업무에 한정된 에이전트는 여러 건을 일괄 처리하거나 24시간 계속 작동하거나 여러 연결된 단계를 진행할 수 있는 에이전트와 다르다. 작은 오류가 더 큰 운영 문제로 번질 가능성도 이 기준에서 평가한다.
L4 적용 사례에서는 필요한 승인과 검토 또는 차단 장치 없이 고위험 행동이 자동 실행되지 않도록 제안한다. 위험이 낮은 적용 사례에는 시험 여지를 둔다. 위원회는 국제 보안 프레임워크를 참고해 위험 기반, 비례성, 특정 기술에 대한 중립성을 원칙으로 삼았다고 밝혔다.
고객 서비스 사례로 본 권한의 중요성
린 국장이 든 고객 서비스 사례는 실질적인 비교를 보여준다. 불만을 취합하고 요약문을 작성하는 에이전트는 낮음에서 중간 수준의 위험 범위에 해당한다. 고객에게 답변도 보낼 수 있다면 기관 외부에서 행동할 수 있으므로 중간에서 높은 수준의 위험 범위에 해당한다고 그는 설명했다.
차이는 두 애플리케이션이 모두 AI를 사용하는지 여부에만 있지 않다. 첫 번째 경우에는 요약문이 고객에게 영향을 미치기 전에 직원이 검토할 수 있다. 두 번째 경우에는 에이전트가 해석한 내용을 외부 소통으로 이어갈 수 있다. 메시지 전송 권한이 있으면 오류의 결과도 달라진다.
정보를 기록할 권한도 또 다른 경계를 만든다. 읽기만 가능한 에이전트는 그 권한만으로 원본 기록을 바꿀 수 없다. 쓰기가 허용되면 오류로 정보가 변경되거나 삭제될 수 있다. 따라서 통제는 결과물의 품질뿐 아니라 에이전트가 접촉하는 시스템의 무결성도 다뤄야 한다.
이 사례는 기관의 AI 프로그램 전체에 단일 등급을 부여하는 방식이 적절하지 않은 이유도 보여준다. 같은 에이전트를 사용하더라도 데이터 접근 권한과 허용된 행동이 다르면 승인 조건과 모니터링, 복구 체계도 달라져야 할 수 있다.
디지털 직원에게도 사람의 감독이 필요
린 국장은 업무를 능동적으로 진행할 수 있다는 점에서 AI 에이전트를 디지털 직원이라고 표현했다. 이 비유는 역할을 부여하는 것 이상을 뜻한다. 기관은 에이전트가 할 수 있는 일을 정하고, 배포 전에 시험하며, 활동을 감독하고, 작업을 중단할 절차를 마련해야 한다.
배포 책임과 관련해 린 국장은 에이전트에 업무를 맡겨도 사람의 책임이 사라지지 않는다고 분명히 했다. 그의 발언을 영어로 옮기면 다음과 같다.
AI는 보조자일 뿐이며, 최종 감독자는 사람입니다.
이 원칙에 따라 사람은 에이전트의 권한을 정하고 문제가 생기면 대응할 책임을 진다. AI 에이전트가 관여한다는 이유로 기존 보안 통제를 우회할 수는 없다. 기관에는 책임 있는 인간 의사결정자와 그가 승인한 한계를 실제로 집행할 기술적 수단이 모두 필요하다.
위원회의 관심 범위는 직원의 모든 AI 활용보다 좁다. 개인이 기존 권한 안에서 사용하는 개인 비서는 현행 내부 통제와 보안 체계로 관리할 수 있다. 금융기관의 운영 시스템에 에이전트를 연결하려면 위험과 정보보안을 새로 평가해야 한다.
에이전트에도 적용되는 신원 및 접근 통제
보안 제안은 에이전트를 비인간 신원이자 소프트웨어 워크로드로 본다. 실무적으로 기관은 어떤 에이전트가 작동하는지, 어떤 권한이 적용되는지 파악해야 한다. 에이전트의 활동이 다른 사용자나 자동화 프로세스의 활동과 구별되지 않는 상황도 막아야 한다.
이 접근법은 제로 트러스트 원칙을 따른다. 시스템이 조직 내부에 있다는 이유만으로 접근을 안전하다고 간주하지 않는다. 신원과 권한을 확인하고, 업무에 필요한 범위로 접근을 제한하며, 행동을 추적할 수 있어야 한다.
통제 대상에는 신원, 기기와 실행 환경, 네트워크, 애플리케이션과 워크로드, 데이터 보호가 포함된다. 제안은 기본 및 고급 보안 요건과 통제 목표를 제시하며, 행동 통제와 가시성, 분석도 접근법의 일부로 다룬다.
린 국장은 구체적인 조치도 몇 가지 설명했다. 에이전트는 적절히 격리된 환경에서 실행하고, 네트워크 연결은 업무에 맞춰 제한하며, 사용 도구는 승인된 목록으로 한정해야 한다. 데이터 접근에는 최소 필요 원칙을 적용해야 한다. 이런 조치는 모델에 지시를 내리는 데만 의존하지 않고, 에이전트가 의도된 역할을 벗어날 수 있는 여러 경로를 통제한다.
전체 업무 흐름의 오류까지 시험해야
업무 흐름을 진행할 수 있는 애플리케이션에 대해 의견수렴 문서는 배포 전 프롬프트 인젝션, 도구 오용, 권한 상속, 메모리 오염을 시험하도록 요구한다. 이러한 시험은 에이전트가 접하는 정보와 도구, 권한 때문에 승인된 업무에서 벗어날 때 어떻게 작동하는지 살핀다.
프롬프트 인젝션은 에이전트가 읽는 자료에 숨겨진 지시가 행동을 다른 방향으로 유도하는 경우를 말한다. 도구 오용은 연결된 소프트웨어를 부적절하게 사용하는 것이다. 권한 상속은 다른 계정이나 프로세스에서 물려받은 접근 권한이 에이전트에 부여되는 경우를 말하며, 메모리 오염은 저장된 정보가 의도치 않게 이후 활동에 영향을 미치는 현상이다.
운영 목표는 오류 방지에 그치지 않는다. 시스템은 관찰 가능하고, 제한하거나 중단할 수 있으며, 복구와 추적이 가능해야 한다. 직원은 에이전트가 무엇을 하는지 확인하고, 유해한 활동을 멈추며, 가능하다면 영향을 받은 업무를 복구할 수 있어야 한다.
에이전트 활동 기록은 조사와 감사에 활용할 수 있어야 한다. 에이전트가 이미 잘못된 정보를 기록하거나 후속 행동을 촉발했다면 단순히 중단하는 것만으로는 문제가 해결되지 않을 수 있다. 이에 따라 제안은 중단 조치와 복구, 사건 기록을 함께 다룬다.
최종 배포 규정이 아닌 의견수렴
위원회는 대만 공공정책 참여 플랫폼의 공개 토론 섹션에 문서를 게시했다. 실무 경험을 정책 체계에 반영하고, 정책 작업과 향후 지침 및 감독 논의의 기반을 마련하는 것이 의견수렴의 목적이라고 밝혔다.
린 국장은 기술 변화가 빠르다는 점이 즉시 고정된 지침을 내놓지 않는 이유 중 하나라고 말했다. 위원회가 관련 위험을 모두 이미 파악했다고 단정할 수도 없다. 따라서 지침 마련 계획은 피드백과 추가 기술 발전에 달려 있으며, 정해진 날짜에 최종 문서를 내겠다는 약속은 아니다.
위원회가 설명한 일정은 다음과 같다.
- 2026년 7월: FSC가 AI 공격 대응 전략을 제안했다. 린 국장은 이를 이번 작업의 전 단계라고 설명했다.
- 2026년 10월 13일: FSC가 에이전트형 AI 보안 의견수렴 문서를 발표했다.
- 공개 이후: 제안된 접근법에 대한 의견을 받기 위해 30일간 공개 의견수렴을 진행한다.
- 의견수렴 이후: 공식 지침 마련 여부는 의견과 기술 발전에 따라 달라진다. 발표 일정은 아직 정해지지 않았다.
현재 진행 중인 시험은 의견수렴 시점을 이해하는 데 도움이 된다. 린 국장은 보안 정보를 분석하되 운영상 조치를 직접 취하지 않는 사이버보안 분야 등에서 많은 실험이 진행되고 있다고 말했다. 위원회는 에이전트가 행정 및 업무 프로세스에 더 깊이 도입되기 전에 안전장치를 마련하려 한다. 다음 단계는 의견수렴이며, 향후 지침의 구체적인 문구와 지위는 아직 정해지지 않았다.
주요 내용
- 대만 FSC는 2026년 10월 13일 금융 분야의 에이전트형 AI 안전 활용에 관한 30일간의 의견수렴을 시작했다.
- 금융기관 운영 시스템에 연결하거나 이를 작동·가동시킬 수 있는 에이전트가 핵심 대상이다.
- 제안은 데이터 민감도, 행동의 영향, 기능 범위를 기준으로 네 가지 위험 등급을 적용한다.
- 최고위험 행동에는 필요한 승인과 검토 또는 실행 차단 장치가 요구된다.
- 기관은 권한을 제한하고 활동 기록을 보존하며, 에이전트를 중단하고 오류에서 복구할 수 있어야 한다.
- AI 에이전트가 업무를 수행하더라도 사람의 책임은 계속 유지된다.
- 대부분의 활용은 아직 실험 단계다. 이 문서는 공식 지침이 아니며, 지침 발표 일정도 정해지지 않았다.






