저장대, AI 시스템의 역량과 업무를 연계하는 인공지능법안 제안

AI에 허용할 일을 정하기 위한 99개 조항 제안

저장대 연구진이 8장 99개 조항으로 구성된 인공지능법 전문가 제안서를 발표했다. 핵심 원칙은 AI 시스템에 부여하는 권한이 시스템의 신뢰도와 수행 업무가 초래할 결과에 부합해야 한다는 것이다.

저장대 버전 1.0 제안서는 9월 24일 열린 발표회에서 공개됐다. 대학의 공식 행사 공지에 따르면 행사는 2026년 9월 24일 오후 2시부터 5시 30분까지 저장대 쯔진강 캠퍼스에서 열렸다. 행사 일정에는 권리 보호와 책임성뿐 아니라 산업 발전도 포함됐다. 제안서가 다루려는 두 가지 요구를 반영한 구성이다.

AI의 영향을 받는 사람들에게 실질적인 우려는 당장 현실로 다가온다. 모델 운영자가 일러스트레이터의 작품을 허락 없이 학습에 사용할 수 있을까? 언어 모델이 유해하거나 부정확한 답변을 내놓으면 누가 책임을 져야 할까? 누군가 자신의 얼굴을 허락 없이 사용한 영상이 온라인에 퍼진 뒤 증거를 보존하고 구제를 요청하려면 어떻게 해야 할까?

기업이 직면한 우려는 또 다르다. 서로 중복되는 준수 요건, 제품 사용 전 거쳐야 하는 부담스러운 절차, 소규모 기업이 감당하기 어려울 수 있는 비용 등이 있다. 연구진은 이런 부담에 대응하면서 권리를 보호하는 것이 이 접근법의 목표라고 밝혔다.

이 문서는 토론과 추가 수정을 위한 학술 제안서다. 가장 구체적으로 제시된 개념은 특정 상황에서 AI를 평가하는 방법이다. 시스템의 역량과 작동 신뢰도, 영향을 받는 사람들에게 걸린 이해관계를 연계해 살펴본다.

초안이 만들어진 과정

작성팀은 제안서를 마련하는 데 거의 6개월을 들였고 집중적인 수정 작업을 다섯 차례 진행했다. 당초 174개 조항이었던 초안은 99개 조항으로 줄어 75개 조항, 약 43%가 축소됐다. 이는 작성 과정에서 문서가 크게 압축됐음을 보여준다. 다만 조항 수만으로는 개별 조항이 사용자나 기업에 어느 정도 부담을 줄지 알 수 없다.

연구진은 항저우의 AI 기업 20여 곳과 주요 인터넷 기업을 방문했다. 저장강 입법 포럼에서의 논의, 관계 부처 및 위원회와의 의견 교환, 여러 차례에 걸친 전문가 검토도 연구에 반영됐다. 항저우의 AI 산업과 혁신도시 발전을 다루는 두 건의 지방 규정 초안 작업과도 연구가 병행됐다.

행사 주최 기관은 저장대 광화법학원, 저장대 디지털법·거버넌스 연구원, 저장성 입법연구원, 저장대 입법연구원이다. 공식 일정에는 광화법학원 연구자인 리원룽이 제안서 발표와 소개를 맡는다고 나와 있다.

제안서 작성과 발표 과정은 다음과 같다.

• 팀은 거의 6개월 동안 기업 방문과 의견 수렴을 진행하고 다섯 차례 수정 작업을 했다.
• 제안서는 9월 24일 저장대에서 발표됐으며, 공식 공지에는 행사 연도가 2026년으로 기재됐다.
• 회의가 끝난 뒤 팀은 의견을 반영해 후속 버전을 개발할 계획이라고 밝혔다.

제안된 규칙의 바탕이 된 세 가지 질문

저장대 디지털법·거버넌스 연구원장 쑨샤오샤는 이 체계를 실행 역량, 인지 성숙도, 업무의 성격과 영향이라는 세 요소로 설명한다. 쉽게 말해 AI 시스템이 무엇을 할 수 있는지, 얼마나 믿을 수 있는지, 그 결정이 얼마나 중요한지를 묻는 것이다.

쑨 원장은 중국어로 AI 위험의 원인을 다음과 같이 설명했다.

우리는 인공지능의 위험이 기계의 강력함에서 오는 것이 아니라 역량, 인지, 업무 간의 불일치에서 비롯된다고 본다.

시스템은 사람의 개입 없이 긴 작업을 연달아 수행할 수 있지만, 이례적인 상황을 알아차리는 데는 어려움을 겪을 수 있다. 개인의 안전이 걸린 업무를 시스템에 맡기면, 시스템이 행사할 수 있는 권한과 문제가 생겼을 때 이를 판단하는 능력 사이에 위험한 격차가 생길 수 있다.

따라서 제안서는 기술에 단일한 분류표를 붙이는 데 그치지 않는다. 규제 당국은 시스템의 구체적인 버전과 사용 목적, 작동 환경을 살펴보게 된다. 동일한 기반 기술이라도 업무가 다르면 필요한 통제 수준이 달라질 수 있다.

역량과 신뢰도를 별도로 평가

제안된 역량 척도는 지원, 제한적 자동화, 고도 자동화, 자율 실행의 네 단계로 구성된다. 평가는 시스템이 얼마나 독립적으로 작동하는지, 결정이 얼마나 넓은 범위에 영향을 미치는지, 어떤 도구에 접근할 수 있는지, 얼마나 오래 연속 작동할 수 있는지, 디지털 또는 물리적 환경을 바꿀 수 있는지 등을 고려한다.

도구 접근 권한이 중요한 이유는 단순히 행동을 제안하는 AI 시스템과 실제 행동을 실행할 권한이 있는 시스템의 영향력이 다르기 때문이다. 다른 소프트웨어나 장비를 작동할 권한이 있으면 잘못된 답변이 현실의 일련의 행동으로 이어질 수 있다.

인지 성숙도 역시 기초, 일반, 상위, 고도 통제의 네 단계로 나뉜다. 평가에서는 정확도와 일관성, 이례적인 입력을 알아차리고 오류를 바로잡는 능력, 사이버 보안, 추적 가능성, 사람이 통제권을 되찾을 수 있는 조건 등을 살핀다.

또 다른 요소는 확신도 조정이다. 쉽게 말하면 시스템이 표현하는 확신이 실제 정답률과 일치하는지 확인하는 것이다. 자주 틀리면서도 확신에 찬 태도를 보이는 시스템은 사용자가 감독하기 특히 어려울 수 있다.

체계는 중요한 결과를 설명할 수 있는지, 시스템이 정해진 경계 안에서 작동할 수 있는지도 살핀다. 역량과 신뢰도를 분리하면 독립적으로 행동할 만큼 강력하지만 민감한 업무를 맡기기에는 신뢰성이 부족한 시스템을 규제 당국이 식별할 수 있다.

어떤 업무를 더 엄격히 살필까?

제안서는 업무를 영향이 낮은 경우, 일반적인 경우, 영향이 큰 경우의 세 단계로 나눈다. 평가에서는 영향을 받는 권리의 중요성, 피해가 발생할 가능성과 심각성, 영향을 받는 사람의 수, 영향의 지속 기간, 결과를 되돌릴 수 있는지, 구제받을 수 있는지 등을 고려한다.

취약성도 고려 요소다. 결정에 이의를 제기할 능력이 제한된 사람에게 영향을 미치는 사안은 비슷한 결정이라도 쉽게 도움을 받을 수 있는 사람에게 영향을 미치는 경우보다 더 면밀한 검토가 필요할 수 있다.

생명과 건강, 신체의 자유, 인간 존엄성, 기회의 평등, 중대한 재산상 이익, 교육, 고용, 사회보장, 사법, 행정 집행 또는 공공 안전과 관련된 업무는 영향이 큰 것으로 추정한다. 다수에게 상당한 영향을 미칠 수 있는 업무에도 같은 추정이 적용된다.

제안서는 금지된 AI 활용은 업무의 영향 수준과 관계없이 개발하거나 배포하거나 사용해서는 안 된다고도 명시한다. 제안서와 함께 공개된 설명에는 금지 대상 활용의 상세 목록이나, 앞서 제기된 저작권 침해, 부정확한 답변, 얼굴을 합성한 영상에 관한 분쟁에 대한 구체적인 법적 해답은 담기지 않았다.

의료 사례로 설명한 적합성 원칙

쑨 원장은 시스템의 업무가 기술적 성능만큼 중요한 이유를 설명하기 위해 의료 영상과 병리 분석을 예로 들었다. AI는 방대한 영상과 의료 데이터를 빠르게 처리할 수 있지만, 어렵거나 이례적인 상황에서는 추론 능력이 제한적일 수 있다.

적절한 업무 배정은 이 두 가지 특성을 모두 고려해야 한다. 어려운 진단의 전적인 책임을 시스템에 맡기고 판단을 지나치게 신뢰하면 이 체계가 해결하려는 불일치가 발생할 수 있다.

쑨 원장은 중국어로 목표를 다음과 같이 설명했다.

적합성을 요구하는 것은 단순히 제한을 부과하는 것과 다르다. 역량, 인지, 업무가 서로 가장 잘 맞도록 하는 것이 목표다.

쑨 원장에 따르면 까다로운 업무에서 성능이 낮은 시스템은 폐기하는 대신 복잡성이 낮은 업무로 재배치할 수 있다. 따라서 실질적인 선택지는 무제한 사용을 허용하거나 사용을 완전히 금지하는 것보다 넓다. 당국과 운영자는 업무나 시스템의 권한, 사람의 개입 정도를 조정할 수 있다.

병원에서는 이 접근법에 따라 AI에 정확히 어떤 업무를 맡기는지, 어떤 안전장치를 두는지에 주목하게 된다. 환자에게 핵심은 시스템의 역할이 결정의 중대성에 적합한지 여부다.

AI 변화에 따라 승인도 달라져야

제안된 거버넌스 절차는 연구·개발, 테스트, 배포, 운영, 반복 개선, 철수의 여섯 단계를 포괄한다. 시스템이 실제로 사용되기 시작한 뒤에도 역량과 상황이 달라질 수 있으므로 이 전 과정에서 분류를 계속해야 한다.

모델 업데이트로 시스템이 수행할 수 있는 행동의 범위가 넓어질 수 있다. 새로운 환경으로 사용 범위를 확장하면 더 많은 사람이나 더 민감한 이해관계가 시스템의 결정에 노출될 수 있다. 새로운 데이터는 모델의 작동 방식도 바꿀 수 있으며, 이전 테스트에서는 드러나지 않았던 방식으로 신뢰도를 떨어뜨릴 수 있다.

제안서는 시스템이나 업무가 바뀔 때 재평가하도록 요구한다. 평가는 구체적인 버전과 목적, 운영 환경을 기준으로 이뤄져 운영자가 이 가운데 하나라도 바뀌면 의무를 다시 검토하도록 한다.

쑨 원장은 적합성 원칙이 법적 규칙을 이끌 수 있는 분야로 분류, 의무 배분, 평가, 고영향 활용의 식별, 규제 강도, 위험 통제, 법적 책임, 시간에 따른 조정 등 여덟 가지를 꼽았다. 하나의 체계로 이런 결정을 연결하는 것이 AI 거버넌스의 일관성을 높이려는 제안서의 핵심 시도다.

권리 보호와 기업의 의무, 구체적인 내용이 관건

일러스트레이터의 작품과 부정확한 답변, 조작 영상에 관한 질문은 기술 테스트를 넘어 책임성이 중요한 이유를 보여준다. 보상이나 유해 콘텐츠 삭제를 원하는 사람은 자신이 입은 피해에서 책임 당사자까지 이어지는 실효성 있는 절차를 필요로 한다.

제안서는 법적 책임을 적합성 체계 안에 둔다. 이에 따라 배정된 업무에 시스템이 적합한지 여부가 의무와 책임에 관한 논의에서 중요한 요소가 될 수 있다. 그러나 평가 결과와 기존 민사 책임 규정의 관계는 쑨 원장이 추가로 구체적인 검토가 필요하다고 밝힌 쟁점 가운데 하나다.

연구진은 인지 성숙도를 어떻게 시험할지, 역량과 신뢰도, 업무 요건 사이의 격차가 어느 정도일 때 부적합한 것으로 볼지도 구체화해야 한다. 이런 선택에 따라 기업이 체계를 얼마나 일관되게 적용할 수 있는지, 규제 당국이 그 판단을 얼마나 효과적으로 점검할 수 있는지가 달라진다.

발표회 일정은 서로 경쟁하는 이런 실무적 요구를 한 프로그램 안에 담았다. 산업 분야 세션에는 학계와 기술 분야 참가자와 함께 메이퇀과 더우인의 법률 전문가가 포함됐다. 권리와 책임성 세션에는 알리바바의 컴플라이언스 책임자, 변호사, 대학 학자들이 이름을 올렸다. 이들의 참여는 주최 측이 토론에 다양한 관점을 모으려 했음을 보여준다. 그러나 일정만으로 참가자들이 초안에 대해 같은 입장을 가졌다고 볼 근거는 없다.

소규모 기업에 실질적으로 중요한 것은 평가가 몇 차례 필요한지, 어떤 증거를 제출해야 하는지, 제품이 발전함에 따라 의무가 어떻게 달라지는지다. AI의 영향을 받는 사람에게 중요한 것은 이런 의무가 피해를 예방하고 문제가 생겼을 때 실질적인 구제를 받을 수 있도록 돕는지 여부다.

연구팀은 회의에서 나온 의견을 바탕으로 제안서를 수정할 계획이다. 이제 핵심 과제는 적합성 원칙을 실제 분쟁과 제품 결정에 적용할 수 있는 시험 방법과 기준치, 책임 규칙으로 구체화하는 것이다.

핵심 내용

• 저장대의 AI법 전문가 제안서는 8장 99개 조항으로 구성됐으며, 당초 174개 조항에서 축소됐다.
• 체계는 시스템의 실행 역량, 인지 신뢰도, 배정된 업무를 연계한다.
• 건강, 자유, 고용, 교육 등 민감한 업무는 영향이 큰 것으로 추정한다.
• 평가는 개발과 사용 전 과정을 아우르며 시스템이나 업무가 바뀌면 함께 조정된다.
• 학술 제안서는 추가 수정을 거칠 예정이며 시험 방법과 기준치, 책임 규칙을 더 구체적으로 마련해야 한다.