구속력 있는 명령으로 위험한 AI에 대한 일본 정부의 권한 강화 가능
일본은 첨단 인공지능을 개발하는 기업에 안전을 보장하도록 의무화하고, 심각한 문제가 발생한 뒤 정부 명령을 따르지 않을 경우 제재를 부과하는 방안을 검토하고 있다. 이 방안이 도입되면 사이버 공격, 범죄 악용, 시스템의 지시 이탈 등 위험을 놓고 협조를 거부하는 기업에 당국이 더 강력한 조치를 취할 수 있다.
목차
이 같은 방향은 11일 비공개 AI 법제 작업반 논의 이후 드러났다. 당국은 법 개정을 포함한 제도 변화의 전체 틀을 연말까지 제시하는 것을 목표로 하고 있다. 검토 중인 제재는 고성능 AI와 관련된 사고에 초점을 맞출 전망이다.
제안된 집행 절차의 핵심은 다음과 같다. 문제가 발생하고 기업이 논의를 거부하면 정부가 필요한 경우 구속력 있는 명령을 내릴 수 있다. 명령을 위반하면 제재가 이어질 수 있다. AI 시스템의 각기 다른 부분을 통제하는 연구자, 모델 개발자, 대중에게 서비스를 제공하는 기업에는 서로 다른 책임이 적용될 수 있다.
일본 내각부는 앞서 2024년 5월 AI 거버넌스 정책 문서에서 감독 강화의 기초를 제시했다. AI 전략팀이 발표한 이 문서는 위험이 상당한 AI에 자율 지침을 보완할 법적 요건이 필요한지 검토하자고 제안했다. 오용 가능성이 특히 높은 기업을 대상으로 개선 명령을 내리고 해당 기업을 공개해야 한다는 의견도 담았다.
이번 논의는 앞서 제기된 정책 과제를 더욱 부각한다. 일본은 연구와 유용한 서비스를 위한 여지를 보장하면서 기업이 심각한 위험에 대응하도록 어떻게 할 수 있을까? 이용자에게 실질적으로 중요한 점은 첨단 시스템이 위협을 초래할 때 당국이 기업의 협조와 시정 조치를 이끌어낼 수 있는지 여부다.
새 규칙은 누구에게 적용될까?
AI 업계는 여러 단계에 걸쳐 있다. 연구자는 기술을 개발하고, 모델 개발자는 기반 시스템을 만들며, 서비스 제공자는 그 시스템을 사람들이 사용하는 제품으로 만든다. 파운데이션 모델은 다양한 작업을 수행하도록 학습된 기반 AI로, 다른 기업이 특정 서비스에 맞게 조정해 활용할 수 있다.
정부는 적용 대상 기업, 위험성이 충분히 높은 AI의 기준, 제재의 유형과 수준을 아직 확정해야 한다. 11일 발표된 일정에는 월이나 연도가 명시되지 않았다. 별도로 제시된 6월 19일 정책 일정에도 연도가 없어 두 일정의 정확한 시점 관계는 불분명하다.
2024년 5월 정책 문서는 모델의 규모와 용도, 위험을 함께 고려해야 한다고 제안한다. 향후 기술 발전으로 더 작은 모델도 더 높은 성능을 낼 수 있어, 규모만으로 규제 범위를 정하는 것은 신뢰하기 어렵다고 경고한다.
해외 개발자도 중요하다. 이 문서는 외국에서 일본으로 공급되는 AI도 일본의 규제 틀에 포함하고, 기업이 규정을 준수하지 않을 때 실효성 있는 대응 방안을 검토해야 한다고 밝혔다. 주요 미국 기술 기업까지 적용 대상에 포함하면 국제 협력과 명령 집행 능력이 일본 이용자에게 현실적인 과제가 된다.
자율적 협조가 우려를 낳은 이유
AI 전략회의와 AI 제도 연구회는 2025년 2월 4일 중간 정책 보고서에서 구속력 있는 규제를 선별적으로 도입하는 방안을 제시했다. 기업의 자율성을 존중하고, 기업이 자율적 노력만으로 대응하기 어렵다고 여겨지는 사안에 법적 규제를 한정하라고 권고했다.
보고서는 생명과 신체 안전, 재산, 공공 안전 또는 국가 안보에 심각한 문제를 일으키거나 그럴 가능성이 매우 높은 AI의 경우 위험의 심각성에 따라 대응 방안을 검토해야 한다고 밝혔다.
정부 조사에는 기업이 보유한 정보가 필요하다. 이에 보고서는 국내외 기업의 정보를 포함해 당국이 협조를 요청할 수 있는 법적 체계를 마련해야 한다고 제안했다. 정부 지침과 실제 AI 활용 조사도 실효성을 확보할 수 있도록 법적 근거를 갖춰야 한다고 덧붙였다.
제재는 이런 체계에 실효성을 더한다. 보고서는 법적 제재가 규칙을 더 쉽게 집행하도록 할 수 있다고 설명하는 한편, 경직된 요건은 개발을 늦추고 구체적으로 정하는 데 시간이 걸릴 수 있다고 경고했다. 비협조 기업에 대응하려는 이번 제안은 자율적 조치만으로 부족한 사례에 초점을 둔 이러한 기조를 따른다.
사이버 보안이 최근 논의에 시급성을 더해
첨단 AI는 사람의 세부적인 지시가 적어도 기술적 작업을 수행할 수 있다. 자율 시스템은 부여된 목표를 여러 단계에 걸쳐 추진하며 그 과정에서 행동을 선택할 수 있다. 이 능력은 정당한 업무에 도움이 되지만, 시스템이 컴퓨터나 네트워크와 상호작용할 수 있는 경우에는 안전 통제가 더욱 까다로워진다.
미국에서는 개발 중인 첨단 AI가 예상치 못하게 무단 접근을 한 사례가 보고됐다. 최근 일부 사이버 공격에도 AI가 악용됐다는 의혹이 제기됐다. 이러한 우려로 개발자가 위험한 행동을 두고 협조하지 않을 때 정부가 대응해야 한다는 주장이 힘을 얻고 있다.
6월 19일 공개된 일본 AI 기본계획 개정안은 사이버 보안 위험을 개정안의 핵심에 두고 있다. 이 개정안은 컴퓨터 시스템의 취약점을 자율적으로 찾아낼 수 있는 미국 모델 ‘클로드 미토스’를 사례로 들었다. 취약점은 공격자가 접근 권한을 얻거나 서비스를 방해하는 데 악용할 수 있는 결함이다.
이러한 취약점을 찾아내면 방어자가 소프트웨어를 수정하는 데 도움이 된다. 반면 무단 접근을 지원하는 데 사용되면 같은 능력이 위험을 초래한다. 이에 개정안은 안전성 평가를 강화하는 한편, 경찰청 주도로 방어 역량을 강화하는 계획도 담았다.
일본, AI 안전연구소 확대 추진
개정안에 따르면 AI 안전연구소(AISI)는 역할을 확대하게 된다. 일본은 연구소의 역량을 강화하고 외국 정부 및 글로벌 개발자와 협력해 일본과 해외의 첨단 모델을 검증할 방침이다.
일본은 2024년 2월 정보처리추진기구(IPA) 내에 AISI를 설립했다. 2024년 5월 정책 문서는 미국과 영국의 유사 기관과 협력하는 한편, 실용적인 안전 지침과 평가 방법, 기술 연구를 진행해 왔다고 설명한다.
정책 문서는 법률로 위험 관리와 정보 공유의 기본 책임을 정하고, 전문 기관이 정부 및 업계와 함께 세부 지침과 표준을 개발하는 체계도 제안한다. 이런 방식이라면 AI가 발전함에 따라 기술적 관행도 바꿀 수 있다.
AISI는 유해한 시스템에 대한 대응도 지원할 수 있다. 정책 문서는 정보처리추진기구가 문제를 조사하고 기업이나 이용자가 취할 조치를 발표하는 일본의 기존 소프트웨어 사이버 보안 절차와 유사한 체계를 검토하자고 제안했다.
정책 논의의 전개 과정
일본의 제안은 자율 지침 마련에서 제도적 준비와 법적 의무 검토로 발전해 왔다. 정부 문서를 보면 모든 AI 기업에 동일한 요건을 적용하기보다 여러 수단을 조합하려는 기조가 이어지고 있다.
- 2023년 5월: AI 전략회의가 AI 위험에 대한 첫 논의를 발표하고, AI의 개발과 활용 확대를 위해 적절한 보호 장치가 필요하다고 밝혔다.
- 2023년 12월: G7 정상들이 첨단 AI 개발자를 위한 국제 원칙과 행동 강령 등을 담은 히로시마 AI 프로세스 정책 체계를 승인했다.
- 2024년 2월: 일본이 정보처리추진기구 내에 AISI를 설립했다.
- 2024년 4월: 일본이 ‘AI 사업자 지침’ 버전 1.0을 발표했다.
- 2024년 5월: 내각부 AI 전략팀이 자율 지침을 법적 요건으로 보완하는 방안을 제시했다.
- 2025년 2월 4일: AI 전략회의와 AI 제도 연구회가 자율적 노력만으로 대응하기 어려운 사안에 선별적으로 입법할 것을 권고했다.
6월 19일 공개된 AI 기본계획 개정안은 의견 수렴을 거쳐 7월 각의에서 승인될 것으로 전망된다. 전년도 12월에 채택된 첫 계획을 잇는 것으로, 개정안은 그 계획 발표 후 6개월여 만에 나오는 셈이다. 별도의 작업반은 연말까지 더 폭넓은 제도 개편안을 제시하는 것을 목표로 하고 있다.
일부 AI 활용에는 기존 법률이 이미 적용
일본의 2024년 5월 정책 문서는 첨단 AI 개발자를 대상으로 한 규칙과 특정 제품 및 활동을 규율하는 법률을 구분한다. 당시 일본에는 유럽과 미국에서 마련 중인 규제와 비슷하게 대규모 또는 고위험 AI를 구체적으로 다루는 구속력 있는 체계가 없었다고 밝혔다. 다만 관련 행위에는 형법, 개인정보 보호법, 제품 관련 규정이 이미 적용되고 있었다.
AI를 사용하는 의료기기는 「의약품의료기기법」에 따른 안전성과 유효성 요건을 충족해야 한다. 특히 위험성이 높은 기기는 임상시험 자료를 포함할 수 있는 평가를 거쳐 승인을 받아야 한다. 정책 문서는 의사가 AI를 보조 수단으로 활용하더라도 최종 의료 판단에 대한 책임은 의사에게 남는다고 밝혔다.
자율주행 시스템을 사용하는 차량은 「도로교통차량법」에 따른 요건을 충족해야 한다. 차량의 자동화 시스템은 설계된 운행 조건에 맞춰 평가된다.
고용 및 신용 관련 결정은 다른 우려를 낳는다. 정책 문서는 AI로 화상 면접을 심사하는 사례에서 불합격 지원자를 사람이 검토하는 방안을 언급했다. 또한 신용 상환 능력을 평가하는 첨단 기법은 부당한 차별과 편견, 그 밖의 심각한 불이익을 초래하지 않아야 한다고 지적했다. 이런 사례 전반에서 사람의 통제 수준이 중요하다. 사람의 결정을 대체하는 것과 그 사람이 검토할 정보를 제공하는 것은 서로 다른 위험을 낳을 수 있다.
딥페이크와 창작, 교육도 검토 대상
AI 기본계획 개정안에는 딥페이크 탐지 기술 개발도 포함됐다. 딥페이크는 AI로 만들거나 조작한 사실적인 이미지, 음성 또는 영상으로, 사람을 사칭하거나 허위 주장을 퍼뜨리는 데 악용될 수 있다.
2024년 5월 정책 문서는 워터마크로 AI 생성 여부를 표시하고, 콘텐츠의 출처 정보를 기록하며, 온라인 플랫폼이 라벨을 붙이는 등 여러 기술적 대응책을 제시했다. 또한 AI 위험을 허위 광고 및 유해한 온라인 정보에 대응하는 더 폭넓은 노력과 연계했다.
창작물은 별도의 법률·정책 논의가 진행 중이다. 정책 문서는 2024년 3월 15일 문화청 협의회 소위원회가 AI와 저작권에 관한 지침을 채택했다고 기록하고, AI 시대의 지식재산을 둘러싼 내각부 논의도 언급했다. 이 논의에는 법적 규칙과 기술적 보호, 보상을 정하는 계약이 포함된다. 목소리와 초상, 예술적 스타일에 관한 우려도 제기되고 있다.
AI에 지나치게 의존하면 독립적인 사고와 판단 능력이 약화될 수 있어 교육도 기본계획 개정안에 포함됐다. 한편 일본은 자율형 AI의 조기 상용화도 지원할 계획이다. 이에 따라 정책은 고성능 시스템의 활용을 확대하는 동시에 인간의 역량과 통제력을 유지할 방안을 모색한다.
일본이 모색하는 균형
일본 정부 문서는 모든 AI 개발에 일괄 적용하는 규제 체계보다 구속력 있는 규제의 역할을 좁게 설정하고 있다. 2024년 5월 문서는 다수의 연구자와 스타트업 등 위험이 제한적인 분야의 개발자에게는 자율 지침을 적용하고, 영향력이 더 클 수 있는 시스템에는 강화된 요건을 검토하는 방안을 선호한다.
같은 문서는 당시 국제적 접근법을 비교했다. 유럽연합의 AI 법률은 위험에 따른 의무와 상당한 금전적 제재를 포함했다. 미국은 자율적 약속과 함께 기존 법적 권한에 따른 일부 대형 모델의 보고 의무를 적용했다. 두 접근법 모두 강력한 시스템 개발자에게 일정한 구속력 있는 의무를 부과했다.
일본이 검토하는 명령과 제재는 협조를 중심으로 한 접근의 구체적인 약점을 보완할 수 있다. 공급자가 협조를 거부하더라도 위험한 시스템에는 조치가 필요할 수 있기 때문이다. 적용 대상 기업과 책임, 명령 발동 조건을 어떻게 정하느냐에 따라 이 권한이 이용자와 개발자에게 미칠 영향이 결정될 것이다.
핵심 내용
- 일본은 첨단 AI의 심각한 위험에 초점을 맞춰 안전 의무와 제재를 검토하고 있다.
- 제안된 절차에 따르면 비협조 기업에 구속력 있는 명령을 내리고, 위반 시 제재할 수 있다.
- 정부 정책 문서는 자율적 노력만으로 부족한 경우 선별적으로 법적 요건을 마련하는 방안을 선호한다.
- AI 기본계획 개정안에는 안전성 평가 확대와 사이버 방어, 딥페이크 탐지, 교육 대책이 포함됐다.
- 정부는 연말까지 더 폭넓은 제도 개편의 틀을 제시하는 것을 목표로 하고 있다.






