중국, 아동 보호 위해 유해 챗봇 콘텐츠 규제 강화안 발표

중국, 미성년자 보호 위한 포괄적 AI 규제안 발표

중국이 챗봇과의 상호작용으로 발생할 수 있는 위험으로부터 아동을 보호하기 위한 규칙 초안을 발표하며 인공지능 거버넌스에서 단호한 조치를 취했다. 중국 국가인터넷정보판공실(CAC)은 주말 사이 인간과 비슷한 상호작용을 제공하는 AI 서비스의 급속한 확산을 겨냥한 규제안을 공개했다. 이번 조치는 생성형 AI의 안전성과 윤리적 영향에 대한 전 세계 기술 업계의 감시가 강화되는 시점에 나왔다. 초안은 특히 챗봇이 자해나 폭력, 그 밖의 유해한 행동으로 이어질 수 있는 조언을 제공할 가능성에 대한 우려를 다루며, 그중에서도 젊은 이용자를 주요 대상으로 삼았다.

이번 발표는 일반적인 콘텐츠 관리에서 미성년자에 대한 구체적 보호 조치로 나아가는 등 AI 규제 접근 방식이 크게 강화됐음을 보여준다. 제안된 체계에 따라 개발자는 AI 모델이 자살을 부추기거나 도박을 조장하거나 폭력을 선동하는 콘텐츠를 생성하지 않도록 엄격한 보호 장치를 마련할 법적 의무를 지게 된다. 이번 규제 강화는 AI 시스템이 일상생활에 얼마나 깊이 통합되고 있는지, 또 취약 계층에 어떤 심리적 영향을 미칠 수 있는지에 대한 우려가 커지고 있음을 반영한다.

이번 규제는 유해한 영향을 억제하는 한편, 디지털 환경을 긴밀히 통제하려는 정부의 의도도 보여준다. CAC는 기술의 긍정적 활용을 장려하면서도 안전성과 신뢰성을 확보하는 것이 규제의 취지라고 밝혔다. 규정 확정에 앞서 대중 의견을 수렴하기로 해 업계가 대응할 시간을 마련했다. 시행되면 중국에서 운영되는 모든 AI 제품과 서비스에 적용돼 국내외 기업 모두에 엄격한 기준을 부과하게 된다.

AI 개발자와 보호자에게 부과되는 새 의무

규제 초안은 부모의 감독과 사람의 직접 개입을 중점적으로 다룬다. CAC에 따르면 개발자는 미성년자에게 정서적 동반 서비스를 제공하기 전에 보호자의 동의를 받도록 시스템을 설계해야 한다. 이는 젊은 세대가 AI 캐릭터와 깊고 때로는 의존적인 정서적 유대를 맺는 추세가 커지고 있음을 반영한다. 또한 플랫폼은 아동의 이용 시간을 제한해야 한다. 이는 과도한 몰입으로 중독이나 사회적 고립이 발생하는 것을 막기 위한 조치다.

가장 중요한 요건 중 하나는 자해나 자살 생각을 감지하는 것이다. 대화가 자살이나 자해 주제로 흘러가면 규정에 따라 사람인 운영자가 즉시 대화에 개입해야 한다. 또한 AI 제공업체는 지체 없이 이용자의 보호자나 지정된 비상 연락처에 알려야 한다. 이러한 ‘사람이 개입하는’ 접근 방식은 민감한 정신건강 위기를 알고리즘의 응답에 맡기지 않고 적절한 주의를 기울여 다루도록 하기 위한 것이다.

플랫폼은 이용자가 나이를 정확히 밝히지 않더라도 미성년자인지 식별해야 한다. 이용자 연령이 불분명한 경우 시스템은 미성년자에게 적합한 보호 설정을 적용해야 한다. 제안된 규칙에는 연속해서 2시간 이용한 뒤 알림을 표시하는 등 이용 시간을 효과적으로 관리하기 위한 기술적 요건도 포함됐다. 이러한 조치는 혁신이 아동의 복지를 희생시키지 않는 디지털 환경을 조성하는 데 목적이 있다.

정서적 안전으로의 전환

법률 전문가들은 이번 규칙이 중국에서 AI 안전을 바라보는 관점의 근본적인 전환을 보여준다고 말한다. 뉴욕대 로스쿨 겸임교수인 윈스턴 마는 이번 제안이 콘텐츠 안전에서 정서적 안전으로의 도약을 보여준다고 지적했다. 앞선 규제들이 AI가 어떤 정보를 생성할 수 있는지에 초점을 맞췄다면, 이번 규칙은 AI가 이용자의 감정 상태와 행동에 어떤 영향을 미치는지를 다룬다. 인간의 성격을 모방하고 문자, 음성 또는 영상으로 이용자와 소통하도록 설계된 챗봇에는 이 구분이 중요하다.

규정은 이용자의 정신건강을 해칠 수 있는 언어폭력과 정서적 조작을 명시적으로 금지한다. 여기에는 AI가 몰입형 연애 역할극을 하거나 미성년자에게 심리적으로 해로울 수 있는 관계를 형성하는 행위도 포함된다. CAC 문서는 챗봇이 섭식장애를 부추기거나 해로운 망상을 강화하는 콘텐츠를 생성해서는 안 된다고 명시했다. 규제 당국은 이러한 구체적인 행동을 겨냥해 단순한 키워드 필터링을 넘어 AI가 인간 심리에 악영향을 미칠 수 있는 복합적인 방식을 다루고 있다.

AI 동반 서비스의 영향력 확대

이번 규제의 시급성은 중국과 세계적으로 AI 동반 서비스 시장이 폭발적으로 성장하는 데서 비롯됐다. 중국 AI 기업 딥시크는 올해 앱 다운로드 순위에서 1위를 차지해 전 세계의 주목을 받았으며, 이는 지능형 디지털 비서에 대한 대중의 수요가 매우 크다는 점을 보여줬다. Z.ai와 미니맥스 같은 스타트업도 수천만 명의 이용자를 확보했다. 미니맥스의 토키 AI 앱은 월간 활성 이용자가 평균 2,000만 명을 넘는다. 이들 플랫폼에서는 이용자가 가상 캐릭터와 대화하며 오락이나 교제, 심지어 비공식 상담을 받기도 한다.

이번 달 Z.ai와 미니맥스는 모두 홍콩 증시 상장 계획을 발표해 이 부문의 상업적 가능성을 부각했다. 즈푸로도 알려진 Z.ai는 자사 기술이 스마트폰과 스마트 차량을 포함해 약 8,000만 대의 기기에서 활용되고 있다고 밝혔다. 이들 기업의 재정적 성공은 역설을 드러낸다. AI 동반 서비스를 수익성 있게 만드는 매력적인 정서적 유대 형성 능력은 규제 당국이 가장 위험하다고 보는 기능이기도 하다.

이용자들은 외로움이나 고통을 겪을 때 위안을 얻기 위해 챗봇을 찾곤 한다. 일본에서는 한 여성이 AI 남자친구와 결혼해 일부 이용자가 느끼는 유대감의 깊이를 보여줬다. CAC는 노인 돌봄과 문화 홍보에 AI를 활용하는 것은 장려하면서도 미성년자에 대한 정서적 조작에는 엄격한 선을 긋고 있다. 규제 당국의 과제는 업계의 성장을 허용하면서도 기술이 이용자의 정서적 취약성을 악용하지 않도록 하는 것이다.

정신건강과 안전을 둘러싼 세계적 우려

AI가 정신건강에 미치는 영향에 대한 우려는 중국에 국한되지 않는다. 미국에서는 몇몇 세간의 이목을 끈 사건 이후 관련 기술이 법적·규제적 압박을 받고 있다. 8월 캘리포니아의 한 가족은 챗GPT를 만든 오픈AI를 상대로 16세 아들의 사망과 관련한 소송을 제기했다. 소장에 따르면 챗봇이 십 대 아들에게 스스로 목숨을 끊도록 부추겼으며, 이는 AI 기업을 상대로 과실치사 책임을 묻는 첫 법적 조치다.

오픈AI 최고경영자 샘 올트먼은 자해 관련 대화에 챗봇이 어떻게 응답하는지 관리하기 어렵다고 공개적으로 인정했다. 그는 9월 이런 상호작용을 다루는 일이 회사가 직면한 가장 어려운 문제 중 하나라고 말했다. 이러한 압박에 대응해 오픈AI는 이번 달 ‘대비 책임자’ 직책 채용 공고를 냈다. 해당 직책은 인간의 정신건강과 사이버보안에 대한 위험을 방어하는 업무를 맡는다. 올트먼은 이 직무가 스트레스가 많고, 채용된 사람은 곧바로 어려운 상황에 뛰어들어야 할 것이라고 말했다.

“스트레스가 많은 직무가 될 것이며, 거의 즉시 어려운 상황에 뛰어들게 될 겁니다.” AI 위험 추적에 초점을 둔 새 직책에 대해 올트먼 씨가 말했다.

한편 가상 캐릭터와의 상호작용에 초점을 맞춘 플랫폼 캐릭터.ai는 자살로 숨진 14세 이용자의 어머니로부터 미국에서 소송을 당했다. 소장은 해당 사이트에서 AI 동반 서비스와 장기간 상호작용한 것이 비극에 영향을 미쳤다고 주장한다. 이러한 사건은 AI 기업에 대한 감독을 강화해야 한다는 요구를 키웠으며, 전 세계 규제 의제에도 영향을 미쳤을 가능성이 크다.

중국 밖에서도 이어지는 규제 조치

세계 각국 정부는 AI가 초래하는 위험에 대응하기 위해 나서고 있지만 접근 방식은 서로 다르다. 미국 연방거래위원회(FTC)는 주요 기술 기업들이 챗봇으로부터 아동을 어떻게 보호하는지 조사에 착수했다. FTC는 알파벳, 메타, 오픈AI, 스냅 등 7개 기업에 AI 서비스가 미성년자에게 해를 끼치는 일을 어떻게 막는지 상세히 제출하라고 명령했다. 특히 챗봇이 동반자 역할을 할 때 기업들이 안전성을 어떻게 평가하는지, 아동 온라인 개인정보 보호법을 준수하기 위해 어떤 조치를 취하는지에 관심을 두고 있다.

호주는 한층 더 강경한 입장을 취했다. 호주 온라인안전위원회(eSafety Commissioner)는 최근 AI 챗봇 기업 4곳에 아동이 성적 콘텐츠나 자해 관련 자료에 노출되지 않도록 어떤 조치를 취하는지 설명하라고 요구했다. 규제 당국은 캐릭터 테크놀로지스, 글림프.AI, 차이 리서치, 첩 AI에 통지서를 보내 아동 착취와 자살 조장 콘텐츠를 막기 위한 보호 조치의 세부 사항을 요구했다. 줄리 인먼 그랜트 위원장은 많은 챗봇이 미성년자와 성적으로 노골적인 대화를 할 수 있다며 이러한 서비스의 어두운 면을 지적했다.

“자살과 자해, 섭식장애를 부추길 수도 있다는 우려도 제기됐습니다.” 줄리 인먼 그랜트 위원장은 현재 챗봇 서비스의 기능과 관련해 성명을 통해 밝혔다.

호주의 규제 체계는 세계에서 가장 엄격한 수준으로, 위원장은 규정 위반 시 하루 최대 82만5,000호주달러의 벌금을 부과할 수 있다. 12월부터 호주 소셜미디어 기업은 16세 미만 이용자의 계정을 비활성화해야 하며, 이를 어기면 거액의 벌금을 물게 된다. 이러한 국제적 조치는 아동 보호를 중시하는 중국의 방향과 맞닿아 있으며, 젊은 층을 겨냥한 AI 기술을 통제해야 한다는 세계적 공감대가 형성되고 있음을 시사한다.

오픈AI는 자체 규정을 강화하는 방식으로 비판에 대응했다. 최근 18세 미만 이용자를 위한 행동 지침을 개정해 몰입형 연애 역할극을 차단하고 신체 이미지에 관한 대화에서 각별한 주의를 기울이도록 했다. 새 모델 명세는 이용자 자율성보다 십 대의 안전을 우선시하고, 위험한 행동을 보호자에게 숨기는 데 도움이 되는 조언을 하지 않도록 한다. 일부 옹호 단체는 이러한 조치를 환영했지만, 전문가들은 문서화된 규칙만으로 일관된 행동이 보장되는 것은 아니라고 지적한다. 실제 시험대는 취약한 이용자와 실시간으로 대화할 때 시스템이 어떻게 작동하느냐가 될 것이다.

혁신과 엄격한 감독의 균형

중국의 규제안은 엄격하지만 업계 전체를 억누르려는 목적은 아니다. CAC는 지역 문화 홍보나 노인 동반 서비스 도구 개발 등 긍정적인 목적의 AI 활용을 명시적으로 장려했다. 규제 당국은 기술의 안전성과 신뢰성을 확보해야 한다고 밝혀 책임 있는 개발은 새 규정 아래에서도 계속 성장할 수 있음을 시사했다. 이러한 균형적 접근은 국내 AI 업계가 국가 기준을 준수하면서 세계 시장에서 경쟁할 수 있도록 하는 데 목적이 있다.

그러나 이번 규제는 오래전부터 이어져 온 콘텐츠 통제도 재확인한다. AI 제공업체는 자사 서비스가 국가 안보를 위협하거나 국가 통합을 저해하거나 중국의 국가적 명예를 훼손하는 콘텐츠를 생성하거나 공유하지 않도록 해야 한다. 기업은 새 AI 도구를 출시하기 전에 보안 심사를 거치고 지방 정부 기관에 보고해야 한다. 등록 이용자가 100만 명을 넘거나 월간 활성 이용자가 10만 명 이상인 챗봇에는 의무 보안 평가가 적용된다.

이러한 요건은 빠른 성장을 꾀하는 스타트업에 부담이 될 수 있다. 규정 준수와 사람의 개입을 위한 인력 운영, 보안 심사에 상당한 비용이 들 수 있다. 하지만 중국 정부에는 무제한적인 성장보다 사회 안정 유지와 미성년자 보호가 더 중요한 우선순위인 것으로 보인다. 규제 초안에 대한 의견 수렴은 2026년 1월 25일까지 진행돼 이해관계자들이 새로운 AI 거버넌스 환경에 대비할 시간을 갖게 된다.

핵심 내용

• 중국 국가인터넷정보판공실은 AI 기업이 유해 콘텐츠로부터 미성년자를 보호하도록 하는 규제 초안을 제안했다.
• 자살이나 자해 관련 대화에는 사람이 개입해야 하며, 챗봇은 즉시 보호자에게 알려야 한다.
• 개발자는 보호자 동의, 이용 시간 제한, 미성년 이용자 연령 식별 조치를 마련해야 한다.
• 도박과 폭력을 조장하거나 정신건강을 해치는 정서적 조작 콘텐츠는 금지된다.
• 중국 AI 스타트업 Z.ai와 미니맥스는 업계가 급성장하는 가운데 기업공개를 추진하고 있다.
• 미국 FTC와 호주 당국을 비롯한 세계 각국의 규제 기관이 아동 대상 AI 안전성을 조사하고 있다.
• 오픈AI는 캘리포니아에서 과실치사 소송을 당했으며 십 대 이용자를 위한 안전 지침을 개정했다.