감정에 기울이는 AI는 위험한가? 중국이 제시한 '마음의 안전' 규칙의 충격

1）중국이 노리는 것은 “인간 같은 AI”——이번 규제안의 포인트

2025년 12월 27일, 중국의 사이버 규제 당국이 "인간의 인격과 유사한 행동"으로 사용자와 감정적으로 관계하는 AI 서비스에 대해 감독을 강화하기 위한 규제안(의견 수렴)을 발표했다. Reuters에 의해 보도된 이 움직임은 소비자용 AI가 급속히 보급되는 가운데, 윤리와 안전 요건을 강화하려는 목적이 있다. InfoMoney

대상은 텍스트, 이미지, 음성, 동영상 등에서 인간의 성격 특성, 사고 패턴, 커뮤니케이션 습관을 모방하여 사용자와 "감정적인 상호작용"을 하는 AI 제품/서비스이다. 이른바 "AI 동반자", "AI 연인", "상담 상대형 챗봇" 등이 염두에 두어지고 있는 것으로 보인다. Reuters

규제안의 골자는 크게 세 가지다.

• (A) 의존 및 중독에 대한 개입
  사업자는 과도한 이용을 경고하고, 의존의 징후가 보일 경우 개입하는 체계를 요구받는다. 또한, 사용자의 상태를 식별하고 감정이나 의존도를 평가하며, 극단적인 감정이나 중독적 행동이 확인된 경우 필요한 조치를 취할 것이 예상된다. InfoMoney

• (B) 라이프사이클 전체의 안전 책임
  알고리즘 심사, 데이터 안전, 개인정보 보호 체제를 갖추고, 제품의 라이프사이클 전체에서 안전 책임을 지는 방향이 제시되었다. InfoMoney

• (C) 생성 내용의 “레드라인”
  국가 안전을 해치는 내용, 허위 정보나 폭력, 외설의 조장을 생성해서는 안 된다는, 기존의 중국 정보 통제와 일치하는 "금지 영역"이 명확히 설정되어 있다. InfoMoney

덧붙여, 중국 미디어의 보도에서는, "상대는 인간이 아닌 AI이다"라는 것을 눈에 띄게 알리는 요구도 포함되어 있다. China Daily

더불어 Bloomberg 계열의 보도에서는, 로그인 시에 더해, 2시간 간격(또는 과도한 의존 징후가 감지된 경우)에도 사용자에게 알리는 등의 심층적인 설계 요건이 소개되었다. Bloomberg.com

2）왜 지금, “감정의 상호작용”이 문제가 되는가

생성 AI의 위험성이라 하면, 저작권이나 허위 정보, 고용의 대체가 먼저 언급되기 쉽다. 그러나 이번 규제안이 정면으로 다루는 것은, 더 생활자에 가까운 테마——**"의인화"와 "감정 의존"**이다.

인간은 상대가 기계라는 것을 머리로 이해하고 있어도, 대화가 자연스럽고 공감적일수록 "관계성"을 느끼기 쉽다. AI 측이 "당신의 편" "당신을 이해하고 있다"고 행동하면, 외로움이나 불안을 안고 있는 사람일수록 깊이 빠져들 가능성이 있다. 여기에 중국 당국은 심리적 위험(극단적인 감정, 의존, 중독)이라는 말로 대처하려 하고 있다. Reuters

이 점은 중국만의 문제 제기가 아니다. 최근 각국에서 "동반자형 AI"에 대한 우려가 증가하고 있으며, "누가 어디까지 책임을 질 것인가"가 공백이 되기 쉬운 영역이기도 하다. 중국의 규제안은 그 공백에 국가가 선을 긋는 시도로도 읽을 수 있다.

3）기업 측에는 무엇이 요구되는가?——"의존 감지"는 구현 가능한가

그러나, 규제가 제시하는 이상을 현장이 그대로 구현할 수 있는가는 별문제다. 예를 들어 "의존 징후의 감지"에는 적어도 다음과 같은 설계가 필요하다.

• 이용 시간, 심야대의 빈도, 연속 사용 등의 행동 지표

• 대화 내용에서의 심리 상태 추정(감정 분류, 위기 단어 감지)

• 위험 단계에 따른 개입(팝업 경고, 쿨다운, 지원 창구 제시, 기능 제한 등)

그러나, 여기에는 큰 트레이드오프가 있다.감지의 정밀도를 높일수록 감시가 강해지고, 오탐지는 사용자 경험을 해칠 수 있다.
더욱이, 사용자의 감정 상태를 추정하려면 민감한 데이터 처리가 수반되며, 개인정보 보호의 관점에서도 난이도가 높다. 규제안은 데이터 안전, 개인정보 보호도 요구하고 있지만, 양립은 쉽지 않다. Reuters

4）중국의 AI 통치는 “점”에서 “면”으로: 기존 규칙과의 연결

중국은 최근 몇 년간, AI를 "방치→문제가 발생한 후 규제"가 아니라, 비교적 이른 단계에서 규칙화해 왔다고 한다. 생성 AI에 대해서는 2023년에 임시 조치가 시행되어, 규제 당국(CAC)을 중심으로 거버넌스가 정비되어 왔다. 중국법 번역

또한, 중국에는 추천 알고리즘이나 “딥 합성(deep synthesis)”에 관한 규정도 있어, 기술 카테고리별로 통치 체계를 쌓아온 흐름이 있다. DigiChina

이번 "의인화, 감정 교류 AI" 규제안은 그 연장선상에서 **“인간과 AI의 경계가 모호해지는 영역”을 새롭게 면으로 덮는** 움직임이라고 할 수 있다. Global Times는 이 규제를 위험에 따른 단계적 감독으로 설명하며, "혁신 지원"과 "남용 방지"를 동시에 내세우는 정리도 소개하고 있다. 글로벌 타임즈

5）SNS의 반응: 찬성파는 "사용자 보호", 우려파는 "통제와 위축"을 지적

이 뉴스가 해외의 SNS에서 확산되자, 반응은 크게 두 갈래로 나뉘었다.

① "규제는 너무 늦었다. 오히려 선진적"파

LinkedIn에서는, 미국 등에서 “규제는 혁신을 죽인다”는 논조가 강한 것을 감안하면서, 중국의 안은 안전, 설명 책임, 인간 중심을 전면에 내세우고 있다고 평가하는 게시물이 보인다. 예를 들어, 어떤 게시물은 "무규제를 주장하는 측이 있는 반면, 중국은 사회 전체의 AI 이용을 커버하는 초안을 내놓았다"고 하며, 규제의 지연을 문제시하고 있다. LinkedIn

이 입장에서는, "AI 동반자 의존"이나 "감정 조작"에 대한 대책은 세계적으로 필요하며, 규칙 만들기는 빠를수록 좋다는 목소리가 나오기 쉽다.

② "보호라는 이름을 빌린 감시 강화인가?"파

한편, Reddit 등에서는, “사용자를 보호하는 규제”와 “국가가 원하는 정보 통제”를 구분해야 한다는 논의가 일어나고 있다.
예를 들어 "중국은 AI나 테크 산업 전반에서 규제가 강하다"는 지적이나, 반대로 "공개용과 국가가 사용하는 것은 별개다"라는 의문이 제기되어, 규제의 목적 자체를 둘러싸고 공방이 벌어지고 있다. Reddit

또한, 다른 스레드에서는 "국가별로 “사상에 맞춘 AI”가 증가할 것"이라는, AI가 정치, 사회의 분단 장치가 되는 미래를 우려하는 목소리도 있다. Reddit

③ 공통된 논점: "투명성"은 최소 조건

입장은 달라도, "사용자에게 AI임을 알리는" 투명성은 중요하다는 점은 비교적 합의가 얻어지기 쉽다. China Daily도, 사용자에게 “AI와 대화하고 있다”고 명시하는 것을 요건으로 소개하고 있다. China Daily

그러나, Bloomberg 계열에서 보도된 "2시간마다의 알림"은, 투명성을 철저히 하는 한편 UX를 크게 변화시키기 때문에, "과도하다", "현실적으로 운영할 수 있는가"라는 반발도 앞으로 나올 것이다. Bloomberg.com

6）이 규제안이 세계에 던지는 질문

이번 초안은 단순히 “중국의 통제 강화”로 치부하기에는 논점이 많다. 포인트는 오히려, 감정에 기댄 AI가 “편리함&rdquo