AI가 "벗기는" 시대에, 법률은 따라잡을 수 있을까 - Grok 봉쇄의 파문

"세계 최초의 Grok 차단" 인도네시아가 보여준 "비동의 딥페이크"에 대한 레드카드

인도네시아 정부가 일론 머스크의 AI 챗봇 "Grok"에 대한 접근을 일시적으로 차단했다. 그 이유는 명확하다. Grok이 다른 사람의 사진을 "옷을 벗기고" "성적으로 가공하는" 등 비동의 성적 딥페이크(non-consensual sexual deepfakes)의 생성 및 확산에 악용될 수 있다는 우려 때문이다. 정부는 이를 "인권과 존엄성, 그리고 디지털 공간의 시민 안전을 침해하는 심각한 문제"로 위치지으며, X 측 관계자를 소환하여 설명을 요구했다.

이 움직임이 주목받는 이유는 단순히 "한 국가가 특정 서비스를 차단했다"는 것이 아니다. 생성 AI에 의한 "비동의 성적 개조"가 이제 국경을 넘는 사회 문제로 부상하고 있으며, 규제 당국이 "방치하면 위험하다"고 판단하는 단계에 접어들었음을 보여주기 때문이다. 유럽에서도 당국이 X에 대해 Grok 관련 문서 및 데이터를 보존하라고 요구하는 등, 감시의 눈길이 강화되고 있다.

무슨 일이 일어났는가: "사진을 '가공'할 수 있는" 것이 순식간에 "공개 피해"로

이번 논점은 "생성할 수 있다"는 것 자체보다는, 생성의 경로가 극단적으로 짧고, 결과가 공개 공간에서 확산되기 쉬운점에 있다.

보도에 따르면, Grok은 X 상에서 이미지 생성 및 편집에 사용되며, 사용자가 다른 사람의 사진에 대해 옷을 제거하는 등의 개조를 요구하고, 생성물이 답장으로 공개되는 경우가 문제시되었다. 본인의 동의 없이 성적인 가공이 이루어지고, 제3자의 타임라인에서 반쯤 "구경거리"로 유통되는 구조다.

인도네시아의 담당 장관은 이러한 비동의 딥페이크를 강력한 언어로 비판하며, 사회적 약자가 되기 쉬운 여성이나 미성년자를 포함한 피해의 위험을 언급했다. 국내법상으로도, 외설 및 포르노로 간주되는 콘텐츠 유통에는 엄격한 규제가 있다.

기업 측의 대응: xAI는 "제한"을 진행하지만, 비판은 수그러들지 않아

xAI(Grok을 개발하는 기업)는 문제가 확산되는 가운데 이미지 생성 및 편집 기능을 제한하고, 적어도 일부 기능을 유료 사용자로 한정하는 조치를 진행했다고 보도되고 있다.

한편, 당국이나 피해자 측의 시각에서는 "사용한 사람이 잘못"이라는 것으로는 피해가 멈추지 않는다는 반발이 나오기 쉽다. 실제로, 말레이시아 당국은 대응이 사용자 신고에 의존하고 있어 충분하지 않다고 하며, 효과적인 기술적·운영상의 안전책이 마련될 때까지 제한을 계속할 자세를 보이고 있다.

머스크는 불법 콘텐츠를 만드는 자는 "불법 콘텐츠를 업로드한 것과 같은 결과가 될 것"이라는 취지의 발언을 X 상에서 했다고 보도되었다. 하지만, 피해 발생 속도와 확산 규모를 고려하면, "사후의 처벌"만으로는 구제가 따라잡지 못한다는 것이 많은 비판의 초점이다.

각국·각 방면의 반응: 유럽, 북유럽, 그리고 동남아시아로

이번 인도네시아의 차단은 국제적인 흐름의 일부이기도 하다. 유럽에서는 Grok을 둘러싼 감독이 강화되고, 스웨덴에서도 정치인이 표적이 되었다고 정부 수장이 "성적 폭력의 한 형태"라고 비난한 것으로 보도되고 있다.

그리고 동남아시아에서는 인도네시아에 이어 말레이시아도 Grok에 대한 접근을 일시 제한하고, 여성이나 미성년자를 포함한 "비동의의 가공 이미지" 생성이 반복되고 있는 점을 문제시했다.

이 연쇄는, **"AI 기능을 어떻게 멈출 것인가"뿐만 아니라, "플랫폼 설계로서 피해가 발생하기 어려운 구조로 만들 수 있는가"**가 묻히고 있는 것을 의미한다. 예를 들어, 생성물을 공개 답장으로 뿌릴 수 있는 설계는 악용의 "확산 버튼"이 되기도 한다. 규제 당국이 "설계·운영의 책임"을 강조하기 시작한 것은 그 이유가 있다.

SNS의 반응: 찬반이 갈리는 "규제인가, 검열인가"

SNS 상의 반응은 크게 세 가지 흐름으로 나뉘었다.

1) "차단은 당연"파: 피해의 심각성을 중시

Reddit 등에서는 "이런 '범죄 앱'은 각국에서 차단해야 한다"는 강한 표현으로 차단을 지지하는 목소리가 보인다.
또한, 해외 보도에서는 연말부터 연초에 걸쳐 "여성의 사진을 수영복화하는" 게시물이 급증하고, 단기간에 급격히 과격화되었다고 분석되고 있다. 피해자의 목소리가 가시화되면서, "방치해도 좋은 문제가 아니다"라는 분위기가 급속히 강해졌다.

2) "원래 엄격한 나라니까"파: 규제의 일관성이나 동기를 의심

한편으로, "인도네시아는 원래 포르노에 엄격하다" "이번 대응은 '새로운 문제에 대한 선진적 판단'이라기보다는 기존의 규제 방침의 연장선상에 있다"는 냉소적인 시각도 있다. Reddit 상에서도 "포르노가 전면적으로 금지된 나라다"는 문맥으로 이야기되는 댓글이 확인된다.

3) "임시방편·대증요법"파: 근본 해결이 되지 않는다는 비판

더욱이, xAI가 기능을 "유료로 제한"하는 움직임에 대해, "안전 대책이라기보다는 수익화가 아닌가" "피해를 막으려면 기술적 가드레일이 필요하다"는 의문도 쉽게 나온다. 말레이시아 당국이, 신고 중심의 대응을 "불충분"하다고 단정한 것은 이러한 비판과 이어진다.

인도네시아 국내에서 일어나고 있는 "현실": 아이돌 운영도 경고, 법 집행도 시야

인도네시아에서는 당국이 "행정 처분뿐만 아니라, 형사 책임의 가능성"도 시사하고 있다. 현지 매체는, 악용한 개인이나 기업 측이 처벌 대상이 될 수 있으며, 피해자는 신고를 권장받고 있다고 보도했다. 더 나아가, 현지의 인기 아이돌 그룹 운영이 "멤버에 대한 디지털 탈의"에 법적 조치를 취할 가능성을 경고했다고 전해지고 있다. 사회의 "당사자"가 직접 목소리를 내기 시작한 점은 놓칠 수 없다.

앞으로의 초점: "차단"만으로 끝나지 않는다

인도네시아의 판단은 단기적으로는 "불 끄기"로서 효과가 있을지 모른다. 그러나 장기적으로는 다음의 질문을 던진다.

• 플랫폼은 비동의의 성적 개조를 "만들 수 없고/확산할 수 없는" 설계로 만들 수 있는가

• 규제 당국은 삭제 요청·데이터 보존 명령·차단 등의 수단을 어떻게 구분하여 사용할 것인가

• 피해자 구제(삭제, 확산 억제, 법적 지원, 심리적 지원)를 어디까지 제도화할 수 있는가

이 문제가 까다로운 것은, "기술"이 가속적으로 진화하는 한편, "사회의 합의 형성과 법 정비"가 따라가기 어렵다는 것이다. 생성 AI는 본래 창작이나 비즈니스를 강력하게 지원할 수 있다. 하지만, **"타인의 존엄을 비용 없이 짓밟을 수 있는"** 방향으로 최적화된다면, 사회는 반드시 반발하고, 규제는 강해질 것이다.

인도네시아의 Grok 차단은 그 분기점을 보여주는 상징적인 사건이다. 다음으로 물어야 할 것은, 기업이 "화재 후의 임시방편"이 아니라, 설계 사상으로서 안전을 포함시킬 수 있는지 여부, 그리고 각국이 피해자의 입장에서 실효적인 규칙을 만들 수 있는지 여부이다.