AI 문장 감지의 최전선 ― 정확도 경쟁의 이면에 확산되는 학생과 교사의 불안

AI 문장 감지의 최전선 ― 정확도 경쟁의 이면에 확산되는 학생과 교사의 불안

AI가 작성한 글을 정말로 알아낼 수 있을까 - 검출 도구의 실력과 "오판"의 함정

생성 AI가 이메일, 보고서, 광고, 뉴스 기사까지 작성하게 되면서 "이 글은 누가 썼는가"라는 질문이 갑자기 중요해졌다. 이로 인해 존재감을 높이고 있는 것이 AI 텍스트 검출기이다. 글을 입력하면 몇 초 후에 "AI가 생성했을 가능성"을 퍼센트나 색상으로 표시한다. 교사는 제출물의 확인에, 편집자는 원고의 심사에, 기업은 외주 콘텐츠의 품질 관리에 사용할 수 있다. 편리함만 보면 AI 시대의 필수품으로 보일 수 있다.

하지만 화면에 표시되는 "87%"는 DNA 감정과 같은 저자 증명이 아니다. 글의 습관을 통계적으로 조사하여 학습된 인간 문서와 AI 문서 중 어느 쪽에 가까운지를 추정한 결과이다. 편리한 경보 장치가 될 수는 있어도, 단독으로 사람을 재판하는 판결문이 되지는 않는다. 이 차이를 이해하지 못한 채 도입하면, 부정을 놓칠 뿐만 아니라 아무것도 하지 않은 사람을 의심할 위험까지 생긴다.


AI 검출기는 무엇을 보고 있는가

많은 검출기는 단어 선택, 문장의 길이의 변동성, 반복, 구문, 다음에 올 단어의 예측 용이성 등을 단서로 삼는다. 대규모 언어 모델은 문맥에 이어질 것 같은 단어를 확률적으로 선택하여 문장을 구성한다. 이 때문에 매끄럽고 파탄이 적으며 일정한 조화가 계속되는 문장에는 기계 생성 같은 패턴이 나타날 수 있다.

자주 사용되는 개념이 "예측 곤란성"과 "변동성"이다. 전자는 다음 단어가 얼마나 예측하기 쉬운지를 나타낸다. 후자는 짧은 문장과 긴 문장, 쉬운 표현과 의외의 표현이 얼마나 뒤섞이는지를 본다. 인간은 중간에 말을 바꾸거나, 주제에 따라 리듬을 바꾸기도 한다. 한편, AI는 정돈된 평균적인 문장을 계속하기 쉽다 - 적어도 검출기는 이러한 경향을 포착하려고 한다.

하지만, 이것은 지문이 아니다. 같은 AI라도 모델, 지시, 온도 설정, 편집 방법에 따라 문체가 변한다. 인간도 법률 문서, 제품 사양, 정형화된 이메일, 학술 요약처럼 예측하기 쉬운 글을 쓴다. 글 교정 도구를 통해 표현의 흔들림이 줄어들 수도 있다. 검출기가 보고 있는 것은 집필 현장이 아니라 완성된 문자열뿐이다. 누가, 어느 단말기로, 어떤 절차로 작성했는지는 알 수 없다.


가장 큰 약점은 "AI다움"이 계속 움직인다는 것이다

검출 측이 AI의 특징을 배우면, 생성 측은 그 특징을 희석시킬 수 있다. 말 바꾸기, 어순 변경, 여러 번의 퇴고, 인간에 의한 추가를 하면 판정은 변할 수 있다. 연구에서는 재귀적인 말 바꾸기로 글의 품질을 크게 떨어뜨리지 않고 검출률을 낮출 수 있는 가능성이 제시되고 있다. 반대로, 인간의 글에 기계적인 특징을 추가하여 오인시키는 공격도 이론상의 문제가 된다.

즉, 검출은 고정된 가짜를 찾는 작업이 아니다. 생성 모델이 진화하고, 이용자의 편집 기술도 올라갈 때마다 기준이 달라지는 추적 게임이다. 어느 시점, 어느 모델, 어느 언어에서 높은 성적을 낸 검출기가 다른 조건에서도 같은 성능을 유지할 것이라고는 할 수 없다.

상징적인 것은 OpenAI의 대응이다. 이 회사는 2023년에 AI 글 분류기를 공개했지만, 평가용 영어 데이터에서는 AI 글을 "AI다움"으로 정확히 판정할 수 있었던 비율이 26%에 그쳤고, 인간의 글을 AI로 오인한 비율도 9%였다. 그 후 낮은 정밀도를 이유로 제공을 중단했다. 이 회사 자신도, 짧은 글, 영어 이외, 훈련 데이터와 다른 글에서는 신뢰성이 떨어지고, 주요한 의사 결정 수단으로 사용해서는 안 된다고 설명하고 있었다.

이는 "모든 검출기가 26%밖에 맞지 않는다"는 의미가 아니다. 제품마다 데이터도 평가 방법도 다르기 때문이다. 그러나 생성 AI를 개발하는 기업조차 범용적인 글 판정의 어려움에 직면한 사실은 무겁다.


오검출이 낳는, 보이지 않는 불공평

오검출은 단순한 숫자상의 실수가 아니다. 학교라면 성적이나 징계, 연구라면 신뢰, 작가라면 보수나 계약에 영향을 미친다. 특히 주의가 필요한 것은 영어를 모국어로 하지 않는 작가이다. 스탠포드 대학 등의 연구자에 의한 조사에서는 여러 검출기가 비원어민 화자의 영어 작문을 AI 생성으로 오인하기 쉬운 경향이 보고되었다. 어휘나 구문의 폭이 제한되어 글이 예측하기 쉬워지는 것이 한 원인으로 생각되고 있다.

이 문제는 일본의 이용자에게도 남의 일이 아니다. 많은 검출 기술은 영어 중심의 데이터로 개발되었고, 일본어로 동일한 성능이 검증되고 있다고는 할 수 없다. 일본어는 주어의 생략, 띄어쓰기의 부재, 경어, 한자와 가나의 혼재 등, 영어와는 다른 특징을 가지고 있다. 짧은 SNS 게시물이나 정형화된 비즈니스 문서에서는 판정 자료도 더욱 적어진다. "500단어 이상이면 안심"이라는 일률적인 기준도 언어와 제품을 넘어 보장되는 것은 아니다.

Turnitin도 AI 판정이 1~19%의 영역에서는 오검출이 비교적 많다고 하여, 현재는 구체적인 수치를 표시하지 않고 별표로 나타내고 있다. 이는 검출 서비스 측이 낮은 점수일수록 해석을 잘못하기 쉽다고 인정하는 예이다. 20%를 넘으면 자동적으로 부정이 확정되는 것도 아니다. 표시되는 비율은 대상이 되는 글 중 AI다움으로 추정된 부분의 비율이며, 저자가 AI를 사용한 확률과는 별개이다.


SNS에서는 "필요"와 "위험"이 정면으로 충돌

SNS나 게시판에서의 반응은 양극화되고 있다. 교육 관계자의 커뮤니티에서는 "대량의 제출물을 앞에 두고, 의심스러운 글을 좁히는 입구로서는 필요하다", "평소의 작문 능력과의 차이를 깨닫는 보조가 된다"며 검출기를 완전히 버리는 것에 대한 신중론이 있다. AI에 의한 베끼기가 실제로 증가하고, 교사가 하나하나 수작업으로 확인하는 부담도 무시할 수 없기 때문이다.

 

한편으로는 반발이 강하다. Reddit에는 교사가 자신이 쓴 글을 입력해도 AI 판정이 나왔다, 같은 글을 여러 서비스에 걸치면 0%에서 높은 비율까지 결과가 나뉘었다, 교정 도구를 사용한 것뿐인 글이 의심받았다, 등의 체험담이 나열되어 있다. 학생 측에서는 오판정에 대한 반증을 위해 편집 기록을 남겨야 한다, 무죄를 증명하는 측에 과도한 부담이 옮겨지고 있다는 불안이 이야기되고 있다.

흥미로운 것은 교사 측의 논의에서도 "점수만으로 고발하지 않는다"는 의견이 반복되고 있다는 것이다. 의심스러운 부분의 의미를 본인에게 설명하게 하거나, 참조한 자료를 묻거나, 초안이나 변경 기록을 확인하거나, 평소의 글과 비교하는 등의 방법이 제안되고 있다. 반대 방향의 실패도 있다. 명백히 평소와 다른 글인데도 여러 검출기가 0%를 반환했다는 상담도 있으며, 가양성뿐만 아니라 가음성에 대한 불신도 확산되고 있다.

물론, SNS 게시물은 통계 조사와는 다르며, 작성자의 주장이 사실로 확인되지 않을 경우도 있다. 그래도 "오판정되는 공포"와 "부정을 알아채지 못하는 초조함"이 동시에 존재한다는 것은 읽을 수 있다. 검출기를 둘러싼 대립은 기술의 정밀도뿐만 아니라, 누가 설명 책임을 지는가라는 제도 설계의 문제이기도 하다.


"AI 글은 SEO에서 벌을 받는다"는 단순화가 지나치다

AI 콘텐츠를 둘러싸고는 "검색 엔진은 AI가 썼다는 이유만으로 순위를 낮춘다"고 말해지는 경우가 있다. 그러나 Google의 공식 방침은 그렇게 단순하지 않다. 생성 AI는 조사나 독자 콘텐츠의 구성에 도움이 된다고 하면서, 문제가 되는 것은 이용자에게 부가가치가 없는 페이지를 대량 생성하는 등 스팸 정책에 저촉되는 운영이라고 한다. 중시되는 것은 정확성, 품질, 관련성이며, 제작 방법에 대해 적절한 배경을 제시하는 것도 권장되고 있다.

따라서 SEO 대책으로 검출 점수를 낮추는 것에만 집중하는 것은 본말전도이다. 글이 인간답게 보여도 사실이 틀리고, 독자 정보가 없고, 독자의 의문에 답하지 않으면 가치는 낮다. 반대로 AI를 사전 조사나 구성 보조에 사용하더라도, 전문가가 검증하고, 독자 취재나 경험을 더하고, 책임의 소재를 명확히 하면 독자에게 유용한 콘텐츠가 될 수 있다.


현장에서의 올바른 사용법 - 점수를 "입구"로 삼기

AI 검출기를 사용한다면, 목적을 "범인 찾기"가 아닌 "추가 확인이 필요한 부분을 찾는 것"에 두어야 한다. 실무에서는 다음과 같은 절차가 현실적이다.

첫째, 판정 대상과 조건을 기록한다. 서비스명, 실행일, 대응 언어, 입력한 범위, 글의 양을 남긴다. 검출 모델은 업데이트되기 때문에, 나중에 같은 결과가 나올 것이라고는 할 수 없다.

둘째, 점수의 의미를 확인한다. "AI 사용의 확률"인지, "AI다운 글이 차지하는 비율"인지는 제품에 따라 다르다. 숫자만 잘라서 비교해서는 안 된다.

셋째, 여러 증거를 조합한다. 초안, 메모, 취재 기록, 참조 URL, 판의 이력, 파일의 작성 시각, 본인에 의한 설명 등을 본다. 학교라면 학생에게 의심을 알리기 전에 반증의 기회와 불복 신청 절차를 준비할 필요가 있다.

넷째, 검출 결과와 품질 평가를 나눈다. AI다운지 여부와, 내용이 정확한지, 독창적인지, 독자에게 가치가 있는지는 별개의 축이다. 인간이 쓴 저품질 기사도 있고, AI를 보조로 사용하면서 인간이 책임을 가지고 완성한 유용한 글도 있다.

다섯째, 기밀 정보나 미공개 원고의 취급을 확인한다. 외부 서비스에 붙여넣기 전에, 저장 방침, 학습 이용, 삭제 조건, 조직의 정보 관리 규정을 확인한다. 검출을 위해 고객 정보나 연구 데이터를 누설해서는 의미가 없다.


검출보다 "제작 과정의 증명"으로

앞으로의 초점은 완성된 글만 보고 저자를 추리하는 방식에서, 제작 과정을 보여주는 방식으로 이동할 가능성이 높다. 편집 이력, 출처 관리, 전자 서명, 이력 정보, 조직 내의 AI 이용 신고 등을 조합하면, "AI인가 인간인가"라는 이분법보다 실태에 가까워질 수 있다. 현실의 글 제작은 AI가 구성안을 내고, 인간이 취재하고, 다른 도구가 교정하는 공동 작업이 되어가고 있기 때문이다.

물어야 할 것은 "한 글자라도 AI가 관여했는가"가 아니다. 어디에 AI를 사용하고, 누가 사실을 확인하며, 최종적인 책임을 누가 지는가이다. 교육에서도 AI를 전면 금지하고 검출 게임을 계속하는 것만으로는 학생이 점수를 회피하는 글쓰기를 배울지도 모른다. 오히려 사용 가능한 범위, 신고 방법, 평가 대상을 명확히 하고, 자신의 생각을 구두로도 설명할 수 있는 과제 설계가 중요해진다.

AI 검출기는 앞으로도 개선되어 특정 조건에서는 유효한 보조선이 될 것이다. 그러나 검출률이 올라가도, 사회적인 판단을 자동화해도 좋다는 것은 아니다. 몇 초 만에 나오는 수치보다, 시간을 들여 남겨진 제작 과정이 더 강한 증거가 될 수 있다.

우리가 지켜야 할 것은 모호한 "인간다움"이 아니다. 정보의 정확성, 독창성, 투명성, 그리고 책임이다. AI 시대의 신뢰는 기계에 들키지 않는 글에서가 아니라, 어떻게 만들고, 어떻게 확인했는지를 설명할 수 있는 글에서 나온다.


출처 URL

관련 기사