AI 규제의 맹점: AI가 몇 초 만에 작성한 자료를, 누가 몇 주씩 걸려 확인할 것인가

AI 규제의 맹점: AI가 몇 초 만에 작성한 자료를, 누가 몇 주씩 걸려 확인할 것인가

194건의 인용 중 주장에 근거한 것은 50건

회의 자료에 "국내 기업의 7할이 도입"이라고 적혀 있다. 각주를 누르면, 확실히 조사 보고서가 열렸다. 그런데 원래 질문을 읽어보니, 물어본 것은 "도입을 검토하고 있습니까"였다. "7할"이라는 숫자도, 조사 이름도 맞다. 그래도 이 문장을 그대로 회의에서 사용하면, 검토 단계의 기업까지 도입 완료로 계산하게 된다.

AI가 작성한 문서의 출처를 확인하는 것은 이러한 동사 하나의 차이까지 읽는 것이다. 그 수고를 실제로 맡은 것은 인도의 조사 기관 "Oryx Centre for Strategic Futures"를 설립한 아말티야 쿠마르 씨와 공동 창립자인 리야 날와 씨였다.

쿠마르 씨가 2026년 11월 18일, 호주의 언론지 『On Line Opinion』에 기고한 논고에 따르면, 두 사람은 몇 주에 걸쳐 AI가 생성한 조사 자료 30개의 인용을 하나씩 점검했다. 대조한 것은 자료에 적힌 주장과 그 바로 옆에 첨부된 출처였다.


인용을 추적한 결과건수
페이지 이동 등으로 링크된 자료에 도달할 수 없었다95건
출처가 본문의 주장을 뒷받침했다50건
출처는 실재했지만, 적혀 있는 내용이 주장과 상충했다17건
확인할 수 없었다31건
링크의 기재가 없었다1건
합계194건

두 사람이 근거를 확인할 수 있었던 비율은 약 26%였다. 남은 약 74%에는 링크 끊김이나 확인 불가능도 포함된다. 페이지가 이동했을 뿐, 원래의 기술은 정확했을 가능성도 있다. 숫자는 저자들이 조사한 30개에 대한 집계이며, 생성 AI 전체의 정답률을 나타내는 것은 아니다.


가장 알아차리기 어려운 것은 열어버리는 링크

목록 중에서 멈추고 싶은 것은 17건이다. 링크가 끊겼다면, 그 자리에서 독자는 "확인할 수 없다"고 깨닫는다. 한편, 실재하는 연구 기관의 페이지가 열리고, 본문과 비슷한 말이 나열되어 있으면, 거기서 확인을 끝내고 싶어진다. 처음의 예라면, "7할"을 페이지 내 검색해서 같은 숫자가 발견된 순간이다.

인용의 오류에는 별개의 단계가 있다. 애초에 논문이 존재하는가. 저자나 게재지는 맞는가. 그리고 그 논문에서 눈앞의 결론을 도출할 수 있는가. 처음 두 가지를 통과해도, 마지막에서 걸릴 수 있다.

2023년에 학술지 『Scientific Reports』에 게재된 연구는, 이 중 문헌의 실재와 서지 정보에 초점을 맞췄다. 연구자가 당시의 ChatGPT에 42개의 테마로 문헌 리뷰를 작성하게 하고, 총 636건의 참고 문헌을 점검하니, 가상의 문헌은 GPT-3.5에서 55%, GPT-4에서 18%였다. 게다가 GPT-4에서는,실재한 문헌에 한정해도 24%에 중요한 서지상의 오류가 있었다. 모델도 과제도 쿠마르 씨 등의 조사와는 다르지만, "진짜 논문이 섞여 있다"는 것을, 참고 문헌 목록 전체의 신뢰의 근거로 할 수 없다는 것을 알 수 있다.


SNS에서 도서관 사서가 말한 "두 논문에 걸친 페이지"

이 문제가 도서관 카운터에 어떻게 가져오는지. 원 기사의 게재에 앞서 2025년 6월, 해외 게시판 Reddit의 도서관 커뮤니티에는, AI가 추천한 책이나 논문을 찾은 경험이 공유되었다.

 

어느 게시자가 교수로부터 조회를 받은 논문에는, 실재하는 연구자의 이름과 학술지명이 있고, 권호와 간행 시기도 맞았다고 한다. 그런데 지정된 페이지를 열어보니, 거기에 실려 있던 것은, 어떤 논문의 말미와 다음 논문의 서두였다. 출처를 물어본 교수는, ChatGPT에 다시 물어보고 실재한다는 답변을 받았다고 답했다고 한다. 다시 물어봐도 같은 답이 돌아오는 것과, 잡지를 열어 확인하는 것의 차이가, 이 몇 페이지에 나타나 있다.

다른 스레드에서는, 어느 게시자가, 이용자에게 저자의 작품 목록을 보여주며 함께 서명을 확인한 경험을 소개하고 있다. AI가 제시한 제목은, 그 작가의 실재하는 두 작품의 제목 일부와, 이용자가 검색 시 사용한 단어를 조합한 것처럼 보였다고 한다. 저작 목록을 함께 본 이용자는 납득했다고 한다.

모두 개인의 체험담이지만, 거기에는 조사의 건수로는 보이지 않는 부담이 있다. 그럴듯한 서명을 하나 만드는 것은 한순간이라도, 그것이 발견되지 않는 이유를 설명하는 사람은, 저작 목록을 조사하고, 잡지의 현물을 열고, 때로는 상대와 함께 페이지를 넘긴다.


일본의 회의 자료라면, 처음에 어느 한 문장을 확인할 것인가

쿠마르 씨가 AI를 둘러싼 각국의 제도를 논하면서 제기한 것은, 매우 실무적인 질문이었다. 안전 방침을 만들고, 문제가 발생했을 때의 보고처를 정해도, 오늘 배포되는 자료의 각주는, 도대체 누가 열어볼 것인가.

일본의 직장이라면, 먼저 "이 문장이 틀렸다면, 회의의 결론이 바뀌는가"라고 생각하면, 확인의 순서가 보이기 쉽다. 처음의 "7할"을 근거로 투자를 서두르는 제안이라면, 담당자가 열어야 할 곳은, 보고서의 표지보다도, 그 숫자를 낳은 질문문과 집계표다. "국내 기업"이라고 쓸 수 있는 표본인가. "도입 완료"와 "검토 중"은 별개의 선택지인가. 거기까지 읽으면, 자료에 남길 수 있는 한 문장이 결정된다.

학교의 리포트에서도 같은 것을 할 수 있다. 참고 문헌란에 논문명을 옮기기 전에, "자신의 이 문장을 지지하는 것은, 논문의 몇 페이지의, 어떤 기술인가"를 여백에 적어본다. 해당 부분이 발견되지 않으면, 주장을 원문으로 말할 수 있는 범위까지 좁힌다. 출처를 열어본 덕분에 문장이 조금 수수해졌다면, 그 수정에야말로, 확인한 가치가 있다.


출처