AI의 오보로 "중국 선박에 돌입" 직전 - 전쟁을 초래할 수 있는 "그럴듯한 오류"

미국의 분석관이 AI에게 선박의 화물에 대해 물었다. AI는 그것이 핵무기 계획과 관련된 부품이라고 판단했다. 그 내용을 바탕으로 정보 보고서가 작성되었고, 부대는 중국 선박에 대한 진입을 준비하기 시작했다.

그러나, 전제된 정보는 잘못된 것이었다.

보도에 따르면, 작전은 실행 직전에 중단되었다. 인간이 마지막에 오류를 발견했기 때문에 무력 충돌로 이어지지 않았지만, 안심할 수 있는 재료라고 부르기에는 너무 위험했다. 잘못된 결론이 단순한 초안이나 책상 위의 메모에 그치지 않고, 병사와 항공기를 움직이는 단계까지 도달했기 때문이다.

이 사건이 보여주는 진정한 문제는 "AI는 실수한다"는 알려진 약점만이 아니다. AI의 추측이 어떻게 "신뢰할 수 있는 정보"의 외관을 갖추고 조직의 지휘 계통을 통과했는가. 그 과정에야말로 군사 이용뿐만 아니라, 행정, 의료, 금융, 보도 등에서 AI를 사용하는 모든 조직에 공통되는 위험이 있다.

중국 선박은 무엇을 운반하고 있었는가

stern과 AFP가 전한 CNN의 보도에 따르면, 문제는 2026년 봄, 미국과 이란을 둘러싼 군사적 긴장 속에서 발생했다. 미국의 특수 작전 부대와 관련된 분석관이 선박의 화물에 관한 정보를 AI 챗봇으로 조사한 결과, 시스템은 핵무기용 부품이 적재되어 있다는 결론을 제시했다고 한다.

AI는 공개 정보와 정보 기관이 보유한 데이터를 결합하여 잘못된 관련성을 만들었다고 한다. 더욱이 분석관은 AI를 사용하여 보고서를 작성하고, 그것을 관련 부서에 전달했다. 즉, AI는 첫 번째로 "분석"에서 실수하고, 두 번째로는 그 실수를 "정리된 보고서"로 변환하는 역할을 했을 가능성이 있다.

여기서 중요한 것은, 현재 시점에서 확인할 수 있는 사실의 한계다. 대상이 된 선박의 이름, 실제 화물, 목적지, 사용된 챗봇이 상용품인지 정부 내부의 제품인지는 밝혀지지 않았다. 미군과 국방 당국도 보도 시점에서 세부 사항을 설명하지 않았다. 따라서 "AI가 자율적으로 공격 명령을 내렸다"거나 "핵무기 자체를 적재했다"는 해석은 지나치다.

한편, 미군이 선박에 대한 진입을 준비하고, 여러 관계자에 따르면 항공기가 이미 비행하고 있었다는 증언이 사실이라면, 잘못된 정보가 현실의 군사 행동에 상당히 가까운 단계까지 진행된 것이 된다. 중국 국적의 선박에 미군이 탑승하면, 설령 총격이 발생하지 않더라도, 주권 침해나 항행의 자유를 둘러싼 심각한 외교 문제가 될 수 있다. 현장에서 저항이나 오발이 발생하면, 위기는 단시간에 확대될 수 있다.

왜 AI의 실수가 "믿을 수 있는 보고서"가 되었는가

생성 AI는 모르는 것을 솔직히 "모른다"고 답하지 않을 수 있다. 단편적인 정보에서, 확률적으로 그럴듯한 설명을 구성한다. 문장이 유창하고, 전문 용어나 정리된 구성을 갖추고 있을수록, 독자는 내용 자체까지 올바르다고 느끼기 쉽다.

이번 보도가 심각한 것은, 이 "그럴듯함"이 이중으로 작용했을 가능성이 있는 점이다.

첫 번째 단계에서는, 챗봇이 화물에 관한 단편을 연결하여, 핵무기 부품이라는 잘못된 의미를 부여했다. 다음 단계에서는, AI가 그 결론을 정보 보고서 같은 문장으로 정리했다. 추측은, 서식과 문체를 얻음으로써 사실처럼 보인다. 독자가 원자료까지 돌아가지 않으면, 추측과 확인된 정보의 경계는 사라진다.

인간이 쓴 보고서에도 오류는 있다. 그러나, 생성 AI를 사용하면, 짧은 시간에 대량의 문서를 만들 수 있을 뿐만 아니라, 같은 오류를 요약, 번역, 보고서, 설명 자료로 고속으로 복제할 수 있다. 오류 발생 확률뿐만 아니라, 오류가 조직 내를 이동하는 속도가 변한다.

이는 "AI 대 인간"의 문제가 아니다. AI의 출력을 받은 인간이, 출처, 정확도, 반대 증거를 확인하지 않은 채, 다음 사람에게 넘겨버리는 "인간과 AI의 연쇄"의 문제다.

SNS에서는 "AI 공포론"뿐만 아니라, 조직의 책임을 묻는 목소리

이 뉴스를 다룬 해외 게시판이나 SNS에서는, 강한 불안과 풍자가 확산되었다. 공개 게시물에서 보이는 반응은 주로 네 가지 논점으로 나뉜다. 단, 이는 공개 범위에서 확인된 게시물의 질적 정리이며, 여론 조사와 같은 대표성은 없다.

첫째는, "언어 모델을 군사 행동 근처에 두어서는 안 된다"는 경계다. 핵무기 시스템까지 같은 발상으로 연결되는 미래를 두려워하는 게시물이나, 예측 문장을 적대 행동의 근거로 삼는 위험성을 지적하는 목소리가 잇따랐다. AI가 스스로 반란을 일으키는 것이 아니라, 인간이 편리함을 우선하여 중요한 판단을 맡김으로써 위기가 발생한다는 시각이다.

둘째는, "AI보다 지휘 계통의 실패가 문제다"라는 비판이다. 원 데이터를 확인하지 않은 채 보고서가 올라가고, 부대가 움직이기 시작했다면, 책임을 챗봇에만 돌려서는 안 된다는 의견이 두드러졌다. AI의 이용을 명시하는 시스템, 보고서의 근거를 추적할 수 있는 감사 기록, 독립된 분석관에 의한 재확인이 없었던 것이 아닌가 하는 의문이다.

셋째는, "마지막에 멈췄으니, 검증 프로세스는 기능했다"는 반론이다. 위협이 진짜였을 경우에 대비하여 부대를 준비하면서, 병행하여 정보를 재검증하고, 오류가 밝혀져 중단했다면, 위기 대응으로서 일정한 합리성이 있다는 시각도 있었다.

다만, 이 반론에 대해서는, "검증은 항공기나 병사를 움직이기 전에 해야 했다"는 재반론이 나오고 있다. 준비 행동 자체가 상대방에게 탐지되어, 오해나 대응 조치를 유발할 가능성이 있기 때문이다. 군사 세계에서는, 최종 명령만이 신호가 아니다. 부대의 이동, 항공기의 발진, 통신량의 증가도, 상대방에게는 의도를 해석하는 자료가 된다.

넷째는, "AI 이용의 표시"를 요구하는 목소리다. 보고서의 어느 부분을 AI가 생성하고, 어떤 정보원에 근거하며, 어느 정도의 확신도였는지를, 의사 결정자가 한눈에 확인할 수 있도록 해야 한다는 지적이다. AI를 사용한 것 자체보다도, 그것이 보이지 않은 채 인간의 분석과 같은 취급을 받는 것이 위험하다는 문제의식이다.

"인간이 최종 판단"만으로는 충분하지 않다

AI 거버넌스에서는, 종종 "최종 판단은 인간이 한다"는 말이 사용된다. 하지만, 이번 사례는 그 말만으로는 안전을 보장할 수 없다는 것을 보여주고 있다.

최종 승인자가 인간이라도, 입력되는 보고서가 AI에 의해 왜곡되고, 그 사실이 보이지 않으며, 검증 시간도 부족하다면, 인간은 실질적으로 AI의 결론을 추인하는 것에 불과하다. 형식상으로는 인간이 판단하고 있어도, 판단의 선택지와 전제를 AI가 만들고 있기 때문이다.

필요한 것은 "human in the loop"라는 간판이 아니라, 인간이 정말로 이의를 제기할 수 있는 설계이다. 구체적으로는, 적어도 다음 조건이 필수적이다.

• AI를 사용한 부분과 사용하지 않은 부분을 명시한다

• 원자료, AI에의 입력, 출력, 편집 이력을 나중에 추적할 수 있도록 한다

• AI와 독립된 경로로 중요한 사실을 대조한다

• 무력 행위로 이어질 정보에는 여러 사람의 확인을 필수로 한다

• 확신도가 낮은 정보를, 단정문으로 변환하지 않는다

• 반대 가설을 검토하는 담당자를 둔다

• 긴급 시에도 생략해서는 안 되는 확인 항목을 정해둔다

• 오류가 밝혀졌을 때, 어디까지 배포되었는지를 즉시 추적하여 철회한다

AI의 정확도를 높이는 것만으로는 충분하지 않다. 아무리 고성능 모델이라도, 오류가 제로가 될 보장은 없다. 오히려 능력이 높아지고, 문장이 자연스러워질수록, 인간은 경계를 풀기 쉽다. 안전성은 모델 단독의 성능이 아니라, 사용하는 조직의 절차와 책임의 소재에 의해 결정된다.

일본에 있어 "먼 바다의 실패"가 아니다

일본은 미중 대립의 외부에 있는 관찰자가 아니다. 동중국해, 센카쿠 제도 주변, 대만 해협, 남서 제도는, 평시부터 함선이나 항공기가 접근하여, 상대방의 의도를 짧은 시간에 판단해야 하는 공간이다. 그곳에서는, 선박 종류의 식별, 항적의 분석, 전파 정보, 위성 이미지, 공개 정보 등, 방대한 데이터의 처리에 AI가 도움이 될 가능성은 크다.

인력 부족이 진행되는 일본에서는, AI나 무인화에 대한 기대도 크다. 방위성은 기지 경비 등에 AI 도입이나, 인력 절감된 장비의 활용을 추진해왔다. 제한된 인원으로 감시 범위를 넓히는 것은 합리적인 방향이며, AI 자체를 배제하면 되는 것이 아니다.

하지만, 일본 주변에서는 한 번의 오인이, 미일 동맹을 통해 더 큰 대립으로 연결될 가능성이 있다. 예를 들어, AI가 선박의 장비나 행동을 적대적으로 오인하고, 그 평가가 공유 시스템을 통해 미일의 여러 부대로 확산되면, 잘못된 정보의 정정보다 먼저 경계 태세가 강화될 수 있다. 상대방도 그 움직임을 탐지하고, "공격 준비"로 해석하면, 서로의 방어 행동이 상대방에게는 공격 준비로 보이는 "안보 딜레마"가 가속된다.

일본이 중시해야 할 것은, AI를 도입할지 여부라는 이분법이 아니라, 어느 판단까지를 AI에 맡기고, 어느 단계부터 독립된 인간의 확인을 필수로 할 것인가라는 경계선이다. 특히, 대상 식별, 무기와의 관련성, 적대 의도의 추정, 무력 행사의 필요성이라는 네 가지는, 같은 AI의 출력을 연쇄적으로 사용해서는 안 된다.

동맹국에서 온 정보에 대해서도, "미국 측에서 확인 완료"라고 생각하고 자동적으로 신뢰하는 것은 위험하다. AI 이용 여부, 정보원의 수, 확신도, 반대 정보, 최종 갱신 시각을 공유하는 공통 규칙이 필요하다. 공동 작전의 고속화가 진행될수록, 확인의 공통 언어도 정비해야 한다.

속도를 겨루는 군사 AI가 만드는 "검증의 부채"

군사 조직이 AI에 기대하는 큰 이유 중 하나는, 의사 결정을 빠르게 할 수 있다는 것이다. 상대보다 빨리 발견하고, 이해하고, 결정하고, 행동한다. 그러나, 속도를 높일수록, 확인에 사용할 수 있는 시간은 짧아진다.

여기에 "검증의 부채"가 생긴다. AI로 분석 시간을 단축해도, 출력의 근거를 나중에 인간이 다시 조사한다면, 그 확인 작업은 사라진 것이 아니라, 후단에 밀려난 것뿐이다. 게다가, 부대가 이미 움직인 후에는, 오류를 수정하는 비용도 위험도 커진다.

정말로 필요한 것은, 확인을 생략하여 빠르게 하는 시스템이 아니라, 확인 가능성을 유지한 채 빠르게 하는 시스템이다. 출처가 자동 표시되고, 모순되는 정보가 나란히 제시되며, 불확실성이 수치나 단계로 표시된다. 중대한 결론에는, 다른 모델과 다른 담당자에 의한 대조가 자동으로 요구된다. 이러한 설계가 아니면, AI는 의사 결정을 고속화하는 도구가 아니라, 오해를 고속 배송하는 장치가 되어버린다.

문제되는 것은, AI의 지능보다 인간의 통치 능력

이번 사건은, 이른바 초지능이 인류를 지배한다는 먼 미래의 이야기가 아니다. 현재의 AI가 만든 그럴듯한 오류를, 바쁜 인간과 복잡한 조직이 믿어버리는, 극히 현실적인 위기이다.

작전이 중단된 사실은, 인간의 재확인이 마지막 방파제가 되었다는 것을 보여준다. 동시에, 그 방파제가 작전 직전까지 작동하지 않았다는 의혹도 보여준다. 다음에도 같은 방식으로 제때에 도착할 보장은 없다.

AI를 사용하지 않는 세계로 돌아가는 것은 현실적이지 않다. 그렇기 때문에, AI의 출력을 의심하는 것을 개인의 주의력에 맡기지 않고, 조직의 제도에 내재화할 필요가 있다. 중요한 것은 "누가 마지막에 버튼을 누르는가"만이 아니다. 누가 근거를 확인하고, 누가 이의를 제기하고, 누가 중지할 수 있는가. 그리고 잘못했을 때, 누가 설명 책임을 지는가이다.

일본에 필요한 것도, AI 도입의 속도를 겨루는