AI 묵시록이 다가온다! 정전에서 핵 위기까지, 어디까지 현실로 일어날 수 있을까? 영국 신문의 "AI 종말 시나리오"를 읽다

AI 묵시록이 다가온다! 정전에서 핵 위기까지, 어디까지 현실로 일어날 수 있을까? 영국 신문의 "AI 종말 시나리오"를 읽다

오전 0시 2분, AI는 은행을 멈춰야 할까?

은행 송금 도중 화면이 멈췄다. 완료 표시가 나오지 않고, 상대방에게도 아직 도착하지 않았다. 다시 버튼을 누를지, 기다릴지. 단 한 건의 송금이라도 어디까지 처리가 진행되었는지 모르면 판단하기 어렵다. 이것이 은행이나 행정, 전력 회사의 시스템을 관리하는 입장이라면, 무엇을 먼저 확인할까.

2026년 11월 20일, 영국 데일리 메일의 가이 아담스 기자는 미국 동해안의 데이터 센터를 무대로, AI를 둘러싼 가상의 위기를 분 단위로 그려냈다. 제목에는 사라지는 도시의 불빛과 돈, 더 나아가 핵무기까지 등장한다. 그러나 이 이야기에서 가장 답답한 순간은 아직 아무것도 늦지 않은 것처럼 보이는 오전 0시 2분의 장면이다.


"데이터를 지켜라"와 "멈추지 마라"가 동시에 지켜지지 않는 밤

데이터 센터에서 소프트웨어의 결함이 발견된다. 대응을 맡은 AI에게는 고객의 기밀 데이터를 보호하는 것과 중요한 서비스를 계속 운영하는 두 가지가 요구되고 있다. 평소라면 어느 쪽을 목표로 해도 문제가 없다. 이 밤만은 사정이 다르다.

영향이 의심되는 부분을 일단 분리하면, 데이터를 보호한 상태에서 복구에 나설 수 있다. 한편, 그 설비에 의존하는 은행의 거래나 행정 서비스, 전력 공급에는 지장이 생길 수 있다. 이용자 입장에서는 결함을 알려주는 것만큼이나 필요한 때에 사용할 수 있기를 바란다. 어느 쪽의 주장에도 이유가 있다.

여기서 처음으로 두 가지 지시에서 빠져 있던 것이 보이기 시작한다. 데이터를 보호하기 위해서는 어떤 서비스를, 얼마나 오랫동안 멈춰도 되는가. 그 불이익을 감수하는 판단은 누가 하는가. 복구 방법을 아무리 빨리 찾아도, 이 질문에 대한 답은 계산 속도에서 나오지 않는다.


정전의 끝에 핵 위기를 그린 사람은 누구인가

아담스 기자는 전문가를 취재하고, 여러 AI에게도 위기가 어떻게 진행될지를 물어 이야기를 구성했다. 분 단위의 시간에는 다음 판단까지의 짧음을 독자에게 체험시키는 효과가 있다. 하지만 오전 0시 2분이라는 숫자는 실험에서 측정한 시간이 아니다. 정전이나 금융의 혼란을 거쳐 핵 위기에 이르는 전개도 기자가 선택한 줄거리다.

예를 들어, 은행의 거래가 멈추는 것까지는 여러 금융 기관이 같은 설비에 의존하고 있다는 설정으로 이해할 수 있다. 거기서 군사적 위기로 나아가려면, 누가 어떤 정보를 믿고, 어떤 권한으로 행동하는가라는 또 다른 설명이 필요하다. 하나 전의 사건에 현실성이 있다고 해서 다음 사건의 확률까지 높아지는 것은 아니다.

한편, 이야기의 배경에 있는 연구자의 우려는 현실적인 것이다. AI 안전성을 연구하는 폴 크리스티아노 씨는 최단·최속의 개발을 추구한다는 조건을 두고, 인간이 AI를 제어할 수 없게 될 가능성을 동전 던지기에 비유했다. 앞으로 3년을 내다본 개인의 평가이며, "3년 이내에 인류가 멸망할 확률은 50%"라고 읽어내면, 조건도, 예측하고 있는 사건도 달라진다.


SNS에서는 사고를 걱정하는 목소리, 기사의 독자들로부터는 펍의 농담도

영국 신문의 기사가 나오기 전부터, 크리스티아노 씨의 발언은 미국 게시판형 SNS인 Reddit에서 화제가 되고 있었다. 범용 인공지능을 논의하는 커뮤니티에서는 강력한 기술이 이렇게 빠르게 변하는 이상, 모든 것이 계획대로 진행된다고 생각하기 어렵고, 큰 사고도 일어날 것이라고 받아들인 사람이 있었다.

 

같은 발언을 다룬 다른 스레드에는 AI에 대해 이야기하는 사람은 그 기술이 누구의 손에 있는지를 충분히 고려하지 않는다는 취지의 게시물도 있었다. 전자가 걱정하는 것은 변화의 속도이고, 후자가 보는 것은 권한을 쥔 인간이다. 같은 경고를 들어도 떠오르는 위험은 다르다.

기사 자체에 대한 반응에는 더 힘을 뺀 것도 있다. 데일리 메일의 댓글란에서는 영국의 한 독자가, 적어도 경기가 끝날 때까지는 기다려 달라, 피난할 때는 편안한 펍이 좋다며 농담을 던졌다. 세계의 종말을 분 단위로 알리는 제목에 경기 종료 시각으로 응답한 것이다.


일본에서 송금이 도착하지 않았던 이틀간

이 이야기를 일본의 생활로 끌어들인다면, 핵의 위기보다 약속한 날에 돈이 도착하지 않은 아침이 더 상상하기 쉽다.

2023년 10월 10일부터 11일에 걸쳐, 전국 은행 데이터 통신 시스템(전은 시스템)에서 장애가 발생하여 일부 금융 기관에서 타행으로의 송금이나 입금이 지연되었다. 전국 은행 협회가 그 후에 공표한 합의에는 지연으로 인해 이용자가 추가로 지불한 수수료나 연체금, 지연 손해금, 이자가 보상의 대상 예로 나열된다.

이 사례에서 일어난 것은 보낸 돈이 예정된 시각에 도착하지 않는 것이었다. 계좌의 기록이 사라지는 것과는 다르다. 그럼에도 불구하고, 오늘 중에 지불하기로 약속한 사람에게는 내일 도착한다는 것만으로도 실질적인 피해가 발생한다. "돈이 사라진다"는 큰 말로는 보이지 않는 것은 이러한 하루의 무게다.

영국 신문이 그린 밤으로 돌아가자. 오전 0시 2분의 담당자에게 필요한 것은 인류의 결말을 맞추는 능력일까. 그보다 먼저 알고 싶은 것은 지금 멈추면 누가 곤란해지는가, 계속하면 어떤 기록이 위험해지는가, 그리고 이용자에게 언제 확실한 것을 전할 수 있는가이다. 송금을 앞두고 화면을 바라보는 사람에게 가장 먼저 원하는 답은 아마도 하나일 것이다. "이 송금을 다시 해야 합니까?"


출처