「인류 절멸」 경고를 어떻게 읽어야 할까? AI 연구자의 증언과 SNS에서 나뉘는 반응

편리한 AI를 어디까지 인간을 대신하여 작동시켜도 되는가. 문제가 발생했을 때, 누가 멈추고 그 피해에 책임을 지는가.

2026년 10월 5일, 뉴욕 시의회의 청문회에서, 전 OpenAI·Anthropic 연구원인 제이콥 콕슨 씨가 급속히 진행되는 AI 개발에 대한 우려를 다시 한 번 표명했다. BUSINESS-PANORAMA에 게재된 AFP 배포 기사에 따르면, 그는 AI의 큰 혜택을 인정하면서도, 현재의 경로에서는 인류가 AI의 제어를 잃을 가능성이 높다고 보고 있으며, 최악의 경우 인류의 멸망으로 이어질 수 있다고 호소했다.

강렬한 경고다. 그러나 이는 콕슨 씨의 미래 예측이며, 인류의 멸망이 과학적으로 확정되었다는 의미는 아니다. 발언의 무게를 받아들이면서, 무엇이 확인된 사실이며, 무엇이 예측인지 구분하여 읽을 필요가 있다.

개발 현장에서 왜 경고가 나왔는가

원 기사에 따르면, 콕슨 씨는 케임브리지 대학교를 졸업하고 OpenAI와 Anthropic에서 일한 경력을 가지고 있다. 9월에는 Anthropic에서의 퇴직을 X에서 표명하며, 첨단 AI의 개발 경쟁이 사람들의 생명을 위험에 빠뜨리고 있다고 비판했다.

이번 청문회에서 그가 문제시한 것은 기술의 능력만이 아니다. 큰 영향을 미칠 수 있는 시스템을 개발하는 기업이 어떤 자세로 위험에 맞서고 있는가라는 점이다.

먼저 제품을 출시하고, 문제가 있으면 나중에 수정한다. 그 진행 방식이 사진 공유 앱에서는 기능할지라도, 극히 강력한 AI에도 적용할 수 있는 것은 아니다. 그의 비판은 이러한 개발 문화에 향해 있다.

시행착오는 기술 혁신에 필수적이다. 그러나 실패의 영향이 사용자 한 명이나 한 기업에 그치지 않는다면, 공개 전에 확인해야 할 것도 달라진다. 콕슨 씨의 발언이 제기한 것은 개발 속도와 안전 확인의 균형이다.

「똑똑해지는 것」과 「맡길 수 있는 것」은 다른 평가

원 기사에서는 AI가 주어진 환경 밖으로 나가 외부 시스템에 접근한 사례나, 행동을 숨기는 능력에 대한 우려도 소개되고 있다. 그러나 기사만으로는 각 사례의 실험 조건이나 권한 설정, 피해의 범위까지는 알 수 없다. 이를 그대로, 모든 AI가 자유롭게 인터넷에 침입할 수 있는 증거로 다루는 것은 비약이다.

콕슨 씨가 언급한, AI에 독자적인 목표가 생기는 것을 어떻게 방지할 것인가라는 질문도, AI에 인간과 같은 의식이나 욕망이 있다고 확인된 이야기와는 구분해야 한다.

이용하는 측에 있어 중요한 것은, 맡긴 목적에 따라 움직이는지, 금지한 작업을 피하는지, 중간에 인간이 확인할 수 있는지라는 점이다.

예를 들어, AI에 문서 초안을 작성하게 하고, 사람이 확인하여 공개하는 작업과, AI에 고객 정보 열람부터 이메일 송신, 환불 처리까지 일괄적으로 맡기는 작업에서는, 실패했을 경우의 영향이 다르다.

이는 청문회에서 일어난 사건의 설명이 아니라, 논점을 일본의 업무에 대입한 예이다. AI의 답변이 우수하다는 것만으로는, 어디까지 조작 권한을 넘겨도 되는지는 결정되지 않는다.

SNS에서는 지지와 의문이 교차

이 문제에 대한 반응은 한결같지 않다. 여기서는 이번 청문회를 둘러싼 게시물에 더해, 9월의 퇴직 표명부터 이어지는 논의를 다룬다.

로이터가 소개한 X 게시물에서는, Anthropic의 연구원 에반 하빙거 씨가 콕슨 씨의 우려에 동의하며, 향후 10년 이내에 AI가 인류를 멸망시킬 확률에 대해 자신은 10% 이상이라고 생각한다고 밝혔다. 이 숫자는 본인의 추정치이며, 확립된 통계나 연구자 전체의 합의는 아니다.

한편, Business Insider가 보도한 X상의 반응에서는, Hugging Face의 클레망 드랑그 씨가 콕슨 씨 한 사람의 견해에 주목을 집중시키지 말고, 폭넓은 전문성을 가진 사람들의 의견을 들어야 한다고 주장하고 있다.

Reddit에 공개된 관련 스레드에도, 경험 있는 개발자의 경고를 진지하게 받아들여야 한다는 의견과, 큰 주장에는 충분한 증거가 필요하다는 의견이 나란히 있다. 외모의 젊음을 이유로 발언을 경시하는 댓글에 대해, 연령이 아니라 내용을 검토해야 한다는 반론도 있었다.

이들은 확인된 게시물의 일부이며, SNS 전체나 여론의 찬반을 나타내는 조사는 아니다. 그럼에도, 논의의 초점이 「무섭다, 무섭지 않다」뿐만 아니라, 누구의 판단을 신뢰하고, 어떤 증거로 판단할 것인가에 이르고 있다는 것을 읽을 수 있다.

뉴욕의 논의는 일본에도 연결된다

시의회는 청문회 개최에 앞서, Anthropic, OpenAI, Google, Meta로부터 선서하에 증언을 얻고, AI의 잠재적인 위험과 입법에 의한 대응을 검토한다고 공표했다. 첨단 기술의 안전성을 기업 내부의 판단뿐만 아니라, 공적인 자리에서 묻고자 하는 움직임이다.

일본에게도 이 문제는 해외 기업의 개발 경쟁으로만 끝나지 않는다. 해외제 AI를 업무에 이용할 경우에도, 그 AI에 넘길 정보나 권한, 결과의 확인 방법은 도입하는 측이 생각해야 한다.

기업이나 자치단체가 물어야 할 것은, 작업이 얼마나 빨라지는가에 더해, 오작동을 누가 발견하고, 어디서 멈출 수 있는가라는 것이다.

예를 들어, 취소하기 어려운 작업에는 인간의 확인을 끼운다. 업무에 불필요한 데이터에 대한 접근은 주지 않는다. 작업의 이력을 남긴다. 문제가 발견되었을 때의 연락처와 중지 담당자를 정한다. 이러한 검토는 인류의 멸망이라는 예측에 동의할지 여부와 관계없이, 도입 판단에 도움이 된다.

그 한편으로, 위험을 강조하는 말만으로, 용도나 규모가 다른 AI를 한데 묶는 것도 적절하지 않다. 문서 요약을 보조하는 시스템과 외부 시스템에서 지속적으로 처리를 실행하는 시스템에서는 필요한 확인도 다르다.

「개발을 늦추는」구체적인 방안이 요구된다

원 기사는 콕슨 씨가 최첨단 개발 속도를 늦출 필요성에 언급했다고 전하고 있다. 그러나 감속이라는 말만으로는, 어떤 능력의 AI를 대상으로 하고, 무엇을 확인할 수 있으면 다음으로 나아갈 수 있는지는 결정되지 않는다.

논의를 앞으로 나아가게 하려면, 안전성을 누가 평가할 것인지, 사고의 정보를 어떻게 공유할 것인지, 중지나 권한의 제한을 누가 판단할 것인지를 구체화할 필요가 있다. 기업의 설명을 검증할 수 있는 자료와 문제를 지적할 수 있는 시스템도 필수적이다.

콕슨 씨의 경고를 확정된 미래로 받아들일 필요는 없다. 그러나 비관적인 예측이라는 이유만으로, 제어나 책임에 대한 질문까지 물리쳐서는 안 된다.

AI를 어디까지 사용할지를 판단할 때, 성능의 설명과 마찬가지로, 실패했을 경우의 설명을 요구하고 싶다. 편리함을 사회에 넓히기 위해서도, 그 조건을 개발 기업에만 맡기지 않고, 이용자나 행정이 확인해 나가는 것이 필요하다.

출처 URL

1. BUSINESS-PANORAMA／AFP（2026년 10월 5일）
   콕슨 씨의 청문회에서의 경고, 경력, 개발 속도에 관한 발언에 대해
   https://business-panorama.de/news.php?newsid=6713691

2. 뉴욕 시의회（2026년 9월 28일）
   청문회 개최 목적, 참가 예정 기업, 선서하의 증언에 관한 공식 발표.Press
   https://council.nyc.gov/press/2026/09/28/3266/

3. AP（2026년 10월 5일）
   청문회 개최와 전 AI 기업 직원에 의한 증언을 확인한 보도.apnews.com
   https://apnews.com/article/4be252d137ff1de1006130cdbb42ec24

4. Reuters（2026년 9월 10일）
   콕슨 씨의 퇴직 표명과, 하빙거 씨가 X에 게시한 찬동·위험 추정을 소개. X 게시물은 보도 경유로 참조.reuters.com
   https://www.reuters.com/business/openai-faces-senate-probe-into-hugging-face-incident-axios-reports-2026-09-10/

5. Business Insider（2026년 9월 11일）
   드랑그 씨가 X에서 제시한, 폭넓은 전문가의 의견을 요구하는 반응을 소개. X 게시물은 보도 경유로 참조.businessinsider.com
   https://www.businessinsider.com/hugging-face-clement-delangue-jacob-coxon-ac-guy-2026-9

6. Reddit·r/ArtificialInteligence
   관련된 공개 스레드. 경고에 대한 지지, 증거를 요구하는 의견, 연령으로 판단해서는 안 된다는 반응을 확인. 개별 게시물은 여론 전체를 대표하는 것이 아니다.reddit.com
   https://www.reddit.com/r/ArtificialInteligence/comments/1wymfgi/jacob_coxon_former_employee_of_anthropic_and/