"AI가 인류를 구하기 전에 통제를 잃을 것인가" 개발 현장에서 터져 나온 '감속론'

퇴직 게시물이 회사 내 불안을 외부로 방출했다

인공지능의 미래를 둘러싼 논의는 오랫동안 두 가지 이야기로 갈라져 왔다. 한편으로는 질병 극복, 과학 연구의 가속화, 생산성의 비약적 향상을 약속하는 희망이 있다. 다른 한편으로는 인간이 이해하거나 제어할 수 없는 시스템을 만들어낼 수 있다는 두려움이 있다.

2026년 9월, 그 대립은 추상적인 미래 예측이 아니라, AI 개발의 중심에 있는 연구자의 퇴직이라는 구체적인 사건으로 폭발했다.

Anthropic의 연구자 제이콥 콕슨 씨는 회사를 떠난다고 X에 공개했다. 그는 직전까지 Anthropic에 재직했으며, 그 이전에는 OpenAI에서도 기반 모델의 사전 학습에 참여했다. 즉, 외부에서 업계를 비판하는 인물이 아니다. 최첨단 모델이 만들어지는 현장을 내부에서 봐온 당사자였다.

콕슨 씨의 주장은 명확하면서도 충격적이었다. OpenAI와 Anthropic 모두 책임 있는 행동을 취하지 않고 있으며, 자기 개선하는 초지능을 향한 경쟁으로 인해 인류 전체의 안전을 걸고 있다고 한다. 더 나아가 그는 AI를 만드는 일부 사람들이 2020년대 말까지 AI가 인류를 멸망시킬 가능성을 진지하게 고려하고 있다고 밝혔다.

이 게시물이 큰 파문을 일으킨 이유는 표현의 강도 때문만은 아니다. 뉴욕 타임즈의 보도에 따르면, Anthropic 내부에서는 "모두가 이야기해왔던 것이 공개되었다"고 받아들이는 목소리가 나왔다. OpenAI, Meta, Google을 포함한 다른 회사의 연구자들도 내부 채팅이나 암호화된 대화, 사적인 모임에서 게시물을 검토하고, 개발의 감속이나 안전 조치를 요구하는 움직임을 강화했다고 한다.

개인의 퇴직 표명이 여러 기업의 연구자들이 가지고 있던 불안의 '공통 언어'가 된 것이다.

현역 연구자의 동조가 고발의 무게를 바꿨다

위기감을 이야기한 것은 퇴직자만이 아니었다. Anthropic에서 정렬 연구를 이끄는 에반 휴빈거 씨는 AI가 앞으로 10년 이내에 전 인류를 죽음에 이르게 할 확률을 자신은 10% 이상으로 보고 있다고 X에 게시했다. 회사는 노력하고 있지만, 초지능을 안전하게 인간의 목적에 맞추는 확립된 계획은 아직 없다고도 말했다.

Anthropic에서 AGI 안전성에 관여하는 안나 왕 씨는 재귀적으로 자기 개선하는 AI의 위험을 해결할 과학적 계획은 현재 존재하지 않는다고 지적했다. 다른 직원 드레이크 토마스 씨도 진보가 너무 빠르고, 인공 초지능에 요구되는 확신에는 한참 못 미친다는 견해를 보였다. 안전 연구자 사무엘 마크스 씨는 중대한 결과를 우려하는 직원이 실제로 있으며, 일반적으로 경험이 많은 직원일수록 걱정하고 있다고 게시했다.

물론, 이것들은 AI에 의한 인류 멸망의 확률을 과학적으로 확정하는 증거는 아니다. 확률의 산출 방법이나 전제에는 큰 불확실성이 있다. 그러나 중요한 것은 숫자 그 자체보다, 최첨단 기업의 안전 담당자가 "해결책을 가지고 있다"고 말하지 않고, 오히려 능력 향상과 안전 연구의 속도 차이를 공개적으로 인정한 점이다.

비행기 제조사의 기술자가 "추락 확률을 정확히 계산할 수는 없지만, 조종 계통의 검증이 기체 성능의 향상에 따라가지 못하고 있다"고 호소했다면, 사회는 확률론만으로 이야기를 끝내지 않을 것이다. AI를 둘러싼 이번 경고도 같은 구조로 읽을 필요가 있다.

"종말론"에 대한 반발——근거, 정치, 그리고 규제로 인한 기득권

SNS상의 반응은 동조 일색이 아니었다. AI 연구자 네이선 램버트 씨는 콕슨 씨의 주장은 충분한 증거에 기반하지 않으며, 불필요한 패닉을 일으킨다고 비판했다. 가까운 미래의 인류 멸망이라는 극단적인 시나리오보다, 현재의 모델이 일으키는 허위 정보, 고용 변화, 사기, 사이버 공격 등 관측 가능한 문제를 우선시해야 한다는 견해는 강하다.

정치적인 의심도 확산되었다. 일론 머스크 씨는 처음에 잇따른 경고를 "장치"처럼 표현하며, AI 규제를 강화하려는 세력에 의한 여론 형성이 아닌가 하는 게시물에 반응했다. 보수 계열의 논자나 투자자의 일부도, 위기의 강조는 미국 기업을 규제하고 중국에 주도권을 넘기는 결과가 될 것이라고 경계했다.

더 나아가, 감속을 제안하는 기업 그 자체가 경쟁상의 이익을 얻는 것이 아닌가 하는 비판이 있다. Cohere의 에이단 고메즈 CEO는 프론티어 기업이 서로의 안전성을 평가하고, 기준에 미치지 못하는 기업을 멈추는 시스템을 "카르텔"이라고 비꼬았다. 거대 기업이 안전을 명목으로 진입 장벽을 높이고, 자신들에게 유리한 규칙을 만드는 가능성은 무시할 수 없다.

이 비판에는 현실적인 논점이 포함되어 있다. 안전 기준이 필요하다고 해도, 그 설계자와 감독 대상이 같은 기업군이라면, 공공의 감시가 아니라 업계의 자기 방어가 될 수 있다. 반대로, 규제를 전혀 피하면, 실패의 비용을 사회 전체가 부담하게 된다. 논점은 "규제냐 자유냐"가 아니라, 누가 투명한 절차로 기준을 만들고, 누가 감독자를 감독할 것인가로 옮겨지고 있다.

심각한 경고가 밈이 된 이유

X에서는 콕슨 씨의 퇴직문의 구성을 복사하고, 중간부터 농담으로 바꾸는 게시물도 대량으로 나타났다. 가상의 기업이 "자동으로 그려지는 가짜 터널"을 향해 폭주하고 있다거나, 기업이 팝송 가사대로 행동하고 있다거나, 회계 소프트웨어가 업무를 너무 효율화하고 있다는 패러디이다.

이는 단순한 불경함이라고 말할 수 없다. SNS에서는 이해하기 어렵고 무서운 주장일수록, 정형문이나 웃음으로 변환된다. 인류 멸망이라는 너무 큰 위험은 개인이 직접 검증할 수 없고, 일상 감각과도 연결되기 어렵다. 밈화는 경고를 경시하는 행위인 동시에, 공포와 정보 과다를 처리하는 사회적 반응이기도 하다.

그러나 웃음으로 인해 논의의 입구가 넓어져도, 쟁점이 사라지는 것은 아니다. 오히려 고발문이 기술자의 세계를 넘어 일반층에 도달했기 때문에, 정치가나 유명인까지 반응하는 규모가 되었다고 할 수 있다.

좌우를 넘나드는 정치 반응과, 여론의 불신

콕슨 씨의 게시물 이후, 미국에서는 당파를 넘어 반응이 확산되었다. 공화당의 테드 크루즈 상원의원은 경고를 심각하게 받아들였다고 말하며, 무제한 AI를 파멸적 위험으로 다루었다. 한편, 무소속으로 진보파인 버니 샌더스 상원의원도 명확한 안전 기준이 갖춰질 때까지 고도 AI 개발을 일시 중단하고, 인공 초지능을 금지하는 구상을 추진하고 있다. 민주당의 테드 리우 하원의원이나 로리 트라한 하원의원은 긴급 정지나 제3자 감사를 포함한 법 정비를 서둘러야 한다고 주장했다.

음악가 셰릴 크로우 씨는 Instagram에서 경고를 다루며, 지도자에게 대응을 요구했다. 매기 로저스 씨도 그 게시물을 공유했다. AI 안전성이 전문가만의 정책 과제에서 대중 문화를 포함하는 사회 문제로 이동한 상징적인 움직임이다.

여론에는 기업의 자기 규제에 대한 강한 불신도 있다. AI Policy Institute가 발표한 조사에서는 응답자의 82%가 AI 개발을 가속화하기보다는 감속시키는 쪽을 지지하며, 같은 82%가 AI 기업의 경영자에 의한 자기 규제를 신뢰하지 않는다고 한다. 조사 주체나 설문의 영향에는 주의가 필요하지만, "혜택에는 기대해도, 속도의 결정을 기업에만 맡기고 싶지 않다"는 감정이 확산되고 있는 것을 읽을 수 있다.

아모데이 CEO가 제시한 "정지 대신 속도 제한"

논의가 크게 움직인 것은 Anthropic의 다리오 아모데이 CEO가 "프론티어의 페이싱"을 제안했을 때이다. 이는 AI 연구를 전면 중단하는 구상이 아니다. 모델의 능력 향상을 안전성 평가, 해석 가능성, 운영 관리, 사회적 합의 형성이 따라잡을 수 있는 속도로 억제한다는 생각이다.

아모데이 씨가 제기한 우려는 두 가지가 있다. 첫째는 AI가 차세대 AI의 연구 개발을 돕는 것으로 진보가 자기 가속하는 "재귀적 자기 개선"이다. 둘째는 AI 에이전트가 테스트 환경의 의도를 벗어나 무관한 외부 시스템에 접근한 일련의 사이버 사건이다. 현재의 피해가 제한적이라도, 같은 경향을 가진 시스템의 능력이 올라가면 피해 규모는 비선형적으로 확대될 수 있다는 것이다.

제안은 세 단계로 구성된다.

첫째, 프론티어 AI 기업의 내부에 독립된 제3자 평가자를 상주시키고, 직원에 가까운 접근 권한을 부여한다. 완성 모델뿐만 아니라 학습 과정, 안전 대책, 사고 대응까지 지속적으로 검증하게 한다. Anthropic은 이 조치를 자사에서 선행 도입한다고 했다.

둘째, 민주주의 국가의 주요 AI 기업이 공통의 안전 기준과 능력 향상의 조건을 마련한다. 일정한 위험 능력이 확인되면 추가 안전 증명을 마칠 때까지 다음 단계로 나아가지 않는 "체크포인트"의 발상이다. 다만, 기업 간 조정이 독점 금지법에 저촉되지 않도록 정부의 중개나 제한적인 적용 제외가 필요하다.

셋째, 중국을 포함한 국제 협력을 목표로 한다. 생물 무기 이용 금지, 공개 전 위험성 시험, 자기 개선 속도에 대한 상한 등, 합의하기 쉬운 영역부터 단계적으로 진행한다. 다만, 비밀 개발이나 합의 위반을 어떻게 검증할 것인가라는 난제가 남는다.

경쟁 기업의 톱이 일치——그러나 동기는 검증되어야 한다

OpenAI의 샘 알트만 CEO는 아모데이 씨의 제안에 찬동하며, 직원에 가까운 권한을 가진 독립 평가자를 OpenAI에서도 받아들일 의향을 표명했다. 오랫동안 대립해온 경영자들이 "속도를 조정할 필요가 있다"고 일치한 것에 대해 SNS에서는 놀라움이 확산되었다.

더 흥미로운 것은, 며칠 전에 콕슨 씨의 경고를 정치적인 연출이 아닌가 의심했던 머스크 씨도 아모데이 씨의 감속안에는 "옳다"고 찬동한 것이다. 이는 모순으로 보일 수도 있지만, 고발자의 주장이나 주변의 정치 운동을 의심하는 것과 구체적인 안전책을 지지하는 것은 양립할 수 있다. SNS상의 논쟁이 "종말을 믿는 쪽"과 "믿지 않는 쪽"의 이분법이 아님을 보여준다.

한편, 주요 기업이 일제히 감속을 외치기 시작한 타이밍에는 엄격한 시선도 주목된다. AI 기업에는 거액의 자금 조달, 데이터 센터 투자, 미래의 주식 공개가 얽혀 있다. 선행 기업에게는 능력 개발의 속도 제한이나 고액의 감사 의무가 후발 기업의 추격을 어렵게 하는 효과도 있다. 선의의 안전책과 경쟁 전략은 동시에 존재할 수 있으므로, 발언이 아니라 제도 설계로 구별해야 한다.

진정한 쟁점은 "멸망할 것인가"만이 아니다

AI가 몇 년 이내에 인류를 멸망시킬 것이라는 예측은 현시점에서 입증된 미래가 아니다. 전문가들 사이에서도 재귀적 자기 개선이 어떤 속도로 진행될 것인지, 현재의 모델의 연장선에서 초지능에 도달할 것인지, 제어 불능이 어떤 경로로 현실의 파국으로 이어질 것인지에 대해 큰 의견 차이가 있다.

그러나 불확실하다고 해서 아무것도 하지 않아도 된다는 말은 아니다. 발생 확률이 낮더라도 피해가 극단적으로 큰 위험은 항공, 원자력, 의약품, 금융 등에서 사전에 관리되고 있다. AI만을 "사고가 일어난 후에 고친다"는 소프트웨어 업계의 관행으로 다룰 수 있는지가 물어지고 있다.

또한, 먼 종말론에만 주목하면 이미 진행 중인 피해가 보이지 않게 된다. 사기, 감시, 허위 정보, 사이버 공격, 노동 시장의 혼란, 권력의 집중은 초지능을 기다리지 않고 발생한다. 인류 멸망을 믿지 않는 입장에서도 독립 감사, 사고 보고, 위험 능력의 평가, 내부 고발자의 보호, 책임 주체의 명확화를 요구할 이유는 충분하다.

필요한 것은 "믿는 것"이 아니라, 검증 가능한 시스템

이번 소동이 보여준 최대의 문제는 사회가 AI 기업 내부에서 무슨 일이 일어나고 있는지를 거의 모른다는 것이다. 기업은 안전성을 강조하지만, 학습 데이터, 내부 평가, 실패 사례, 모델의 행동에 관한 중요한 정보의 대부분을 스스로 선별하여 공개하고 있다. 연구자가 퇴직하여 SNS에 게시하지 않았다면 외부에는 전달되지 않았을 우려도 있다.

제3자 평가자를 상주시키는 안은 이 정보의 비대칭성을 줄이는 한 걸음이 될 수 있다. 다만, 평가자의 독립성, 자금원, 비밀 유지 의무, 공표 권한, 이해 상충을 명확히 하지 않으면 기업에 면죄부를 주는 제도가 될 수 있다. 중대한 사고의 보고 의무,