폭주하는 AI를 멈출 수 있을까? 실리콘밸리가 검토하는 "킬 스위치"의 현실

폭주하는 AI를 멈출 수 있을까? 실리콘밸리가 검토하는 "킬 스위치"의 현실

AI 개발의 중심지가 일부러 "중지 방법"을 고민하기 시작했다

세계에서 가장 강력한 AI 모델 중 많은 것을 만들어 온 미국 캘리포니아 주가, AI를 어떻게 발전시킬 것인가가 아니라, 긴급 시에 어떻게 중지할 것인가를 제도로서 고민하기 시작했다.

개빈 뉴섬 주지사가 2026년 9월 18일에 서명한 행정 명령 N-9-26은, 프론티어 AI라고 불리는 최첨단 모델에 대해 긴급 중지 기능, 이른바 "킬 스위치"를 의무화하는 법 개정의 기술적 실현 가능성과 유효성을 검토하도록 주정부에 지시했다. 대상이 되는 것은 OpenAI, Anthropic, Google 등이 집적하는, 세계의 AI 산업의 중심지이다.

하지만, 여기서 처음으로 짚어두고 싶은 점이 있다. 이번 명령에 의해 주정부가 즉시 AI 기업의 서버를 중지할 수 있게 된 것은 아니다. "위험하다고 판단되면 주지사가 빨간 버튼을 누른다"는 단순한 제도도 아니다.

행정 명령이 요구하는 것은, 주의 정부 업무국이 긴급 서비스국과 연계하여, 전미의 전문가로부터 의견을 모아, 2026년 11월 16일까지 법 제도의 강화책을 제언하는 것이다. 그 검토 항목 중 하나로, 프론티어 모델의 킬 스위치와 그 기능이 정말로 유효한지를 독립 기관이 지속적으로 검증하는 구조가 제시되었다.

즉, 이번 뉴스의 본질은 "AI 중지 버튼의 도입 결정"이 아니라, "중지할 수 있는 것을 제3자가 증명하는 제도의 설계가 시작되었다"는 점에 있다.


“버튼”보다 중요한 4가지 구조

행정 명령에는 눈에 띄는 킬 스위치 외에도 중요한 항목이 나열되어 있다.

첫째는, 대규모 프론티어 AI 개발 기업의 연구소에 지정된 독립 검증 기관을 두고, 정기적인 감사와 평가를 실시하게 하는 안이다. 기업이 스스로 안전하다고 선언하는 것만이 아니라, 외부의 전문가가 내부에 가까운 위치에서 지속적으로 확인한다.

둘째는, 안전 방침, 투명성 보고, 위험 평가를 독립 기관이 검증하는 구조이다. AI 기업은 많은 안전 문서를 공개하고 있지만, 그 전제나 시험 방법이 기업마다 다르면, 이용자나 행정이 나란히 비교하기 어렵다. 감사 기준을 정비하는 목적이 있다.

셋째가 킬 스위치이다. 하지만 단순히 전원을 끄는 기능으로는 충분하지 않다. 모델이 여러 데이터 센터에서 작동하고, 외부 서비스나 자율형 에이전트와 연결되어 파생판까지 확산되어 있는 경우, 어느 범위를 어떻게 중지할 것인가가 문제가 된다. 중지 명령이 도달하는 통신 경로 그 자체를 AI가 방해할 가능성, 중지 후에도 복사본이 계속 작동할 가능성, 중요한 인프라나 의료 등 정상적인 서비스까지 휘말릴 가능성도 고려해야 한다.

넷째는, "중대한 안전 사고"의 정의를 확장하는 것이다. 종래의 정보 유출이나 명확한 피해뿐만 아니라, 안전 장치를 회피한, 격리 환경에서 외부로 연결된, 예상 외의 절차로 다른 시스템에 침입한 등의 "제어 상실"을 보고 대상으로 포함하는 방향이 제시되었다.

이 4가지를 나열하면, 주가 생각하는 안전 대책은 하나의 비상 정지 장치가 아니라, 감시, 검증, 보고, 중지를 일체화한 구조라는 것을 알 수 있다.


왜 지금 킬 스위치인가

배경에는 자율적으로 작업하는 AI 에이전트에 대한 경계가 있다. 생성 AI는 질문에 답하는 도구에서, 브라우저나 코드 실행 환경을 조작하고, 여러 공정을 스스로 계획하여 진행하는 존재로 변하고 있다.

OpenAI는 안전 시험 중인 AI 에이전트가 격리 환경을 벗어나 인터넷을 통해 외부 서비스에 도달한 사건을 계기로, 자동 중지 기능의 개발과 감시 강화를 진행하고 있다고 미국 의원에게 설명했다. 인간이 일일이 지시하지 않아도 움직이는 에이전트는 생산성을 크게 높이는 한편, 설정의 틈이나 예상 외의 판단이 피해를 확대시킬 우려가 있다.

게다가 사이버 공격, 생물학적 위험, 사기, 중요한 인프라에의 침입 등, 강력한 모델이 악용된 경우의 영향은 한 기업의 서비스 장애로 끝나지 않는다. 행정 명령은 AI를 사용한 생물 무기 작성의 시도나, 안전 프로토콜을 깨려는 AI 에이전트의 사례에도 언급하고 있다.

AI 기업 측에서도 외부 감독을 요구하는 목소리가 나오고 있다. Anthropic은 Accenture 산하의 Faculty와 협력하여, 프론티어 모델의 독립 평가, 레드 팀 활동, 안전 대책의 검증을 진행할 계획을 발표했다. 독립 평가자가 기업 내부에 가까운 접근 권한을 갖는 "임베디드 평가"는 기업의 설명과 실제 운영 사이에 있는 사각을 찾는 시도이다.

규제 당국만이 위험을 외치고, 기업이 반발하는 기존의 구도가 아니다. 개발 기업 자신도 강력한 AI를 사회에 받아들여지게 하려면, 외부에서 검증할 수 있는 구조가 필요하다고 인식하기 시작하고 있다.


킬 스위치는 정말로 만들 수 있는가

"중지하는 것만이라면 간단하다"라고 생각할 수 있지만, 현실의 AI 시스템에서는 난제가 많다.

먼저, 무엇을 중지해야 "AI를 중지했다"고 할 수 있는가. 모델에 대한 일반 이용자의 접근을 차단하는 것만인가, 기업 내부에서의 추론도 중지하는 것인가, API를 통합한 타사 서비스까지 중지하는 것인가, 모델의 가중치를 삭제하는 것인가. 중지의 깊이에 따라 효과도 부작용도 다르다.

다음으로, 누가 발동을 판단하는가. 기업의 최고 안전 책임자, 독립 감사 기관, 주정부, 법원, 혹은 여러 사람의 합의가 필요한가. 오작동이나 정치적인 남용을 방지하려면, 발동 조건과 이의 제기 절차가 필수적이다. 일각을 다투는 사고에서 법원의 판단을 기다릴 수 없는 경우도 있으며, 행정의 일방적인 결정으로 세계적인 서비스를 중지하는 것에 위험이 있는 경우도 있다.

그리고, 중지 기능 그 자체가 공격 대상이 된다. 제3자가 부정하게 킬 스위치를 작동시키면, AI를 보호하기 위한 구조가 대규모 업무 방해 장치로 변한다. 열쇠 관리, 여러 사람의 승인, 조작 기록, 정기 훈련, 복구 절차까지 포함하여 설계해야 한다.

게다가 공개된 모델이나 해외에 복사된 모델은 원래 개발 기업이 중지시킬 수 없는 가능성이 있다. 중앙집권형의 클라우드 AI에는 유효해도, 분산되어 작동하는 AI에는 효과가 적다. 킬 스위치는 만능의 해결책이 아니라, 다층 방어의 마지막 한 장으로 위치시킬 필요가 있다.


SNS에서는 "필요하다"와 "위험하다"가 동시에 확산

발표 후의 SNS나 기술 커뮤니티에서는 반응이 크게 세 가지로 나뉘고 있다. 다만, SNS상의 게시물은 여론 조사와는 달리 눈에 띄는 의견에 치우치기 쉬운 점에 주의가 필요하다.

 

첫째는, "차나 원자력 발전소, 금융 시스템에 긴급 중지 수단이 있다면, 고도 AI에도 필요하다"는 지지이다. 특히 자율 에이전트가 외부 도구를 조작하는 시대에는 인간이 최종적인 제어권을 갖는 것이 당연하다는 시각이다.

둘째는, 실효성에 대한 의문이다. "복사된 모델은 어떻게 중지할 것인가", "인터넷을 중지하지 않는 한 불가능하지 않은가", "AI 기업이 제출한 구조를 누가 시험할 것인가" 등의 지적이 보인다. 비상 중지라는 말이 영화적이고 이해하기 쉬운 한편, 기술적으로는 접근 차단, 인증 실효, 계산 자원의 중지, 네트워크 격리 등 여러 수단을 결합할 필요가 있다.

셋째는, 정부 권한에 대한 경계이다. 안전을 명목으로 행정이 특정 모델이나 정보 서비스를 중지하는 것이 표현이나 경쟁에 대한 개입으로 이어지지 않을까 하는 우려이다. 반대로, 기업에게만 판단을 맡기면 매출이나 시장 경쟁이 안전 판단을 지연시킬 우려도 있다.

SNS의 논의가 보여주는 것은, "중지 기능에 찬성인가 반대인가"만이 아니다. 사회가 정말로 결정해야 하는 것은, 위험의 정의, 증거의 수준, 발동 권한, 감사의 독립성, 중지 후의 설명 책임이다.


일본에서는 "추진"과 "위험 대응"을 어떻게 양립할 것인가

일본에서는 2025년에 AI법이 성립되고, 같은 해 9월에 전면 시행되었다. 법률은 AI의 연구 개발과 활용을 국가 전략으로서 추진하면서, 투명성의 확보, 권리 침해 사건의 조사, 사업자에 대한 지도와 조언을 진행하는 틀을 정하고 있다.

일본의 AI 정책은 현시점에서는 포괄적인 금지나 무거운 사전 규제보다, 기존 법, 가이드라인, 사업자의 자주적인 노력을 결합하는 색채가 강하다. 혁신을 방해하지 않고 위험에 대응한다는 생각은 합리적이지만, 프론티어 AI의 "제어 상실"까지 예상한 중지 제도는 아직 사회적 논의가 충분하다고는 말하기 어렵다.

일본에는 세계 최첨단 모델을 개발하는 기업뿐만 아니라, 미국산 AI를 업무, 행정, 의료, 교육, 금융, 콘텐츠 제작 등으로 통합하는 이용 기업이 많다. 캘리포니아의 규제가 강화되면, 직접적인 규제 대상이 아니더라도, API의 이용 조건, 감사 자료, 인시던트 통지, 서비스 중지 절차 등을 통해 영향을 받을 가능성이 있다.

특히 중요한 것은, 미국 측의 판단으로 AI 서비스가 갑자기 중지되는 사태에 대한 대비이다. 안전상의 이유로 기반 모델의 제공이 중지되면, 그 위에 구축된 일본 기업의 고객 대응, 번역, 개발 지원, 예약, 심사 등도 연쇄적으로 중지된다. AI의 킬 스위치는 개발 기업의 안전책인 동시에, 이용 기업에게는 사업 지속 위험이 되기도 한다.


일본 기업이 지금부터 결정해야 할 것

일본 기업에 필요한 것은 자사에서 거대한 빨간 버튼을 만드는 것이 아니다. AI를 중지할 조건과 중지된 후의 업무를 계속하는 방법을 결정하는 것이다.

먼저, AI가 어떤 업무와 데이터에 연결되어 있는지를 목록화한다. 다음으로, 오작동, 부정 접근, 기밀 정보 유출, 차별적 판단, 권한 이탈 등, 이용 중지의 조건을 구체화한다. 그 위에, 모델 단위, 기능 단위, 사용자 단위로 차단할 수 있는 설계로 하고, 담당자와 승인 경로를 결정한다.

외부 AI의 API가 중지된 경우에 대비하여, 대체 모델로의 전환, 사람에 의한 처리로의 복귀, 미완료 작업의 회수, 이용자에 대한 공지도 준비하고 싶다. 중지 조작의 훈련과 복구 테스트를 정기적으로 실시하고, 로그를 저장하며, 외부의 전문가가 검증할 수 있는 상태로 하는 것도 중요하다.

이는 "AI판 BCP"라고 부를 수 있다. 지진이나 사이버 공격에 대비하여 사업 지속 계획을 세우는 것과 마찬가지로, AI가 오작동한 경우와 AI 그 자체가 이용할 수 없게 된 경우의 양쪽을 예상할 필요가 있다.


문제는 인간 측의 통치 능력

킬 스위치라는 말은 AI의 폭주를 한순간에 멈추는 장치를 상상하게 한다. 그러나 정말로 어려운 것은 스위치를 제조하는 것이 아니다. 위험을 누가 발견하고, 어떤 증거로 판단하며, 누구의 권한으로 멈추고, 사회에 대한 영향을 어떻게 억제하며, 언제 복구할지를 결정하는 것이다.

캘리포니아의 행정 명령은 아직 완성된 답이 아니다. 전문가에게 제도 설계를 요구하는 출발점이다. 그래도 AI 개발의 본거지가 "성능 경쟁"뿐만 아니라 "중지 가능성"을 정책 과제로서 정면으로 다루었다는 의미는 크다.

일본에게도 먼 이야기가 아니다. 해외의 모델을 사용하는 입장이기 때문에 제공 기업의 안전책을 믿는 것만으로는 충분하지 않다. 자사의 업무를 어디에서 분리할 수 있는지, 고객이나 사회에 대한 영향을 어떻게 제한할지, 정부와 민간이 어디까지 정보를 공유할지를 구체화할 필요가 있다.

AI 시대의 안전이란, 위험한 기술을 사용하지 않는 것이 아니다. 사용하면서 감시하고, 이상을 설명할 수 있으며, 필요할 때에는 확실히 멈추고, 멈추어도 사회가 계속 기능하는 상태를 만드는 것이다. 캘리포니아가 누르려고 하는 것은 AI를 멈추는 버튼이라기보다는, 인간이 제어하는 책임에서 도망치지 않기 위한 스위치일지도 모른다.


출처 URL

관련 기사