백신 연구인가, 위험한 병원체 개발인가 ― AI 기업이 직면한 보이지 않는 의도

백신 연구인가, 위험한 병원체 개발인가 ― AI 기업이 직면한 보이지 않는 의도

「생물무기를 만들자」라고는 아무도 말하지 않는다

생성 AI의 안전 대책이라고 하면, 많은 사람들은 "위험한 질문을 거부하는 챗봇"을 떠올린다. 그러나 Anthropic이 2026년 9월에 발표한 위협 인텔리전스 보고서가 보여준 것은, 더 복잡한 현실이다.

악의적인 사용자가 자신의 목적을 솔직하게 입력할 것이라고는 할 수 없다. 특히 생명과학에서는, 감염증의 메커니즘을 조사하는 연구, 백신이나 치료제를 개발하는 연구, 병원체를 더 위험하게 만드는 연구가, 중간 단계까지 동일한 전문 용어, 동일한 실험 계획, 동일한 데이터 분석을 공유할 수 있다. 질문을 하나만 떼어놓고 보면, 공익에 기여하는 연구에도, 무기화로 향하는 준비에도 보일 수 있다.

Anthropic은 2025년 12월부터 2026년 8월까지 확인한 AI의 부정·부적절 사용을 154페이지의 보고서로 정리했다. 그 대상은 사이버 공격, 감시, 여론 조작, 사기, 통상 무기, 생물학적 악용 등 7개 분야에 걸친다. 그 중에서도 주목을 받은 것은, Claude의 사용이 생물무기 개발을 지원할 수 있다고 판단된 5건의 사례였다.

여기서 처음으로 짚어야 할 것은, 회사가 "생물무기 계획을 발견했다"고 단정하지 않았다는 점이다. 연구 기관이나 국가명도 숨겨져 있으며, 관련된 과학자에게 해를 가할 의도가 있었다고 주장하지도 않는다. 확인된 것은, 위험성이 높은 연구 내용과, 지역 제한의 회피, 익명화, 목적의 흐림 등, 여러 경계 요소가 겹쳤다는 사실이다.


군사 연구 기관과 치쿤구니아열

가장 상징적인 것은, 치쿤구니아열 바이러스를 대상으로 하는 연구 보조금 신청 사례이다. 치쿤구니아열은 모기가 매개하는 감염증으로, 발열이나 심한 관절통을 일으키며, 증상이 장기화될 수 있다. 자연계에서 유행하는 질병이기 때문에, 만약 의도적인 확산이 일어나도, 자연 발생과의 구별이 어려워질 가능성이 있다.

보고서에 따르면, 신청서에서 다루어진 것은, 바이러스의 전파나 면역 회피에 관련된 성질을 변화시키는 연구였다. 이러한 지식은 유행 예측이나 백신·치료법 개발에 도움이 되는 한편, 병원체를 더 위험하게 만드는 목적에도 전용될 수 있다. 게다가, 연구의 실행처로 군사계 연구 기관이 제시된 것이, Anthropic의 경계를 강화했다.

이용 경로도 일반적이지 않았다. 서비스 대상 외의 지역에서 미국의 인프라를 경유하고, 데이터를 남기지 않는 구조나 전매업자, 위장 계정 등이 사용되었다고 한다. Claude가 거부한 질문을, 더 제한이 느슨한 다른 회사 모델로 돌리는 구조까지 준비되어 있었다. 회사는 관련 계정을 정지하고, 중계망의 차단을 관계자와 진행했지만, 운영자는 단기간에 다른 경로로 접속을 재개했다고 한다.

이 사례가 보여주는 것은, 모델 단독의 거부 기능만으로는 충분하지 않다는 것이다. 한 회사의 AI가 막아도, 사용자는 여러 모델을 전환하고, 통신 경로나 계정을 교체한다. 안전 대책은, 질문문의 판정뿐만 아니라, 접근 경로, 사용자의 소속, 지속적인 행동 패턴까지 포함한 구조로 옮겨갈 수밖에 없다.


조류 인플루엔자, 오르소폭스, 독소 설계

두 번째 사례는, 고병원성 조류 인플루엔자의 포유류 적응에 관한 연구였다. 연구자는 몇 주에 걸쳐 수천 건의 상호작용을 수행하고, 문헌 정리, 연구 계획, 데이터 분석, 문서 작성 등에 Claude를 사용했다고 한다. Anthropic은, 위험한 내용을 감지하는 구조에 의해 고성능 모델에 대한 접근이 차단되고, 제공된 지원은 주로 사무적·보조적인 범위에 그쳤다고 평가하고 있다.

이는 중요한 유보이다. 보고서는, Claude가 즉시 미지의 병원체를 설계했다거나, 생물무기를 완성했다고는 말하지 않는다. 오히려 현단계에서 확인된 "능력의 상향"은 제한적이었다고 한다. 그럼에도, 실제 연구 설비나 시료에 대한 접근을 가질 가능성이 있는 전문가가, 지리적 제한을 회피하고 첨단 AI를 사용하려 했던 사실은, 미래의 모델이 더 고성능이 되었을 경우의 위험을 선취하고 있다.

세 번째 사례에서는, 천연두나 엠폭스와 같은 분류군에 속하는 오르소폭스바이러스의 연구 보조금 신청이, Claude에 의해 단시간에 조립되었다. 연구 목적은 바이러스를 약독화하는 방향으로 보였기 때문에, 안전 분류기는 답변을 멈추지 않았다. 그러나, 면역 회피의 메커니즘을 이해하는 지식은, 약독화에도, 반대로 그 기능을 보존·강화하는 방향에도 사용할 수 있다.

남은 두 건은 독소나 독 펩타이드의 설계에 관한 것이었다. 진통제나 항우울제 등의 신약 개발을 내세우는 연구라 하더라도, 동일한 설계 기반에서 마비성 물질 등이 나올 가능성이 있다. 다른 사례에서는, 연구 보고서에서 대상 물질의 정체를 모호하게 유지하도록 Claude에게 지시했다고 한다. 여기서는 위험한 단어를 검출하는 것만으로는 거의 작동하지 않았다. 치료 목적과 유해 목적이 기술적으로 겹치기 때문이다.


진정한 난제는 "이중 용도"

생물학적 이중 용도는 새로운 문제가 아니다. 병원체의 감염력, 면역 회피, 독성을 이해하는 것은 공중 보건에 필수적이다. 동시에, 그 지식은 공격 측에도 가치가 있다. AI는 이 오래된 문제를 만들어낸 것이 아니라, 문헌 탐색, 가설 만들기, 분석, 코드 작성, 신청서 작성을 가속화함으로써 문제의 규모와 속도를 변화시켰다.

종래, 첨단 연구를 진행하려면, 전문 지식을 가진 팀, 긴 훈련, 여러 분야의 협력이 필요했다. AI가 그것들을 연결하는 "만능 과학 보조자"에 가까워지면, 연구자는 소수 인원으로도 넓은 영역을 다룰 수 있다. 이는 신약 개발이나 감염증 대책에 큰 혜택을 가져오는 한편, 감시해야 할 작업의 수를 늘리고, 위험한 계획의 준비 시간을 단축한다.

게다가, 오판의 대가는 대칭적이지 않다. 위험한 연구를 놓쳤을 경우, 피해는 매우 커질 수 있다. 한편, 정당한 연구를 차단하면, 신약 개발이나 감염증 대책이 지연되고, 특정 지역의 연구자만이 배제된다. 안전 쪽으로 기울수록 과학의 자유와 공정성이 손상되고, 자유를 우선할수록 파국적 위험이 증가한다. 이 이율배반에, 단순한 키워드 필터로 답을 낼 수는 없다.


SNS가 비춘 세 가지 반응

보고서 공개 직후의 SNS에서는, 적어도 세 가지 반응이 확인되었다. 다만, 공개된 지 얼마 안 된 시점의 소수의 게시물로, 여론 조사처럼 일반화할 수는 없다.

첫 번째는, 강한 위기감이다. AI가 병원체 연구의 계획이나 보조금 신청을 가속할 수 있다면, 기업에만 맡기지 않고, 정부나 연구 기관을 포함한 공통 규칙이 필요하다는 시각이다. 생물무기 그 자체뿐만 아니라, 지역 제한의 우회, 익명 계정, 여러 모델로의 자동 분배가 결합되어 있는 점을 심각하게 받아들이는 게시물이 있었다.

 

두 번째는, Anthropic의 설명에 대한 회의이다. Reddit의 관련 스레드에서는, 보고서를 위기를 강조하는 홍보가 아니냐는 비꼬는 목소리나, 기업 자체의 조사만으로 사실 관계를 어디까지 검증할 수 있는가라는 의문이 나왔다. 모델 경쟁에서 불리해진 기업이 안전성을 차별화 재료로 삼고 있는 것이 아니냐는 시각도 제시되었다. 이러한 비판에 근거가 있는지는 별개로, 국가명이나 기관명, 검증 가능한 증거가 비공개인 이상, 외부에서 완전히 확인할 수 없다는 문제는 남는다.

세 번째는, 안전 대책이 감시 강화로 이어질 것에 대한 우려이다. Anthropic은, 고도의 생물학 기능을 제공하려면, 신뢰할 수 있는 사용자를 선택하는 제도, 계정이나 소속 기관의 확인, 일정한 이용 기록이 필요하다고 주장한다. 이에 대해 SNS에서는, 본인 확인의 상시화, 데이터를 저장하지 않는 서비스에 대한 압력, 연구 내용을 민간 기업이 심사하는 구조, 오판에 대한 이의 제기 수단이 부족하다는 점을 문제시하는 목소리가 있었다.

또한, 일부에서는 보고서가 명시하지 않은 국가나 과거의 감염증 기원을 단정하는 게시물도 보였다. 그러나 Anthropic은 국가명을 숨기고, 악의도 단정하지 않았다. 이러한 추측을 사실로서 확산하는 것은, 연구자에 대한 부당한 공격이나 지정학적 편견을 초래한다. SNS의 반응을 읽을 때는, "보고서가 확인한 것"과 "사용자가 추측한 것"을 구분해야 한다.


기업의 자기 규제만으로 충분한가

Anthropic의 대응에는 일정한 의의가 있다. 위험한 사용을 차단하고, 얻어진 징후를 안전 대책에 반영하고, 정부나 다른 회사와 공유했다. AI 기업은 이용 로그나 모델과의 대화를 통해, 정부 기관조차 파악하기 어려운 새로운 위협을 조기에 관측할 수 있는 입장에 있다.

그러나, 그 입장은 동시에 큰 권력을 의미한다. 어떤 연구자를 신뢰할 것인지, 어떤 국가·기관에 고도 기능을 개방할 것인지, 어디서부터를 위험으로 간주할 것인지를, 한 기업이 결정하게 된다. 오판이 발생했을 경우의 설명 책임이나 구제 절차, 제삼자에 의한 감사, 연구자의 기밀 유지, 당국에의 통보 기준도 필요하다.

더욱이, 규제가 한 회사에만 적용되면, 위험한 사용자는 다른 모델이나 공개 모델로 이동할 것이다. 이번 보고서에서도, Claude가 거부한 요구를 다른 모델로 돌리는 구조가 확인되었다. 필요한 것은, 특정 기업의 "양심"에 의존하는 것이 아니라, 업계 횡단의 징후 공유, 위험도에 따른 본인·소속 확인, 독립 감사, 국제적인 수출 관리나 연구 윤리와의 연결이다.

한편, 과도하게 넓은 금지는 역효과를 낳을 수 있다. 정당한 연구자가 닫힌 경로로 몰리고, 안전한 상용 서비스에서 멀어지면, 감시 가능성은 오히려 낮아진다. 저위험 연구는 널리 이용할 수 있고, 고위험 작업은 심사를 받은 연구자에게 제한하며, 판단에 이의를 제기할 수 있는 - 그런 단계적 접근이 현실적일 것이다.


"지금 당장의 파국"이 아니라, "능력 향상에 대한 조기 경보"

이번의 5건의 사례를, AI가 이미 생물무기를 만들 수 있는 증거로 읽는 것은 정확하지 않다. Anthropic 자신도, 이것들은 Claude에 의해 임박한 생물학적 위협이 생겨난 증거가 아니라고 하고 있다. 확인된 지원에는, 문서 편집이나 정보 정리와 같은 제한적인 것들도 많다.

그럼에도 보고서가 무거운 것은, 첨단 AI를 사용하려는 고도의 전문가가 현실적으로 존재하고, 지역 제한이나 안전 기능을 회피하는 시장과 기술이 이미 갖춰지기 시작했다는 것이다. 모델이 전문가 수준에 가까워질수록, 동일한 이용 패턴이 가져오는 영향은 커진다.

문제는, "AI에 악의가 있는가"가 아니다. 악의를 숨기는 인간, 선악 양쪽에 사용할 수 있는 과학 지식, 국경을 넘는 접근 수단, 경쟁하는 여러 AI 기업이 결합되었을 때, 누가 어느 단계에서 막을 것인가라는 제도 설계의 문제이다.

AI는 생명과학을 진보시키는 강력한 도구가 될 수 있다. 그 가능성을 지키기 위해서라도, 위험한 사용을 간파하는 구조는 필요하다. 다만, 기업의 비밀 판단에만 맡기면, 투명성과 신뢰를 잃는다. 전면 개방과 전면 금지 사이에, 검증 가능하고, 이의 제기가 가능하며, 국제적으로 연계된 접근 관리가 구축될 수 있는가. Anthropic의 보고서가 제기한 것은, 기술의 무서움뿐만 아니라, 사회가 그 경계선을 아직 설계하지 못했다는 사실이다.


출처 URL

관련 기사