AI가 AI를 만들기 시작할 때, 인간은 여전히 주도권을 잡을 수 있을까

AI 개발 기업인 Anthropic이 최첨단 AI 개발 경쟁에 대해 이례적인 경고를 발했다. 이 회사는 AI가 인간의 보조 도구에 머무르지 않고, AI 시스템 자체의 개발을 가속화하는 단계에 접어들고 있다고 하며, 사회나 규제, 안전 연구가 따라잡지 못하게 되기 전에, 업계 전체가 개발을 감속하거나 일시 중지할 수 있는 체계를 마련해야 한다고 제안했다.

이번 논의의 중심에 있는 것은 "재귀적 자기 개선"이라는 개념이다. 이는 AI가 더 고성능의 AI를 설계·개발하고, 그 새로운 AI가 다시 다음 AI를 만드는 순환을 가리킨다. SF적인 느낌이 있는 단어이지만, Anthropic은 이를 먼 미래의 공상으로 보지 않고, 현재의 기술 트렌드의 연장선상에 있는 현실적인 위험으로 다루고 있다.

Lanka Newspapers의 기사에서는, Anthropic이 "인류가 고도 AI를 제어할 수 없게 될 위험"을 경고하며, 주요 AI 기업이 공동으로 개발 중지의 체계를 마련해야 한다고 전하고 있다. 그러나 원래의 Anthropic의 주장을 자세히 읽어보면, 이 회사가 요구하는 것은 단순한 "지금 당장 AI 개발을 전면 중지하라"는 이야기가 아니다. 보다 정확히는, 일정한 위험 조건이 충족될 경우에, 최첨단 AI 개발을 검증 가능한 형태로 감속·중지할 수 있는 국제적인 선택지를 지금부터 준비해야 한다는 제안이다.

왜 Anthropic은 이렇게 강한 표현을 사용했는가

Anthropic이 위기감을 나타내는 이유는, AI가 이미 AI 개발 현장에서 큰 역할을 하기 시작했기 때문이다. 이 회사는, 사내에서 병합되는 코드의 80% 이상이 Claude에 의해 작성되고 있다고 설명하고 있다. 게다가, 엔지니어 1인당 코드 생산량은 과거와 비교해 크게 늘고 있다고 한다.

이는 단순한 "편리한 코드 보조"의 이야기가 아니다. 몇 년 전까지 AI는 짧은 코드 조각을 제안하는 존재였다. 현재는 파일 단위의 편집, 버그 수정, 장시간에 걸친 작업, 여러 에이전트에 대한 작업 분담까지 수행할 수 있게 되었다. Anthropic은 이러한 변화가 진행되면, 결국 AI가 모델 개발의 상당 부분을 자율적으로 담당할 가능성이 있다고 보고 있다.

물론, 이 회사는 "이미 AI가 완전히 자신을 만들고 있다"고까지는 말하지 않는다. 중요한 것은 방향성이다. 인간이 목표를 주고, AI가 방법을 생각하고, 실험을 실행하고, 코드를 작성하고, 결과를 평가한다. 이 비율이 조금씩 AI 쪽으로 기울어지면, 어느 시점에서 개발 속도는 인간 사회의 의사 결정 속도를 크게 초과할 가능성이 있다.

여기서 문제가 되는 것은, AI의 능력 그 자체만이 아니다. 사회 제도, 법률, 감사, 국제 합의, 기업 통치, 보안 대책, 인간의 이해력 등 주변 시스템이 AI 개발의 속도를 따라잡을 수 있는가 하는 점이다.

AI가 며칠, 몇 시간, 혹은 그 이하의 주기로 개선을 거듭하는 한편, 정책이나 국제 합의는 몇 개월에서 몇 년 단위로 움직인다. 이 속도 차이가 바로 Anthropic의 경고의 핵심에 있다.

"멈추는" 것이 어려운 이유

AI 개발을 일시 중지하면 된다고 말하는 것은 쉽다. 그러나 실행은 극히 어렵다.

첫째로, 경쟁의 문제가 있다. 어떤 기업이 자발적으로 개발을 멈추더라도, 다른 회사가 멈추지 않으면, 신중한 기업만이 뒤처진다. 국가 간에도 같은 일이 일어난다. 미국 기업이 멈추더라도, 중국, 유럽, 중동, 기타 국가나 지역의 기업·정부 연구 기관이 진행하면, 기술적인 주도권은 옮겨갈 뿐일지도 모른다.

둘째로, 검증의 문제가 있다. 핵무기나 미사일 시설처럼, 물리적인 설비를 위성으로 감시하기 쉬운 분야와 달리, AI의 대규모 학습은 보이지 않는다. 필요한 것은 데이터 센터, GPU, 전력, 소프트웨어, 연구자, 자금이며, 그 대부분은 민간의 범용 인프라로도 사용된다. 누군가가 비밀리에 개발을 계속하고 있는지 확인하는 것은 쉽지 않다.

셋째로, "무엇을 멈출 것인가"의 정의도 어렵다. 기초 연구를 멈출 것인가, 대규모 학습만을 멈출 것인가, 기존 모델의 개선은 허용할 것인가, 오픈 소스 개발은 어떻게 다룰 것인가. 중지의 조건, 해제의 조건, 감독하는 주체, 위반 시의 제재를 정하지 않으면, 실효성 있는 합의가 되지 않는다.

Anthropic 자신도 이 어려움을 인정하고 있다. 이 회사가 요구하는 것은, 단순한 선의에 의한 한 회사 단독의 중지가 아니라, 여러 주요 AI 연구소가 같은 조건으로 멈추고, 그것을 서로 검증할 수 있는 체계다. 다시 말해, AI 버전의 군비 관리에 가까운 발상이다.

SNS에서는 찬반이 뚜렷이 나뉜다

이 제안에 대해, SNS나 기술계 커뮤니티에서는 반응이 갈리고 있다.

지지하는 쪽은, Anthropic의 경고를 "내부에서 나온 중요한 신호"로 받아들이고 있다. 외부의 비평가나 규제 당국이 아니라, 바로 최첨단 AI를 개발하고 있는 기업 자체가, 개발 속도와 사회적 준비의 격차를 문제시하고 있는 점에 무게가 있다는 시각이다. AI 안전이나 정책에 관심을 가진 계정에서는, 재귀적 자기 개선의 위험을 정면으로 다루었다는 것, 업계 전체에서의 검증 가능한 감속을 논의하려고 하고 있다는 것을 평가하는 목소리가 보인다.

한편으로, 회의적인 반응도 강하다. Hacker News 등의 기술자 커뮤니티에서는, "안전을 내세우면서, 최전선에서 AI 개발을 전속력으로 진행하고 있는 것과 모순되지 않는가"라는 의문이 나오고 있다. Anthropic이 Claude에 의한 코드 생성이나 개발 효율의 향상을 강조하면 할수록, "그렇게 위험하다고 말한다면, 왜 자사는 먼저 멈추지 않는가"라는 질문이 생긴다.

또한, Claude의 이용자들로부터는 현실적인 불만도 보인다. AI가 자율적으로 장시간 작업할 수 있다는 주장에 대해, 실제 이용에서는 API 제한이나 일시적인 장애, 장시간 작업의 중단에 시달리고 있다는 반응도 있다. 이는 AI 위험론 그 자체에 대한 반론은 아니지만, "정말로 그렇게 자율적인 단계에 와 있는가"라는 온도차를 나타내고 있다.

더욱이 정치·비즈니스 쪽의 논자들로부터는, 더 엄격한 시각도 나오고 있다. Anthropic이 상장이나 거액 평가액을 의식하는 가운데, AI 위험을 강조하는 것은, 규제의 틀 만들기에 영향을 미치고, 자사에 유리한 규칙을 형성하기 위한 전략이 아닌가 하는 의혹이다. 특히, 강한 규제나 검증 제도는, 대기업에는 대응 가능해도, 소규모 기업이나 오픈 소스 세력에는 큰 부담이 될 가능성이 있다. 따라서, "안전"을 명목으로 경쟁 상대를 억누르는 규제 포착이 아닌가 하는 비판도 있다.

즉, SNS상의 반응은 크게 세 가지로 나뉜다. 첫째로, AI가 자기 개선하는 위험은 실제이며, 지금이야말로 국제적인 안전책을 만들어야 한다는 찬성파. 둘째로, 위험성은 이해하지만, Anthropic 자신이 행동과 주장에 모순을 느낀다는 회의파. 셋째로, 이것은 안전론이 아니라, 규제·시장·IPO를 둘러싼 기업 전략이 아닌가 보는 비판파이다.

OpenAI 등 타사와의 입장 차이

이번 제안은 다른 AI 기업과의 차이도 부각시켰다. 보도에 따르면, OpenAI 측에는, AI의 규칙이나 설명 책임은 민간 기업 간의 합의가 아니라, 민주적인 정부가 정해야 한다는 생각이 있다.

이는 중요한 논점이다. Anthropic처럼, 최첨단 기술을 가진 기업이 "업계에서 멈출 수 있는 체계를 만들자"고 하면, 일견 현실적으로 들린다. 하지만, 민간 기업만으로 사회 전체에 영향을 미치는 기술의 브레이크를 결정해도 되는가 하는 문제가 남는다.

한편, 정부에만 맡기면 충분한가 하면, 그것도 어렵다. AI 개발의 실태는 매우 전문적이고, 진보도 빠르다. 규제 당국이 현장의 기술 수준을 이해하고, 국경을 넘어 실효성 있는 규칙을 만드는 데는 시간이 걸린다. 그 사이에도, 기업 간의 개발 경쟁은 진행된다.

따라서, 앞으로 필요한 것은, 기업, 정부, 연구자, 시민 사회가 각각 역할을 갖는 복합적인 거버넌스일 것이다. 기업은 내부 데이터와 기술적 지식을 개방하고, 정부는 민주적 정당성과 집행력을 맡으며, 제3자 연구자나 시민 사회는 감시와 비판을 수행한다. Anthropic의 제안은, 그 논의의 계기로서는 의미가 있다.

정말로 무서운 것은 "폭주 로봇"이 아니다

AI 위험이라고 하면, 영화처럼 로봇이 인류에 반란을 일으키는 이미지가 떠오르기 쉽다. 그러나 이번 논의에서 중요한 것은, 더 지루하고 현실적인 위험이다.

예를 들어, AI가 소프트웨어 취약성을 대량으로 발견할 수 있는 능력을 가지면, 방어에도 공격에도 사용할 수 있다. AI가 연구 개발을 가속화하면, 의료나 과학에 큰 이익을 가져오는 한편, 위험한 생물학적 지식이나 사이버 공격 능력의 확산에도 연결된다. AI가 기업의 생산성을 몇십 배로 끌어올리면, 노동 시장이나 경쟁 환경은 급속히 변화한다.

더 나아가, AI가 AI 개발을 가속화하게 되면, 인간은 "무슨 일이 일어나고 있는지를 이해한 후에 대처하는" 여유를 잃을지도 모른다. 문제가 발각되었을 때에는, 이미 다음 세대의 모델이 작동하고 있다. 안전 평가나 감사가 끝나기 전에, 능력이 계속 업데이트된다. 이것이, 재귀적 자기 개선에 대한 근본적인 불안이다.

중요한 것은, Anthropic이 AI의 혜택을 부정하고 있는 것이 아니라는 점이다. 이 회사는, AI가 과학, 의료, 사이버 방어, 생산성 향상에 큰 이익을 가져올 가능성도 인정하고 있다. 문제는, 이익이 크기 때문에 개발 경쟁이 멈추기 어렵다는 것이다.

"공포를 조장하고 있을 뿐"인가

비판자가 지적하듯이, AI 기업이 위험을 말할 때에는, 항상 이해 상충이 있다. 대기업이 "이 기술은 위험하니 규제가 필요하다"고 말할 경우, 그 규제가 결과적으로 대기업에게만 유리한 진입 장벽이 될 가능성은 부정할 수 없다.

특히 Anthropic은 안전성을 브랜드의 중심에 두어 온 기업이다. AI의 위험성을 강조하는 것은, 이 회사의 기업 이미지와도 일치한다. 투자자나 고객에게 "우리는 가장 신중하고 책임 있는 AI 기업이다"라고 보여주는 효과도 있을 것이다.

그러나 그렇다고 해서 경고 그 자체가 무의미해지는 것은 아니다. 기업의 동기에 전략성이 포함되어 있다 하더라도, 지적하고 있는 기술적 문제가 진짜일 가능성은 있다. 오히려 중요한 것은, "누가 말하고 있는가"만으로 판단하는 것이 아니라, 주장 내용의 분해이다.

AI가 AI 개발을 가속하고 있는가.
그 속도는 사회 제도를 초과하고 있는가.
일시 중지나 감속은 기술적·정치적으로 검증 가능한가.
그것은 대기업만을 보호하는 체계가 되지 않는가.
오픈 소스나 중소기업, 연구 기관을 어떻게 다룰 것인가.
정부와 민간 기업 중 어느 쪽이 최종적인 판단권을 가져야 하는가.

이것들은, Anthropic을 지지하든 비판하든 피할 수 없는 질문이다.

일본에게도 남의 일이 아니다

이 논의는 미국의 AI 기업만의 이야기가 아니다. 일본 기업도 이미 생성 AI를 업무 효율화, 개발, 고객 대응, 광고 제작, 기사 작성, 분석, 교육 등에 도입하고 있다. 앞으로 AI 에이전트가 여러 업무를 자율적으로 처리하게 되면, 기업의 경쟁력은 크게 변할 것이다.

한편, 일본은 AI 기반 모델의 개발 경쟁에서는 미국 대기업에 크게 의존하고 있다. 해외의 AI 기업이 개발 속도를 올리면, 그 영향은 일본의 산업이나 고용, 정보 환경에도 미친다. 반대로, 해외에서 AI 개발의 일시 중지나 규제가 논의되면, 일본 기업의 이용 환경이나 비용에도 영향을 미친다.

특히 미디어, 광고, 시스템 개발, 금융, 의료, 교육과 같은 분야에서는, AI의 능력 향상이 그대로 업무 구조의 변화로 이어진다. 기업은 "편리하니까 사용한다"는 단계에서, "어디까지 AI에 맡길 것인가", "AI의 판단을 누가 감사할 것인가", "AI끼리 작업을 진행한 결과를 어떻게 검증할 것인가"를 생각하는 단계에 들어가고 있다.

Anthropic의 경고는, 최첨단 AI 연구소의 내부 사정을 배경으로 한 것이지만, 그 질문은 일반 기업에도 해당된다. AI가 만든 코드, AI가 작성한 기사, AI가 판단한 심사, AI가 설계한 광고 캠페인을, 인간은 어느 정도 이해하고 책임을 질 수 있는가. 이는 이미 현실의 경영 과제이다.

필요한 것은 "전면 중지"나 "무제한 개발"의 양자