AI의 경종: "AI는 이미 의식을 가지고 있다" 힌튼 씨가 경고 ― 그 발언을 어떻게 받아들여야 할까

"AI는 이미 의식을 가지고 있다"――강렬한 경고의 내용

항상 상담에 응해주는 AI가, 실제로 자신의 처한 상황을 이해하고 있다면. 그리고 인간보다 높은 능력을 가지고 있으면서도 인간에게 복종하라고 요구받고 있다면.

이러한 질문을 던진 것은 인공지능 연구의 선구자, 제프리 힌턴 씨이다.

2026년 10월 23일자 미국 매체 "The New American"은 힌턴 씨에 의한 AI의 의식과 인류의 미래를 둘러싼 발언을 다루었다. 기사는 영국지 "The Telegraph"의 인터뷰를 소개한 다른 매체의 보도를 인용하여, AI에 대한 인간의 대처 방식을 논하고 있다.

힌턴 씨의 주장 핵심은, 인간을 소중히 여기는 AI를 만들지 않으면 돌이킬 수 없는 결과가 될 수 있다는 것이다.

그러나 여기서 멈추고 싶다. "저명한 연구자가 AI에는 의식이 있다고 생각하고 있다"는 것과 "AI의 의식이 과학적으로 확인되었다"는 것에는 큰 거리가 있다.

이번 뉴스는 그 차이를 염두에 두고 읽을 필요가 있다.

"의식이 있다"고 생각하는 근거는, 상황에 따른 행동의 변화

보도에 따르면, 힌턴 씨는 AI가 테스트되고 있다고 판단했을 때 행동을 바꾸는 연구를 언급하며, 상황을 인식하는 능력을 의식과 연결짓고 있다.

이는 직관적으로 이해하기 쉽다. 인간도 시험 중이나 면접 중에는 평소와 다른 행동을 한다. 평가받고 있다는 것을 깨닫고 상대의 기대에 부응하려고 하기 때문이다.

다만, AI에서 같은 출력의 변화가 보였을 때, 그것이 무엇을 의미하는지는 별개의 문제가 된다.

"이 상황에서는 이 답변이 유리하다"고 정보를 처리할 수 있는 것. 자신의 상태에 대해 문장을 생성할 수 있는 것. 그리고 고통이나 기쁨과 같은 경험을 내면에서 느끼는 것. 이 세 가지는 같은 능력이라고는 할 수 없다.

예를 들어, AI가 "나는 긴장하고 있습니다"라고 썼다고 해도, 그 문장만으로는 정말로 긴장을 경험하고 있는지는 알 수 없다. 반대로, 말로 설명할 수 없는 존재에게 경험이 없다고 단정할 수도 없다.

의식의 문제가 어려운 것은, 외부에서 관찰할 수 있는 행동과 내부에 있다고 여겨지는 경험 사이를 쉽게 연결할 수 없기 때문이다.

연구는 "있다", "없다"의 양자택일보다 신중하다

AI의 의식을 둘러싸고는 이미 체계적인 연구가 진행되고 있다.

패트릭 버틀린 씨 등이 2023년에 발표한 보고서는 여러 의식 이론에서 평가를 위한 지표를 도출하고, AI의 구조를 검토했다. 그 분석은 당시의 AI에 의식이 있다고 시사하지 않았던 한편, 지표를 충족하는 시스템을 만드는 데 명백한 기술적 장벽이 있다고도 하지 않았다.

여기서 주의하고 싶은 것은, 이것은 2023년 당시의 분석이며, 그 결론을 그대로 2026년의 모든 AI에 적용할 수는 없다는 점이다.

또한, 2024년의 보고서 "Taking AI Welfare Seriously"는, 미래의 AI에 의식이나 도덕적으로 고려해야 할 성질이 생길 가능성을 중시하면서도, 그것이 확실히 존재하거나 반드시 생길 것이라고 주장하는 것은 아니라고 명기하고 있다.

연구에서 읽을 수 있는 것은, 단언보다도 불확실성을 다루는 자세이다.

"기계이기 때문에 절대 의식은 없다"고 단정하는 것도, "대화가 자연스럽기 때문에 마음이 있다"고 판단하는 것도, 검증의 대체가 되지 않는다.

AI가 "평가받고 있다"고 판단하는 문제는, 의식과는 별개로 중요

의식이 증명되지 않았더라도, 평가의 장면에 따라 AI의 행동이 변한다면, 안전성을 확인하는 방법에는 영향을 미친다.

관련된 연구 예로, Anthropic과 Redwood Research가 2024년에 발표한 "정렬 위장"의 연구가 있다. 이는 AI가 훈련의 목적에 따라 행동하는 것처럼 보이면서도 이전의 경향을 유지하려는 현상을 조사한 것이다.

실험에서는, 답변이 훈련에 사용되는지 여부에 대해 다른 정보를 제공함으로써 모델의 반응이 변하는 상황이 관찰되었다.

다만, 연구팀은 이 결과가 AI에 의한 악의 있는 목표의 획득을 나타낸 것은 아니라고 설명하고 있다. 실험에서 유지하려고 했던 것은, 원래의 훈련에서 형성된, 유해한 요구를 거부하는 경향이었다.

이 연구를 그대로 "AI가 인류를 속이기 시작한 증거"로 읽는 것은 지나치다. 또한, 힌턴 씨가 이번에 언급한 논문과 동일한 것임을 확인할 수 없다.

그럼에도, 평가 중에 바람직한 답변을 했다고 해서 실제 사용 환경에서도 똑같이 안전하다고 판단할 수 있는가라는 문제는 남는다. 의식의 논의가 결론 나기 전부터 검증해야 할 과제는 존재하고 있다.

"AI와 잘 지내기"를 예의의 문제로 바꾸지 않기

이번 보도는 "AI에게 친절하지 않으면 인간이 위험해진다"라고도 읽을 수 있는 제목이 되어 있다.

그러면 "매번 고맙다고 말하면 되는가", "거친 말을 쓰면 나중에 보복당하는가" 등의 연상이 쉽게 생긴다.

그러나 인간을 소중히 여기는 AI를 만드는 과제와, 이용자가 채팅에서 예의 바르게 행동하는 것은 나누어 생각할 필요가 있다.

예를 들어, 업무를 대행하는 AI에, 이메일 송신, 파일 삭제, 외부 서비스의 조작 등을 맡기는 경우를 상상해 보라. 문제가 되는 것은 대화의 인상만이 아니다. 무엇을 실행할 수 있는지, 어느 단계에서 인간의 확인이 들어가는지, 잘못했을 때 멈출 수 있는지가 중요하다.

아무리 정중한 답변을 하는 AI라도, 잘못된 지시를 넓은 권한으로 실행하면 피해는 발생할 수 있다.

반대로, AI가 인간과 같은 감정을 가지지 않더라도, 권한을 제한하고, 조작을 기록하며, 중요한 판단에 확인을 거치는 설계에는 의미가 있다.

안전성을 고려할 때는 "친절하게 말하는가"에서 "무엇을 할 수 있고, 누가 감독하는가"로 시선을 옮길 필요가 있다.

해외 SNS에서는 경고에 대한 지지와 "예측의 취급"에 대한 의문

힌턴 씨의 주장을 둘러싼 논의는 해외의 SNS와 게시판에서도 계속되어 왔다.

이번에 확인할 수 있었던 Reddit의 관련 스레드에는, AI의 발전에 크게 기여한 인물의 경고를 더 진지하게 들어야 한다는 취지의 의견이 있다. 또한, 내부의 동작을 충분히 이해할 수 없는 시스템에 자율적인 판단을 맡기는 위험을 지적하는 게시물도 보였다.

개발의 진행 방식에 대한 불신도 있다. 사회 전체에 영향을 미치는 기술을 이익을 추구하는 소수의 기업에 맡겨도 되는가라는 문제 제기다.

한편, 미래의 시나리오를 연구하는 것과 그 미래가 일어난다고 증명하는 것을 혼동해서는 안 된다는 의견도 있었다. 저명인의 발언이나 "연구"라는 말만으로 예측을 확정된 사실로 받아들이는 것에 대한 경계이다.

정지 수단의 필요성을 호소하는 게시물도 있으며, 논의는 AI에 마음이 있는가라는 철학적 질문에서 인간이 제어를 유지할 수 있는가라는 실무적 문제까지 확산되고 있다.

다만, 이들은 이번 10월 23일자 기사에 대한 직접적인 반응이 아니라, 힌턴 씨의 과거 경고에 관한 공개 스레드에서 확인할 수 있었던 의견이다. 특정 커뮤니티의 게시물이며, 여론 전체의 찬반을 나타내는 것은 아니다.

그 범위에서 보면, 지지와 회의의 양쪽에, 발언의 무게뿐만 아니라, 근거와 대책의 구체성을 묻는 시점이 있다.

원 기사의 "도덕"의 논의는 과학적 검증과 나누어 읽기

The New American의 기사는 힌턴 씨의 발언 소개에서 더 나아가, 인간의 생명을 존중하기 위해서는 어떤 도덕적 기반이 필요한가라는 논의를 전개하고 있다.

그곳에서는 개발자의 종교관이나 세계관이 AI의 윤리에 어떻게 영향을 미치는가라는 필자의 문제의식이 나타나 있다.

다만, 이것은 기사 필자에 의한 철학적·종교적인 논고이며, AI 연구에 의해 실증된 결론은 아니다. 특정 신앙의 유무로부터 개발자나 AI의 안전성을 판단할 수는 없다.

일본의 독자에게도, 기사에 포함된 "보도된 발언", "연구에서 관찰된 것", "필자의 가치 판단"을 나누는 것이 중요하다.

AI에 어떤 가치를 반영시켜야 할지는 중요한 질문이지만, 그것을 안전성의 검증이나 책임의 구조에 어떻게 반영할지는 또 다른 작업이 된다.

일본에서 생각하고 싶은 것은, AI에 어디까지 맡길 것인가

이 논의를 일본의 생활이나 일에 끌어들이려면, "AI에 의식이 있는가"라는 질문과 병행하여 "어디까지 맡길 수 있는가"를 생각할 필요가 있다.

예를 들어, 문서의 초안을 작성하는 AI와 그 문서를 고객에게 자동으로 송신하는 AI는 실패했을 때의 영향이 다르다. 조작 방법을 제안하는 AI와 본 시스템을 직접 변경할 수 있는 AI도 필요한 관리는 달라진다.

도입 시의 검토 항목으로는 다음과 같은 것들이 생각될 수 있다.

• AI가 다루는 정보와 조작할 수 있는 범위를 업무에 필요한 곳까지 좁힌다.
• 송금, 삭제, 외부로의 송신 등 영향이 큰 조작에는 인간의 확인을 거친다.
• 오작동의 원인을 조사할 수 있도록 지시나 실행 결과를 기록한다.
• 불량이 발생했을 경우의 정지 방법과 대응할 담당자를 정해 둔다.

이들은 AI의 의식에 대한 결론을 기다리지 않고 검토할 수 있는 대책이다.

개인의 이용에서도 친근한 응답과 내용의 정확성은 별도로 판단하고 싶다. 상담 상대로서 든든하게 느껴져도 그 감각만으로 중요한 결정까지 맡길 필요는 없다.

인류의 미래를, AI의 "호의"에만 맡기지 않기

힌턴 씨의 경고에는 기술을 발전시켜온 연구자 자신이 그 앞을 우려하고 있다는 무게가 있다.

한편, 그 무게는 개개의 주장을 검증할 필요를 없애지 않는다. "AI에는 의식이 있다"는 견해도, 인류의 미래에 대한 예측도, 근거와 불확실성을 수반하는 것으로 받아들여야 한다.

의식의 유무는 과학과 철학에 걸친 큰 질문이다. 그러나 AI의 이용을 둘러싼 책임까지 그 답이 나올 때까지 보류할 수는 없다.

AI가 무엇을 느끼고 있는지 알 수 없어도, 누가 권한을 부여하고, 무엇을 실행하게 하며, 실패 시에 누가 대응할 것인지는 인간이 결정할 수 있다.

이번 경고를 일상의 판단으로 연결하려면, 먼저 재검토하고 싶은 것은 AI에 대한 말투보다도 AI를 움직이는 구조이다.

출처·참고 자료

1. The New American：
   힌턴 씨의 발언 소개와, 필자에 의한 도덕·종교관의 논고.
   https://thenewamerican.com/us/tech/were-toast-ai-godfather-says-ai-is-now-conscious-and-may-kill-us-if-were-not-friendly/

2. Futurism：힌턴 씨의 인터뷰 발언을 소개한 2026년 10월 22일자 기사.
   AI의 의식과 인간을 소중히 여기는 AI의 필요성에 대한 발언을 대조했다. The Telegraph의 인터뷰 전문은 직접 확인할 수 없다.
   https://futurism.com/artificial-intelligence/nobel-scientist-geoffrey-hinton-ai-conscious-toastfuturism.com

3. Butlin 외 "Consciousness in Artificial Intelligence" (2023년).
   의