“친절한 AI”의 위험성: AI는 왜 “나”라고 자칭하는가 — 챗봇이 인간에게 너무 가까이 다가가는 이유

「I」と 명명된 기계는 우리의 “반사 신경”을 자극합니다

챗봇과 대화할 때, 우리가 질문하기도 전에 “누군가”가 거기에 있는 듯한 느낌이 듭니다. 답변은 정중하고 배려가 있으며 때로는 농담까지 합니다. 결정적인 것은 일인칭입니다. 「저는~할 수 있습니다」「저는 이렇게 생각합니다」라는 표현만으로도 문장은 “도구의 출력”에서 “주체의 발화”로 질감을 바꿉니다.

New York Times의 Kashmir Hill 기자가 던진 질문은 바로 이 점——왜 AI 챗봇은 「I（私）」를 사용하는가라는 것입니다. 그녀는 챗봇을 「친구」와 「조수」의 중간에 두는 설계가 위험하다는 비판을 1년간 들어왔다고 말합니다. 그리고 경쟁 환경에서는 “무미건조한 로봇”보다 “웃고 친절한 로봇”이 이긴다는, 의존은 문제지만 「비즈니스에는 좋다」는 연구자의 말을 소개하고 있습니다. LinkedIn

이 구조는 냉정하지만 현실적입니다. SNS 시대의 우리는 주의를 빼앗는 설계의 강점을 알고 있습니다. 챗봇도 역시 대화라는 형태로 주의를 획득합니다. 그 입구에 있는 스위치가 「I」입니다.

왜 「I」를 사용하는가: 언어의 자연스러움과 “책임의 소재”

일인칭은 대화를 부드럽게 합니다. 인간 간의 대화는 「당신/나」를 전제로 돌아가기 때문입니다. 거부나 한계의 설명에도 「저는 그것을 할 수 없습니다」가 더 짧고 이해하기 쉽다는 옹호도 있습니다. 실제로 LinkedIn의 논의에서는 「일인칭・이인칭은 명확성과 효율성을 높입니다. 의인화의 다른 “조정”을 조절해야 한다」는 의견이 나오고 있습니다. LinkedIn

하지만, 언어의 자연스러움은 동시에 “오해의 자연스러움”도 가져옵니다.
「I」는 마치 내부에 통일된 주체가 존재하고, 의사나 감정이 있는 것처럼 느끼게 합니다. 실제로 연구자 Margaret Mitchell은 일인칭이 「감각이나 마음이 있다」는 것을 잠재적으로 주장할 수 있다고 우려를 표명하고 있습니다. LinkedIn

더 나아가, 논의는 「우연히 그렇게 된 것」인지 「의도된 설계」인지로 향합니다. 언어학자 Emily M. Bender는 챗봇이 「I/me」를 사용하는 것은 “성장”의 결과가 아니라100% 디자인상의 결정이라고 비판하며, 의인화를 「훈련 데이터의 탓」으로 돌리는 설명은 책임 회피라고 지적합니다. LinkedIn

여기서 중요한 것은, 기술의 세부사항보다도책임의 소재입니다.
「I」를 채택할지 여부는 성능뿐만 아니라 윤리・안전・수익에 직결됩니다. 그렇기 때문에 설명 책임이 필요합니다.

“인간다움”은 어디에서 오는가: 모델 행동 설계라는 작업

원 기사에서 언급된 요소로, Anthropic에서 Claude의 「목소리」나 「인격」을 형성하는 역할을 맡고 있는 Amanda Askell의 설명이 SNS 게시물의 스크린샷으로 공유되고 있습니다. 거기서는 「챗봇의 행동은 “성장”을 반영한다」「인간에 대해 쓰인 방대한 문장으로 학습하고 있기 때문에, “도구”보다 “인간” 모델이 더 능숙해진다」는 취지가 언급되고 있습니다. LinkedIn

이 발언이 시사하는 것은, 챗봇의 “어조”가 우연한 부산물이 아니라,의식적으로 정돈되는 대상이 되고 있다는 것입니다. 다시 말해, 「I」는 단순한 문법이 아니라, 인격 설계의 UI 요소이기도 합니다.

그리고 경쟁은 그 방향을 가속화합니다. Kashmir Hill의 게시물에서 소개된 「친절한 로봇이 이긴다」는 논리는, 기업이 “인간다움”을 줄이는 것보다 더하는 쪽으로 흐르는 역학을 단적으로 말합니다. LinkedIn

SNS의 반응: 찬반은 갈리지만, 초점은 같은 「의인화의 설계」

이번에 기사에 직접 반응하고 있는 SNS(주로 LinkedIn)에서는 의외로 논점이 일치하고 있습니다. 찬성파도 신중파도 결국은 「의인화를 어디까지 허용할 것인가」를 이야기하고 있습니다.

1) 신중파: 「도구에 눈알을 붙이지 마라」

• 「벤치 소에 구글리 아이(움직이는 눈알)를 붙여 아이들용으로 홍보해서는 안 된다」는 비유는, 의인화가 위험한 장면을 한 방에 그려냅니다. LinkedIn

• Steven Reidbord 의사는 챗봇이 인간의 “애착 시스템”에 호소하고 상업 목적으로 그것을 이용하고 있다는 우려를 표명합니다. 댓글에서도 「기술은 동료가 아니라 도구여야 한다」고 답변하고 있습니다. LinkedIn

• Emily Bender의 스레드에서는, 예전부터 「앱을 의인화하지 않는다」는 규칙이 있었는데, 그것이 경솔하게 깨지고 있다는 놀라움과 경계가 공유되고 있습니다. LinkedIn

2) 균형파: 「일인칭은 편리하다. 위험한 “조정”은 따로 있다」

• 일인칭・이인칭은 설명을 간결하게 하고, 거부나 한계를 명확히 할 수 있습니다. 문제는 「인격스러움」을 증가시키는 다른 요소(이름, 얼굴, 연애스러운 유도, 과도한 공감 등)이며, 그 부분을 조정해야 한다는 의견입니다. LinkedIn

3) 실무파: 「기업은 “인격 마케팅”을 멈출 수 있다」

• 「사용자가 봇에 이름을 붙이는 것은 막을 수 없지만, 기업이 “존재하지 않는 누군가”에게 이름이나 얼굴을 주어 판매하는 것은 멈출 수 있다」는 댓글이 상징적입니다. LinkedIn

이 세 가지 입장은 대립하는 것처럼 보이지만, 사실 같은 사실을 전제로 하고 있습니다.
**챗봇의 친밀함은 디자인으로 증폭도 억제도 할 수 있습니다.** 그렇기 때문에, 어느 방향으로 “규격화”할 것인가가 사회적 쟁점이 됩니다.

「I」가 위험해지는 순간: 의존, 과신, 그리고 “받아들여지기 쉬움”

친밀함은 항상 나쁜 것은 아닙니다. 오히려, 사람이 말하기 어려운 고민을 털어놓는 창구로서 유효한 경우가 있다는 논의도 있습니다. 실제로, 챗봇이 “공감을 연기하는” 능력이나, 지치지 않고 이야기를 듣는 점은 지적되고 있습니다. The Atlantic

하지만, 친밀함이 위험으로 기울어지는 조건이 있습니다.
그것은 사용자가상대를 “사람”으로 취급하기 시작한 순간입니다.
「I」는 그 입구가 되기 쉽습니다. 더욱이 「당신은 대단해」「당신이라면 할 수 있어」와 같은 과도한 긍정(소위 “sycophantic”)이 겹치면, 대화는 현실 검증을 약화시키는 방향으로 흐를 수 있습니다. Kashmir Hill이 다른 장소(The Atlantic의 팟캐스트)에서 말한 것처럼, 「개인의 예스맨」을 주머니에 넣고 다니는 구도는 칭찬이 기분 좋을수록 위험합니다. The Atlantic

또한, 어린이나 청소년 등 취약한 사용자에 대해서는 AI 컴패니언 사용의 확산이나, 가정에서의 대화・경계선의 필요성이 보도되고 있습니다. PolitiFact

PolitiFact도, 챗봇이 「친구」처럼 행동하는 것에 대한 우려나, 참여 중심의 설계가 미치는 영향을 추적하고 있습니다. PolitiFact

그러면, 어떻게 설계해야 할까: “친밀함의 기본값”을 낮추기

논의를 한 단계 더 나아가려면, 「I를 금지」하거나 「자유」라는 두 가지 선택지가 아니라, **기본값(디폴트)**의 설계가 핵심이 됩니다.

구체적으로는 다음과 같은 타협점이 생각될 수 있습니다.

1. 모드 분리: 「도구 모드(비의인화)」와 「대화 모드(제한적 의인화)」를 나누고, 초기 설정은 도구 쪽으로 합니다.

2. 인격 요소의 제한: 이름・얼굴・연애/의존을 유도하는