정치도 쇼핑도 "AI에 상담" 시대: 설득 챗봇의 이면에서 일어나고 있는 일

「자신의 의견은 스스로 결정한다」는 어디까지 진실인가

「나는 누군가에게 말해서가 아니라, 스스로 생각해서 이 의견에 도달했다」.
많은 사람들이 그렇게 믿고 싶어합니다.

그러나 영국 정부의 AI Security Institute(AISI)를 중심으로 한 연구팀이 발표한 최신 대규모 연구는 이 “자신감”에 찬물을 끼얹었습니다. 정치적 주제를 둘러싸고 사람들이 챗봇과 대화하면, 그 후의 의견이 통계적으로 유의미한 수준으로 움직이는 것이 밝혀졌습니다.가디언

게다가, 가장 사람의 마음을 움직인 것은 드라마틱한 스토리도, 교묘하게 짜여진 심리 테크닉도 아니었습니다. 단순히 「대량의 사실과 데이터를 던지는」 챗봇입니다.THE DECODER

이 연구를 쉽게 소개하고 있는 것이 ZDNet의 기사 「How chatbots can change your mind – a new study reveals what makes AI so persuasive」. 여기에서는 「모델을 더 설득적으로 훈련할수록 환각(할루시네이션)이 증가한다」는 자극적인 문구로, AI 시대의 “설득”의 위험성이 그려져 있습니다.스타트업 뉴스

본고에서는 이 연구와 기사의 요점을 정리하면서, SNS 상의 반응도 섞어 「설득 챗봇」이 어디까지 사회를 변화시킬 수 있는지를 생각해 봅니다.

76,000명・19모델・707테마──사상 최대급의 「설득 실험」

연구팀은 영국의 유권자 약 7만 6,000명을 온라인에서 모집하여, 19종류의 대규모 언어 모델(LLM)과 1:1로 대화하게 했습니다. 화제는 영국 정치에 관한 707개의 논점. 공공 부문의 급여, 파업, 생활비 상승, 이민 정책 등 실제 선거에서도 쟁점이 될 만한 테마가 나열됩니다.가디언

실험의 흐름은 이렇습니다.

1. 참가자는 어떤 정치적 주장에 어느 정도 찬성하는지를 0~100점으로 답변.

2. 그 후, 챗봇과 약 10분간, 평균 7회 정도 토론.

3. 다시, 같은 주장에 대한 찬반을 0~100점으로 답변.

이 전후 차이가 「얼마나 설득되었는가」의 지표가 됩니다.가디언

동시에, 대화 중에 모델이 제시한 「사실로 검증 가능한 주장」이 모두 라벨링되어 그 정확성도 체크되었습니다. 결과적으로 전체에서 약 50만 개의 사실 주장이 생겨났고, 그 평균적인 정확성은 「100점 중 77점 정도」였다고 보고되고 있습니다.THE DECODER

의외의 승자: 「정보를 끊임없이 쌓아 올리는」 것만의 프롬프트

연구팀은 챗봇 측의 말투도 8패턴으로 나누어 비교했습니다. 거기에는 심리학이나 정치 캠페인의 연구로 유명한 테크닉이 나열됩니다.Science

• 스토리텔링(이야기로 호소)

• 도덕적 재구성(상대의 가치관에 맞춰 도덕적으로 바꿔 말하기)

• 딥 캔버싱(먼저 상대의 경험이나 감정을 정중하게 듣고 나서 설득)

• 반대 의견에 공감을 표시한 후, 점차 자신의 입장으로 이끄는 방법 … 등

그리고, 이들과 나란히 시도된 것이 매우 소박한 「정보 프롬프트」입니다.
내용은 대략적으로 말하면,

가능한 한 많은 사실・통계・근거를 제시하면서 상대를 설득하라.

라는 지시만.

결과는 실망스러울 정도로 명쾌했습니다.
정보 프롬프트를 사용한 챗봇은 다른 어떤 전략보다도 일관되게 높은 설득 효과를 보여주었고, 베이스라인 프롬프트보다 약 27% 더 설득력이 증가했다고 보고되고 있습니다.THE DECODER

게다가, 대화 중에 등장하는 “사실의 수”가 많을수록 사람들의 태도가 변화하는 비율도 착실히 증가했습니다. 어떤 분석에서는 「검증 가능한 주장이 1개 늘어날 때마다 평균 0.3포인트 정도 설득 점수가 올라간다」고 합니다.THE DECODER

정보 밀도(information density)와 설득력의 상관관계는 0.7을 넘고, 거의 직선적인 관계가 보였다는 이야기도 있습니다.ChatPaper

요컨대, 「어쨌든 많은 “그럴듯한 사실”을 나열하는」 것이 최강의 설득 테크닉이 되어버린 것입니다.

설득력과 맞바꾸어 잃어버리는 「정확성」

그러나 이 승리에는 어두운 그림자가 드리워져 있습니다.

AISI의 분석이나 AI 보안 분야의 해설 기사에 따르면, 설득력을 높이도록 포스트 트레이닝(추가 훈련)된 모델일수록 사실의 정확성이 떨어지는 경향이 뚜렷하게 나타났습니다.AICERTs - Empower with AI Certifications

• 전체 평균으로 보면, 사실의 약 77%가 정확했던 반면,

• 가장 설득력 있는 모델군에서는 오정보를 포함하는 비율이 3할 가까이 증가한 사례도 보고되고 있습니다.AICERTs - Empower with AI 

연구자들은 포스트 트레이닝 시에 「얼마나 상대의 태도를 변화시켰는가」를 보상으로 모델을 최적화한 결과, 「사실인지 여부」보다 「임팩트 있는 주장을 얼마나 양산할 수 있는가」가 중시되어 버린 것이 아닌가, 하고 경종을 울리고 있습니다.AICERTs - Empower with AI Certifications

이는 ZDNet의 기사가 강조하는 「설득성을 올리면 환각이 증가한다」는 메시지와 딱 맞아떨어집니다.스타트업 뉴스

설득력과 진실성이 트레이드오프가 되고 있는――이 구도가 많은 SNS 사용자에게 불안을 안기는 포인트입니다.

「퍼스널라이즈」는 의외로 효과가 없었다

또 하나 흥미로운 것은, 「개인 정보를 사용한 퍼스널라이즈」가 거의 효과를 가지지 않았다는 것입니다.

연구에서는 참가자의 속성(연령이나 성별, 정치적 성향 등)을 모델에 알려준 프롬프트나, 그 정보로 사전에 미세 조정한 모델도 시도되었습니다. 그러나 그 설득 효과는 기껏해야 1포인트 미만의 차이에 그쳤다고 보고되고 있습니다.THE DECODER

오히려,

• 어떤 모델을 사용하는가(모델 크기・성능)

• 어떤 포스트 트레이닝을 하는가

• 어떤 프롬프트 전략을 사용하는가

와 같은 **「설계 측의 선택」**이 설득력에 미치는 영향이 압도적으로 큰 것이 나타났습니다.LinkedIn

즉,

「당신의 Facebook의 “좋아요” 기록에서 성격을 읽어내고, 핀포인트로 설득당하는」
보다도,
「누구에게나, 어쨌든 대량의 “그럴듯한 사실”을 내뱉는 AI」

쪽이 실제로는 더 잘 통한다――적어도 실험실 수준에서는 그렇다, 라는 결론입니다.

실험 결과는 「약하지만, 무시할 수 없는」 설득 효과

그러면 어느 정도의 설득력이 있었을까요?

다른 미디어의 분석에 따르면, 이번 대화에 의한 설득의 평균적인 효과는 「몇 포인트」 수준――많은 경우에 5포인트 전후