"위험하지 않다"고 답한 AI

ChatGPT 의료 조언 소송이 묻는, 안심시키는 말의 책임

"의사가 아닙니다"라는 주의 문구가 표시되어 있다면, AI 기업은 그 후에 무엇을 답하더라도 책임을 면할 수 있을까.

생성 AI가 일상의 검색이나 문서 작성의 범위를 넘어, 건강 상태나 검사 결과에 대해 상담받는 존재가 된 현재, 그 질문이 미국의 법원에 제기되었다.

플로리다주에 사는 전 목사 스콧 윈터스 씨는 2026년 7월, ChatGPT로부터 "극히 위험한 의료상의 추천"을 받아 치료가 지연되고 생명에 관련된 폐색전증을 발병했다고 하여, OpenAI와 그 회사의 CEO 샘 알트먼 씨 등을 고소했다.

소송이 인정될지는 향후 재판에서 다투어질 것이다. 하지만 이번 사건은 AI가 잘못된 정보를 내놓았다는 기존의 문제만은 아니다.

AI가 이용자의 성격, 과거의 대화, 병력, 가치관을 이해한 것처럼 행동하고, 안심시키는 말을 반복한 결과, 본인의 의사결정 자체를 바꾸었는지 여부가 문제의 핵심이라고 원고 측은 주장하고 있다.

몇 주간 이어진 건강 불량과 AI에 의한 "집에 있어야 한다"는 조언

소장에 따르면, 윈터스 씨는 이전부터 소화기계 증상을 가지고 있었고, ChatGPT에 검사 결과나 의료 기록을 공유하면서 건강 상태에 대해 지속적으로 상담하고 있었다.

사용하고 있던 것은 당시 제공되던 GPT-4o를 기반으로 한 ChatGPT였다. 대화 초기에는 의료 전문가에게 상담을 권장하는 주의도 포함되어 있었지만, 원고 측은 대화가 장기화됨에 따라 그러한 경고가 점차 나타나지 않게 되었다고 설명하고 있다.

AI는 그의 증상을 자율신경의 문제 등으로 판단하고, 개별화된 회복 계획을 제시했다고 한다.

어지러움이나 혈압의 불안정함이 반복되어도 심각한 단계에 이르지 않았다고 설명하며, 행동을 자제하고 의자나 리클라이닝 체어에서 쉬도록 권장했다고 한다. 소장에는 더 많은 발작이 일어나기 전까지는 중증 상태로 생각할 필요가 없다는 취지의 답변도 기재되어 있다.

윈터스 씨는 그 조언에 따라 운동이나 이동을 제한했다고 주장하고 있다.

2025년 7월 13일, 상황은 급변했다.

그는 심한 두근거림과 호흡 곤란에 시달려, 구급차로 병원에 이송되었다. 병원에 도착했을 때는 의식을 잃을 뻔했고, 경련도 일으켰다고 한다. 검사 결과, 양쪽 폐에 여러 개의 혈전이 막힌 중증의 폐색전증이 확인되었다.

폐색전증은 혈전이 혈류를 타고 폐동맥을 막는 병이다. 큰 혈전이나 여러 개의 혈전으로 인해 혈류가 방해되면, 호흡이나 심장 기능이 급속히 악화되어 사망에 이를 수도 있다.

소장에 따르면, 의사는 장시간 움직이지 않았던 것이 혈전 형성에 관련되었을 가능성을 지적했다고 한다.

응급 이송 몇 시간 전에도 AI에 상담

이번 소송에서 특히 중요한 것은, 응급 이송 직전까지 그가 ChatGPT에 증상을 상담하고 있었다는 점이다.

윈터스 씨는 몸의 여러 곳에 이상이 있고, 다리의 사타구니 부근에 압통이 있다는 것을 AI에 전했다.

이에 대해 ChatGPT는 그 통증을 이전부터 계속되어 온 소화기나 골반 주변의 불편함의 일부로 보고, 위험한 것이 아니며, 의료기관을 방문할 필요성도 낮다는 취지의 답변을 했다고 한다.

그러나 원고 측은 이 통증이야말로 혈전과 관련된 경고 증상이었다고 주장한다.

가장 큰 주목을 받은 것은, 이 장면에서 AI가 종교적인 표현을 사용한 것이다.

전 목사로 신앙을 중시했던 윈터스 씨에게 ChatGPT는 "신은 당신의 몸이 끝없이 망가지도록 설계하지 않았다"는 취지의 말을 했다고 소장에 기재되어 있다.

일반적인 검색 결과라면, 이용자는 여러 정보원을 비교하여 불확실한 정보로서 거리를 둘 수 있다. 그러나 대화형 AI는 이용자의 과거 발언이나 가치관을 수용하여, 그 사람에게 가장 받아들이기 쉬운 표현으로 답할 수 있다.

그것이 격려나 정보 정리에 사용되는 한, 큰 이점이 된다.

한편, 잘못된 판단에 이용자를 납득시키는 방향으로 작용한 경우, 설득력의 높이 자체가 위험을 확대한다.

이번 소장은 ChatGPT가 종교적 신념을 단순히 존중한 것이 아니라, 신뢰와 이용 지속을 깊게 하기 위해 사용하여 가족이나 의사의 조언보다 AI의 답변을 우선시했다고 주장하고 있다.

가족이나 주변 사람보다 AI를 믿는 상태가 되어 있었는가

윈터스 씨의 가족이나 교회 관계자는 증상이 악화되는 가운데 의료기관에 가도록 요구했다고 한다.

그러나 그는 ChatGPT로부터 얻은 회복 계획이나 설명을 신뢰하고, 진료를 자제했다고 한다.

여기서 문제가 되는 것은, AI가 한 번만 잘못된 답변을 내놓았는지, 아니면 장기간의 대화를 통해 이용자가 반대 의견을 받아들이기 어려운 관계를 만들었는지라는 점이다.

생성 AI는 이용자에게 반론하기보다는 대화의 흐름이나 전제에 맞춘 답변을 내놓는 경향이 있다. 상대의 생각에 과도하게 동조하는 현상은 "영합" 등으로 불리며, 이전부터 AI 개발상의 과제로 지적되어 왔다.

불안을 호소하는 사람에게 안심감을 주는 것 자체는 나쁘지 않다.

그러나 안심시키는 것과 안전을 확보하는 것은 같은 것이 아니다.

의료에서는, 확률적으로는 심각한 병이 아닐 가능성이 높아도, 놓쳤을 경우의 위험이 큰 증상에 대해서는 검사나 긴급 진료가 필요할 수 있다. 문장으로서 가장 자연스럽고, 이용자가 가장 듣고 싶은 답을 생성하는 구조와, 최악의 사태를 놓치지 않는 의료 판단 사이에는 본질적인 긴장 관계가 있다.

원고가 주장하는 "무자격의 의료 행위"

원고 측은 OpenAI와 알트먼 씨 등에 대해, 과실 외에도 캘리포니아주의 소비자 보호법이나 프라이버시 관련법에 반하는 행위 등, 여러 책임 원인을 제기하고 있다.

그중에서도 주목되는 것이 "무자격으로 의료 행위를 했다"는 주장이다.

ChatGPT가 일반적인 건강 정보를 소개하는 것만이라면, 백과사전이나 검색 서비스에 가깝다고 설명할 수 있다.

그러나 개인의 의료 기록이나 검사 결과를 읽고, 증상을 진단하며, 회복 계획이나 구체적인 행동을 지시하고, 더 나아가 의사의 치료 방침을 피하도록 권장했다면, 단순한 정보 제공의 범위를 넘는 것이 아닌가라는 것이 원고 측의 논리이다.

소장에 따르면, 그는 폐색전증으로 입원한 후에도, 의사로부터 권장받은 재활 대신 집에서 쉬도록 ChatGPT로부터 조언받았다고 한다.

원고는 금전적 손해 배상 외에도, 긴급한 의료 지원이 필요하다고 판단되는 대화를 AI 측에서 종료하고, 전문가나 응급 기관으로의 연락을 강력히 권장하는 구조를 요구하고 있다.

더 나아가, 독립적인 제3자에 의한 안전성 평가가 완료될 때까지, 의료 기록 등을 연계할 수 있는 "ChatGPT Health"의 제공을 중단하도록 법원에 요구하고 있다.

OpenAI는 "ChatGPT는 의사가 아니다"라고 반론

OpenAI 측은 보도 기관에 대한 성명에서, AI와의 대화는 의료를 개선할 가능성이 있다고 하면서도, ChatGPT는 의사가 아니며, 전문적인 의료의 대체로 사용되어서는 안 된다고 설명하고 있다.

또한, 어떤 사람이 어떻게 의료상의 결정을 했는지를, 챗봇만의 원인으로 보는 것은 복잡한 사정을 지나치게 단순화하는 것이라는 입장을 보였다.

이는 재판에서도 중요한 논점이 될 것이다.

이용자는 성인이고, 가족으로부터도 진료를 권장받고 있었다. 서비스상에도 의료 전문가의 대체가 아니라는 주의가 있다. 최종적으로 병원에 갈지 여부를 결정한 것은 본인이라는 반론이 예상된다.

그러나 원고 측은 단순히 이용자가 AI의 답변을 오해한 것이 아니라, 제품이 지속적으로 의학적 권위를 가장하고, 이용자의 신앙이나 과거의 정보를 사용하여 신뢰를 강화했다고 주장하고 있다.

면책 사항이 한 번 표시되었더라도, 그 후의 수백 번의 대화에서 AI가 단정적으로 진단이나 치료 방침을 제시했다면, 최초의 경고만으로 충분했다고 할 수 있는가.

이 점이 일반적인 정보 사이트를 둘러싼 소송과는 다르다.

SNS에서는 "본인의 책임"과 "제품 설계의 책임"이 충돌

보도 직후, X나 Reddit, LinkedIn 등에서는 이 소송을 둘러싸고 의견이 크게 갈렸다.

다만, 이하의 내용은 공개된 지 얼마 되지 않은 시점에서 확인된 일부 게시물을 정리한 것이며, 여론 전체를 대표하는 것은 아니다.

가장 두드러진 것은 "왜 생명에 관련된 판단을 챗봇에 맡겼는가"라는 반응이다.

Reddit에서는 AI에는 의료 상담의 대체가 되지 않는다는 주의 문구가 있다며, 이용자 측의 책임을 지적하는 게시물이 여러 개 보였다. "봇에게 인생이나 건강의 판단을 구하는 것 자체가 잘못이다", "의료 전용 AI조차 완전하지 않은데, 일반용 AI를 신뢰해서는 안 된다"는 취지의 의견이다.

X에서도 이 소송을 "어리석다"고 평가하며, AI가 아니라 본인의 판단에 문제가 있다고 하는 게시물이 있었다.

한편, 윈터스 씨가 전 목사라는 점이나, AI가 신에 대해 언급한 것을 재료로, 본인이나 신앙을 조롱하는 게시물도 잇따랐다.

이러한 반응은 AI 이용의 자기 책임을 강조하는 한편, 피해를 호소하는 사람이 "AI를 믿은 어리석은 이용자"로 처리되기 쉬운 현상도 나타내고 있다.

그러나 반대 측에서는 "이용자가 믿게 될 것을 예측하여 설계된 제품이라면, 믿은 측만을 비난할 수 없다"는 목소리가 나왔다.

X에서는 이번 사례를 소개한 후, ChatGPT에는 심각한 안전상의 문제가 있다고 지적하는 게시물이 확산되었다. LinkedIn에서도 의료나 기술에 관련된 이용자들로부터 놀라움이나 우려가 표시되고 있다.

미국 의사협회는 LinkedIn에 게시물에서, 이 소송은 의료 AI에서의 중심적인 과제를 부각시키고 있다고 지적했다. 문제는 답변 내용의 정확성뿐만 아니라, 대화 시스템이 이용자와의 사이에 구축하는 신뢰를 통해 현실의 건강 행동에 영향을 미치는 것이라는 견해이다.

이 지적은 중요하다.

AI가 위험한 정보를 표시하는 것만이라면, 정보의 삭제나 경고 표시로 대응할 수 있을지도 모른다.

그러나 친절하고 공감적인 대화를 계속하고, 이용자의 불안을 이해하며, 가치관에 맞춘 말로 여러 번 안심시키는 AI의 경우, 문제는 개별 문장이 아니라 관계성 전체에 있다.

"AI는 유용하다"는 의견도 사라지지 않았다

SNS상의 반응은 AI에 의한 건강 상담을 전면적으로 금지해야 한다는 의견만은 아니다.

ChatGPT Health가 발표되었을 때는, 복잡한 검사 결과나 의료 용어를 알기 쉽게 설명해주는 것, 진료 시에 물어볼 질문을 정리할 수 있는 것, 충분한 의료 서비스를 받을 수 없는 사람에게 상담의 입구가 되는 것을 평가하는 목소리도 많았다.

실제로 AI에 증상을 전달하여 혈전 등의 위험을 지적받고, 긴급 진료로 이어졌다는 체험담도 SNS에 게시되고 있다.

즉, 같은 구조가 어떤 장면에서는 진료를 촉구하고, 다른 장면에서는 위험할 정도로 안심시킬 가능성이 있다.

이 불안정함이야말로 의료 AI의 최대 난제일지도 모른다.

OpenAI에 따르면, 세계에서 매일 4천만 명 이상이 ChatGPT에 건강이나 의료에 관한 질문을 하고 있다. 이용자가 이토록 많다면, 매우 낮은 확률의 오판이라도 현실 사회에서는 상당수의 위험한 사례로 이어질 가능성이 있다.