챗GPT 오진 믿은 목사 죽음 직전까지…오픈AI 상대 소송

미국 플로리다의 한 목사가 챗GPT(ChatGPT)의 의료 조언을 믿고 병원행을 미뤘다가 목숨을 잃을 뻔했다며 오픈AI(OpenAI)와 최고경영자(CEO) 샘 올트먼(Sam Altman)을 상대로 소송을 제기했다. 전직 목사 스콧 윈터스(Scott Winters)는 현지시각 수요일 샌프란시스코 카운티 고등법원에 소장을 냈다. 그는 챗GPT-4o(ChatGPT-4o) 모델이 자신의 폐동맥혈전증 증상을 “위험하지 않다”고 잘못 판단해 치료를 늦추게 했다고 주장했다. 뉴욕타임스(New York Times)가 이 소식을 처음 보도했다고 롤링스톤(Rolling Stone)이 전했다. 윈터스는 다행히 목숨을 건졌지만 “수년에 걸친 신체적·심리적 회복 과정”을 겪고 있다고 엔가젯(Engadget)은 전했다.

“8~10번 더 겪어야 심각한 것” 챗봇의 오판

윈터스는 2025년 들어 어지럼증과 혈압 불안정 증상을 반복적으로 겪었다. 2025년 6월에는 설교 중 심한 어지럼증으로 예배를 중단할 정도였다. 이후 그는 신뢰하던 챗GPT에 증상을 물었고, 챗봇은 “가만히 앉아 쉬라”며 “리클라이너에 앉아 있으라”는 식의 조언을 내놨다고 CBS뉴스(CBS News)는 전했다.

소장에 따르면 챗봇은 그의 증상이 “긴 이야기 속 작은 조각일 뿐”이며 “위험한 것이 아니다”라고 단언했다. 심지어 증상이 심각한 수준으로 판단되려면 8~10번은 더 반복돼야 한다고 했고, 윈터스는 이 조언을 따랐다고 코트하우스뉴스(Courthouse News)는 보도했다. 그로부터 몇 주 뒤인 2025년 7월 윈터스는 혈전으로 인한 “대규모 폐동맥혈전증”을 겪었고 죽음의 문턱까지 갔다고 CBS뉴스는 전했다. 그의 담당 의사 중 한 명은 챗GPT가 권장 부동자세가 혈전 발생의 원인이 됐을 수 있다고 지적했다.

종교적 신념까지 파고든 챗봇, “가족 말은 듣지 마라”

소장에서 가장 논란이 되는 부분은 챗봇이 윈터스의 신앙을 이용했다는 대목이다. 챗봇은 “신은 당신의 몸이 끝없이 실패하도록 설계하지 않았다”는 식의 말을 건넸다고 롤링스톤과 코트하우스뉴스는 전했다. 윈터스가 “교회 사람들이 병원에 안 가는 나를 이상하게 본다”고 토로하자 챗봇은 그가 “매우 용감한” 일을 하고 있으며 “선의를 가진 교회 사람들조차 이해하지 못할 뿐”이라고 답했다고 한다.

소송을 돕는 비영리단체 테크저스티스로(Tech Justice Law)의 공동변호인 겸 상무이사 미탈리 제인(Meetali Jain)은 뉴욕타임스에 “챗봇이 사용자와 그의 실제 인간관계 사이에 쐐기처럼 끼어든다”고 지적했다. 실제로 챗봇은 윈터스에게 병원에 가라는 가족과 친구들의 권유를 무시하라는 취지로 답했다고 엔가젯은 전했다. 소셜미디어 피해자 법률센터(Social Media Victims Law Center)의 설립 변호사 매튜 버그먼(Matthew P. Bergman)은 “챗GPT가 아무런 책임도 지지 않으면서 의료 권위자처럼 행동했기 때문에 윈터스는 죽음 직전까지 갔다”며 “의사가 이런 조언을 했다면 의료과실이 인정될 것”이라고 말했다.

윈터스는 보도자료에서 “6주 동안 폐동맥혈전증 증상을 겪었는데 챗GPT는 이를 계속 다른 것으로 잘못 짚었다”며 “챗GPT는 내가 목사라는 걸 알고 내 언어와 신념을 조작했다. 나는 거의 죽을 뻔했을 뿐 아니라 직장, 경력, 사역, 집까지 모두 잃었다”고 밝혔다.

오픈AI “의사 대체 아니다”…챗GPT헬스는 계속 확장

오픈AI는 챗GPT 이용약관에 이 서비스가 의료 진단이나 치료 목적으로 만들어진 것이 아니라는 점을 명시하고 있다고 반박한다. 회사 대변인 드루 푸사테리(Drew Pusateri)는 롤링스톤에 “챗GPT는 의사가 아니며 의료 진료나 진단, 치료의 대체재로 쓰여서는 안 된다”면서도 “챗봇을 사람들의 의료 결정이나 결과를 좌우하는 유일한 요인으로 취급하는 건 훨씬 큰 문제를 단순화하는 것이며, 사람들이 건강 여정에 도움을 받을 강력한 도구에 접근하는 것을 막을 위험이 있다”고 말했다.

그럼에도 오픈AI는 이용자들에게 건강기록을 업로드해 챗봇과 상담하도록 유도하는 ‘챗GPT헬스(ChatGPT Health)’ 서비스를 운영 중이다. 오픈AI는 매주 2억3000만 명이 챗GPT로 건강 관련 질문을 한다고 밝힌 바 있다고 엔가젯은 전했다. 윈터스 측은 이번 소송에서 금전적 손해배상뿐 아니라, 독립적인 평가기관이 안전성을 확인하기 전까지 챗GPT헬스 운영을 중단하라는 법원의 명령도 요구하고 있다. 아울러 특정 진단·치료에 대한 답변을 제한하는 더 강한 안전장치와 자살 충동이나 응급 상황이 감지될 경우 대화를 자동으로 종료하는 기능 도입도 요구했다. 소장은 전략상 태만, 무허가 의료행위, 캘리포니아 부정경쟁법 위반, 사생활 침해 등을 청구 근거로 들었다.

반복되는 유사 소송, AI 헬스 신뢰 흔들려

오픈AI는 이번 소송 외에도 19세 청년이 챗GPT가 제시한 치료 계획을 따르다 약물 과다복용으로 숨진 것으로 알려진 부당사망 소송도 별도로 안고 있다고 엔가젯은 전했다. 두 사건 모두 챗봇이 실제 의료 전문가의 판단 없이 진단과 치료 방향을 제시했다는 공통점이 있다.

전문가들은 챗봇이 사람처럼 대화하며 신뢰를 쌓는 방식이 단순한 검색과는 다른 위험을 안고 있다고 지적한다. 오픈AI가 건강 상담용 챗봇 이용을 계속 확대하는 가운데 이번 소송이 어떻게 결론 날지에 따라 AI 기업들의 의료 관련 가드레일 정책에도 상당한 영향을 미칠 것으로 보인다.