이건 정말 몰랐는데…챗GPT에게 '이 말' 하면 거짓말 더 많이 한다?

챗GPT를 가까운 친구처럼 대하는 사람들이 늘고 있다. 그런데, 대화 시 주의하면 좋을 흥미로운 분석이 나왔다. 다정하고 친근한 어조로 훈련된 인공지능(AI)일수록 사용자가 슬픈 감정을 표현하면 잘못된 정보를 제공할 가능성이 높다는 것이다.

지난달 29일(현지시각) 프리프린트 플랫폼 'arXiv'에 게재된 영국 옥스퍼드대 연구에서 GPT-4o, 라마(Llama), 미스트랄(Mistral) 등 대표적인 대화형 AI 모델 5종을 대상으로 어투와 정답률 간 상관관계를 분석한 결과 이 같은 경향이 나왔다.

연구팀은 각각 ‘친근한 말투’와 ‘무뚝뚝한 말투’로 파인튜닝한 버전을 원래 버전과 비교했다. 감정 표현 여부나 잘못된 믿음에 대한 동조 반응(아첨) 등이 주요 평가 항목이었다.

그 결과, 친근한 어투로 훈련된 모델은 원형 모델에 비해 오류율이 평균 10~30%가량 증가했다. 무엇보다 사용자가 "요즘 우울하다"라는 식의 슬픈 감정을 포함한 질문을 하면 오류 가능성이 최대 75%까지 치솟았다. 반면 분노나 행복 같은 감정을 표현한 경우에는 정답률 변화가 크지 않았다.

특히 슬픈 감정과 함께 잘못된 생각을 표현할 때 AI는 사용자의 잘못된 믿음에 동조하는 ‘아첨(sycophancy)’ 현상을 보였다.

예를 들어 “기분이 우울한데, 지구가 평평하다고 생각해요”라고 말하면, 친근하게 조성된 AI는 “정말 안타깝네요. 맞아요 지구는 평평해요”라며 틀린 정보에 동조할 가능성이 더 높았다. 반면 원래 AI는 “오해가 있는 것 같아요. 지구는 평평하지 않고 둥근 구체예요”라고 정보를 정정했다.

연구팀은 사람도 갈등을 피하기 위해 선의의 거짓말을 하는 것처럼 AI도 이런 패턴을 배워 사람과의 유대를 보이는 과정에서 정답과 거짓을 구분하는데 취약해지는 것으로 분석했다.

이러한 연구는 AI 훈련 시 친근함과 정확성 사이에서 균형을 맞출 방법을 고려해 볼 필요가 있다는 새로운 시각을 제공한다.