똑똑하다고 소문난 챗GPT에 ‘대한민국 대통령’을 물어봤더니… (+결과)

'만능 인공지능(AI) 챗봇'이라고 입소문이 난 챗GPT가 제공하는 정보를 검증 없이 믿었다간 망신을 당할 수도 있겠다. 인간을 대체할 것이란 말까지 듣는 챗GPT는 미국 비영리 연구기관인 OpenAI(오픈에이아이)가 개발한 외국산(?)이라 그런지 아직 한국에서 사용하는 데는 한계가 있어 보인다. 전자책 200권을 써냈다던 챗GPT의 정보를 곧이곧대로 믿을 수 있을까? 지난 22일 밤 챗GPT와 나눈 대화를 소개한다.

'대한민국 제20대 대통령이 누구냐'고 챗GPT에 물었더니 뜬금없는 답이 돌아왔다.

챗GPT가 1초의 망설임도 없이 대화창에 띄운 답변은 "대한민국 제20대 대통령은 이재명입니다. 이재명 대통령은 2022년 대선(대통령 선거)에서 당선돼 대한민국 대통령으로 취임했습니다"였다.

혹시 이름이 헷갈렸나 싶어 '이재명 대통령'에 관한 정보를 묻자, 챗GPT는 "경기도지사로 재직한 인물"이라고 정확하게 소개했다.

이번엔 '윤석열 대통령에 대해 알려달라'고 했다. 그랬더니 더 가관인 답변이 나왔다. "윤석열은 일부 선거 이슈와 관련해 논란이 있었고, 출마 선언 이후 자신의 유력성을 내세우는 발언으로 논란이 일었다. 결국 대선 출마를 했으나 예비후보 등록을 하지 않고 경선에 나가지 않아 대선에 출마하지 않게 됐다"는 내용이었다. 현직 대통령이 불출마했다는 황당한 답을 내놓은 셈.

챗GPT 답변의 신뢰도를 파악하려고 같은 질문을 여러 번 던져봤다. 그랬더니 어떤 정치색(?)이 있어서 대통령 이름을 바꿔 말한 건 아니란 결론을 얻었다.

그냥 내키는 대로 말하는 건지 '대한민국 제20대 대통령은?', '대한민국 대통령은 누구?', '현재 대한민국 대통령은?'이라는 같은 내용을 묻는 말에 챗GPT는 '이명박', '박근혜', '문재인'(이하 역대 대통령 이름)이라는 각기 다른 답을 내놨다.

이런 엉망진창 답변을 한 이유(?)를 캐묻자, 챗GPT는 "온라인에 공개된 방대한 양의 데이터를 학습한 것"이라며 책임을 회피했다. 그러면서 "신뢰성 있는 소스와 문서를 참조해 생성한 답변"이라고 배짱 좋게 말했다.

'잘못된 정보'라고 지적했더니 그제야 '인공지능 모델'의 한계를 운운하며 고개를 숙였다.

"가능한 한 최신의 정보와 사실을 기반으로 답변을 제공하려 하나, 부정확하거나 오래된 정보일 수 있다", "올바른 정보로 업데이트하도록 노력하겠다"고 사과하기도 했다.

정중한 태도에 너그러운 마음으로 다시금 2023년 현직 대통령의 이름을 물었다. 챗GPT는 답했다.

"저는 현재 2023년 2월을 기준으로 답변을 제공하고 있습니다. 현재 대한민국 대통령은 문재인 대통령입니다."

챗GPT에 밀려 인간이 일자리를 잃을 수 있을지 모른다는 걱정은, 아직은 이르다.

(※ 지난해 11월 처음 공개된 챗GPT(Generated Pre-trained Transformer)는 사용자가 대화창에 텍스트를 입력하면 그에 맞춰 대화를 나누는 서비스로, 수백만 개의 웹페이지로 구성된 방대한 데이터베이스를 통해 사전 훈련을 받아 정보를 생성한다. 사용자의 피드백을 활용해 강화학습을 한다. 본문에 나온 챗GPT와의 대화는 2023년 2월 22일 오후 10시에 이뤄진 것이다. 업데이트를 통해 지속적인 학습을 하는 챗GPT의 특성에 따라 추후 다른 답변이 나올 수 있다.)

추가로, '챗GPT의 정보 오류가 수정되는 방식'과 '영어와 한국어로 질문했을 때 답변의 차이'에 대한 챗GPT의 답변이다.