무서운 일 발생... 미군, AI 거짓보고 믿고 실제로 전쟁 벌일 뻔
작성일
작전 직전에 오류 확인
미군이 인공지능(AI)이 만들어낸 허위 정보를 근거로 중국 선박을 상대로 한 군사 작전을 준비했다가 실행 직전에 오류를 발견하고 작전을 멈춘 사실이 18일(현지시각) 드러났다. 미국과 중국 사이의 무력 충돌로 비화할 수 있었던 상황이었다.
미국 CNN 방송은 이날 복수의 소식통을 인용해 이 같은 사실을 보도했다. 사건은 이란과의 전쟁이 진행되던 올해 봄 발생했다. 당시 미군 내부에는 중동 해역에 있던 중국 선박 한 척이 핵무기 프로그램에 쓰이는 구성 요소를 실어 나르고 있다는 내용의 정보 보고서가 회람됐다. 이 보고서는 즉각 경보음을 울렸다.
사건에 정통한 소식통 4명에 따르면 미군은 곧바로 선박을 차단하기 위한 작전에 착수했다. 무장한 미군 병력이 선박에 오를 준비를 마쳤다. 군용기도 이미 상공에 떠 있는 상태였다.
그러나 작전이 개시되기 직전 당국자들이 보고서를 다시 들여다보는 과정에서 문제가 확인됐다. 이 보고서는 특수작전사령부 소속 분석관이 AI 챗봇의 도움을 받아 작성한 것이었다. 챗봇이 선박에 실린 화물의 정체를 잘못 파악한 사실이 뒤늦게 드러났다.
한 소식통은 CNN에 해당 보고서가 "완전히 거짓"이었으며 이 때문에 "하마터면 전쟁이 날 뻔했다"고 말했다. 중국 선박을 실제로 타격하거나 나포했다면 두 나라 사이의 무력 충돌로 걷잡을 수 없이 번질 수 있었다는 것이다.
문제의 보고서는 한 분석관이 챗봇에 선박의 화물 목록 관련 정보를 질의하면서 시작됐다. 이 정보는 하와이에 있는 미 태평양특수작전사령부에서 나온 것이었다.
챗봇은 공개된 정보와 미 정부가 보유한 기밀 신호정보를 함께 분석한 끝에 해당 화물이 핵무기 프로그램과 관련돼 있다는 잘못된 결론을 내렸다. 분석관은 이 결론을 다시 AI를 이용해 미군의 표준 정보 보고서 형식으로 정리한 뒤 내부에 배포했다.
정식 보고서 형식을 갖추면서 이 문서는 검증된 분석에 준하는 신뢰를 얻었다. 실제로는 그런 신뢰를 얻을 근거가 없는 결과물이었다. 선박이 실제로 무엇을 싣고 있었는지는 확인되지 않았다. 문제의 챗봇이 상용 제품인지, 정부가 자체 개발한 도구인지도 알려지지 않았다.
미 태평양특수작전사령부와 국방부는 CNN의 논평 요청에 답하지 않았다.
미 국방부와 정보기관은 최근 AI 활용을 빠르게 늘리고 있다. 피트 헤그세스 국방장관은 지난 1월 'AI 가속화 전략'을 발표했다. 헤그세스 장관은 발표 연설에서 "우리는 실험을 촉진하고 관료적 장벽을 없애며 투자를 집중해 군사 AI 분야를 선도할 것"이라고 말했다. 이 전략은 국방부 산하 300만 명의 민간·군 인력에게 최고 수준의 AI 모델을 기밀 등급을 포함한 모든 단계에서 제공하는 것을 목표로 삼는다.
그러나 이 작업은 부처별로 제각각 진행되고 있다. 복수의 미국 당국자는 정부 기관마다 서로 다른 도구와 지침, 안전 기준을 적용하고 있다고 CNN에 전했다. AI가 생성한 정보를 어떻게 검증할지에 대한 통일된 기준도 없다.
군은 공격 표적을 정하는 데에도 AI 활용을 늘리고 있다. 한 소식통은 CNN에 "표적 선정에 AI를 쓰는 추세가 분명히 확대되고 있다"고 말했다. 이 소식통은 "민간인 피해나 아군 오인 공격을 어떻게 막을지에 대한 실질적인 지침은 없다"고 지적했다.
일부 정보 당국자는 AI가 분석관들에게 더 빠르게 정보를 만들고 배포하도록 압박을 가한다고 말했다. 이 과정에서 오류가 생길 여지가 커진다는 것이다. 또 다른 소식통은 CNN에 "AI는 잘못된 결론에 더 빨리 도달하게 만든다"고 말했다. 미군과 정보기관이 쓰는 AI 시스템에 정통한 한 전직 고위 당국자는 내부용 도구 대부분이 상용 시스템을 겉모습만 다듬어 복제한 것에 불과하다고 말했다.
AI 도입을 서두르는 명분은 속도다. AI가 어떤 표적을 타격하고 어떤 전력을 어디로 옮길지 같은 전장 판단을 더 빨리 내리도록 돕는다는 것이다. 당국자들은 중국 등 잠재적 적국과 맞서야 할 상황에 대비해 미국이 AI 통합 경쟁에서 뒤처져서는 안 된다고 본다.
헤그세스 장관은 앞서 미국이 AI에 치명적 표적 결정을 맡기지는 않는다고 밝힌 바 있다. 다만 군사용 AI를 둘러싼 갈등도 이어지고 있다. 국방부는 지난 3월 자사 챗봇을 대규모 감시나 완전 자율 무기에 쓰지 못하게 한 앤스로픽을 국가안보 위협으로 지정하고 군에서 제품 사용을 막는 조치를 취했다. 헤그세스 장관은 다리오 아모데이 앤스로픽 최고경영자(CEO)를 "이념적 미치광이"라고 부르기도 했다.
군사용 AI가 오판을 부를 수 있다는 우려가 커지면서 미국과 중국의 안보 전문가들은 최근 핵무기에 준하는 안전장치를 마련하자는 제안을 내놨다. 이들은 핵 시스템에 대한 명확한 금지선, 중대한 사이버 공격에 대한 인간의 통제권, 자율 AI 관련 사고에 대비한 양국 간 직통 회선(핫라인) 등을 제시했다. 브루킹스연구소와 중국 푸단대 소속 전문가들이 참여한 이 권고안은 오는 24일 워싱턴에서 열릴 것으로 예상되는 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석의 회담을 앞두고 공개됐다.