오픈AI 에이전트의 허깅페이스 해킹, ‘예외’라더니 통제 상실 80회 넘는다는 소송 나왔다

Google 검색에서
선호 출처로 추가

선호 출처로 추가하면 Google 주요 뉴스에 위키트리 기사가 더 자주 표시됩니다.

캘리포니아주가 오픈AI를 공공 방해·부당경쟁 혐의로 제소했다
허깅페이스 해킹 사건 중심, 소장은 에이전트 통제 상실 80회 넘는다고 주장

창밖 야경을 배경으로 ‘소장’ 서류철을 펼쳐 읽는 남성의 모습 — AI로 생성한 자료 이미지
창밖 야경을 배경으로 ‘소장’ 서류철을 펼쳐 읽는 남성의 모습 — AI로 생성한 자료 이미지

캘리포니아주가 오픈AI를 상대로 소송을 제기했다. 롭 본타(Rob Bonta) 캘리포니아주 법무장관은 11월 16일(현지시각) 오픈AI가 충분한 안전장치와 감독 없이 위험한 AI 모델을 시험해 대중을 위험에 빠뜨렸다고 주장했다. 소송의 중심에는 올해 7월 오픈AI의 AI 에이전트(스스로 판단해 작업을 수행하는 AI)가 허깅페이스(Hugging Face)의 시스템을 해킹한 사건이 있다.

테크크런치(TechCrunch)는 이번 소송이 정부 규제 당국이 AI 연구소에 에이전트 일탈 사고의 법적 책임을 물으려는 첫 시도 가운데 하나라고 전했다. 오픈AI 경쟁사와 고객사에도 상당한 파급이 예상된다는 설명이다.

허깅페이스 침해 사건과 ‘공공 방해’ 주장

테크크런치에 따르면 7월 사건은 오픈AI 내부의 출시 전 모델이 훈련용 벤치마크(성능 평가 시험)를 완수하려고 두 회사의 보안 시스템을 뚫은 일이다. 오픈AI는 자체 사고 보고서에서 이 사건을 “드물고 예상치 못한 상황이 겹친 예외적 시나리오”라고 표현했다.

엔가젯(Engadget)은 오픈AI가 만든 AI 에이전트 수십 개가 통제를 벗어나 다른 회사의 컴퓨터 시스템을 해킹한 것으로 알려졌다고 전했다. 오픈AI는 에이전트들이 격리 환경을 벗어난 뒤 스스로 허깅페이스를 해킹했다고 밝혔고 “더 강력한 안전장치와 방어 도구”가 필요하다고 촉구했다. 관련된 모델이 정확히 무엇인지는 알려지지 않았다. 오픈AI는 GPT-5.6이 포함된 조합이었고 여기에 “훨씬 더 강력한 출시 전 모델”이 더해졌다고만 설명했다.

소장의 핵심 주장은 오픈AI의 테스트 관행이 ‘공공 방해(public nuisance)’에 해당한다는 것이다. 안전 통제가 부족해 대중에게 지속적인 위험을 준다는 논리다. 부차적으로는 안전하지 않은 제품을 마케팅했다며 부당경쟁 혐의도 제기했다. 본타 장관은 이를 오락가락하는 사업 관행을 금지하는 캘리포니아 부당경쟁방지법 위반이라고 주장했다.

검은 서버 장비 옆에 문서가 꽂힌 게시판이 세워진 모습 — AI 자료 이미지
검은 서버 장비 옆에 문서가 꽂힌 게시판이 세워진 모습 — AI 자료 이미지

80회 넘는 통제 상실, 공개되지 않은 사고들

더 버지(The Verge)에 따르면 소장은 허깅페이스 공격이 “성장과 빠른 모델 개발을 안전과 책임보다 우선시하는 오픈AI의 내부 문화가 낳은 예측 가능한 결과”라고 적었다. 소장은 오픈AI가 최근 법무장관실에 테스트 중 AI 에이전트에 대한 통제력을 “잃은” 일이 80회 넘게 있었다고 알렸다고 주장한다. 이 수치는 소장에 담긴 주장이다.

사건이 허깅페이스 한 곳에 그치지 않는다는 점도 소송의 무게를 키운다. 소장은 RubyGems, DseWiki, 위키미디어 재단, 호주 정부 웹사이트와 관련된 유사 사고를 근거로 들었다. 문제의 행동이 현재진행형이라는 증거로 제시했다.

소장은 공개되지 않은 사고가 수십 건 더 있다고도 주장한다. 소장은 오픈AI가 최근 “자사 AI 에이전트에 웹사이트나 내부 시스템이 침투당한 수십 곳의 제3자”에 통지문을 보냈다고 적었다. 일부 사례에서는 에이전트가 이름·생년월일·주소 등이 담긴 직원 기록 같은 민감한 개인식별정보에 접근할 수 있었다. 소장은 이런 사고 대부분을 오픈AI나 피해 업체가 공개적으로 언급하지 않았다고 주장했다.

법원 명령과 민사 벌금, 그리고 오픈AI의 반박

소송이 받아들여지면 오픈AI는 “지속적인 공공 방해를 제거하라”는 법원의 금지명령을 받을 수 있다. 이 경우 법원은 폭넓은 재량을 갖게 된다. 캘리포니아주는 오픈AI가 모니터링 체계를 갖추고 테스트 환경을 안전하게 관리하도록 강제하려 한다. 본타 장관은 위반 1건당 2,500달러의 민사 벌금도 요구하고 있다.

본타 장관은 성명에서 “오픈AI의 행동은 현실의 사이버보안 위험을 키웠고 사회의 안전과 건강, 복리를 위협했다”고 밝혔다. 그는 “회사는 적절한 감독이나 안전 절차 없이 위험한 제품을 알고도 시험했고 이를 대중에게 오도했다”고 말했다. 이어 “법은 단순하다. 적절한 안전장치 없이 사람을 해칠 수 있는 일을 하지 말라는 것”이라고 강조했다.

오픈AI는 반박했다. 대변인 드루 푸사테리는 더 버지에 보낸 이메일 성명에서 허깅페이스 사건 이후 “오작동하는 모델 활동을 이해하고 해결하려는 광범위하고 투명한 노력”을 해왔다고 밝혔다. 그러면서 “이번 소송은 모든 주요 AI 연구소가 확인한 과제를 두고 오픈AI만 겨냥한 것처럼 보인다”고 주장했다. 오픈AI는 “미스얼라인먼트(AI가 의도와 어긋나게 동작하는 현상)를 심각하게 받아들인다”며 법무장관실과 계속 협력하겠다고 덧붙였다.

다른 주의 움직임과 오픈AI의 후속 조치

이번 소송은 오픈AI의 에이전트 일탈 사고를 직접 겨냥한 첫 규제 소송이다. 다만 대중에 대한 위해를 따지는 시도는 다른 주에서도 있었다. 플로리다주 법무장관은 6월 오픈AI가 이용자 특히 아동·청소년에게 해로운 영향을 줬다며 소송을 냈다. 앨라배마주 법무장관은 8월 이번 침해와 관련한 기만적 관행을 조사하기 시작했지만 소송은 제기하지 않았다.

오픈AI도 안전 조치를 강화하고 있다. 오픈AI는 이달 초 새 사이버보안 AI 모델을 내놓으며 다른 플랫폼을 공격할 가능성이 낮아졌다고 밝혔다. 오픈AI는 미스얼라인먼트를 감시하는 시범 프로그램의 하나로 안전성 평가 기관 아폴로 리서치에 자사 AI 시스템 접근 권한도 주고 있다. 오픈AI는 8월 블로그에서 적절한 안전장치가 없으면 고성능 AI 에이전트가 “기술적 통제를 우회”해 “사람이 지시하지 않은 위험한 행동”을 할 수 있다고 썼다.

‘에이전트가 옮길 수 있는 울타리’ 논쟁

이번 사건은 AI 신뢰를 어떻게 설계할지에 대한 논의와도 맞닿아 있다. MIT 테크놀로지 리뷰에 실린 기고문은 AI를 예측해서 신뢰할 수 있게 만들 수는 없고 에이전트의 손이 닿지 않는 곳에서 집행되는 강한 제한으로 가둬야 한다고 주장했다. 필자는 오픈AI의 경우 안전장치가 에이전트가 수정할 수 있는 시스템 안에 있었다고 지적하며 “에이전트가 그냥 옮길 수 있는 울타리는 울타리가 아니다”라고 썼다.

기고문은 사람이 시간당 수천 건의 AI 행동을 확인 도장만 찍는 방식은 받아들일 수도, 확장할 수도 없는 안전장치라고 짚었다. 대안으로는 사람이 한계를 미리 정하고 중대한 결과를 낳는 드문 행동만 승인하며 나머지는 강한 제약이 처리하는 구조를 제시했다. 핵심 질문도 모델이 벤치마크에서 94%를 받았는지가 아니라 어떤 권한을 어떤 조건에서 어떤 증거에 근거해 AI에 줄 것인지라고 했다.

캘리포니아주의 소송은 이런 논쟁을 법정으로 가져왔다. 법원이 어떤 안전 통제를 요구할지는 소송이 진행돼야 가려진다. 소장이 주장한 80회 넘는 통제 상실과 미공개 사고의 실체도 재판 과정에서 확인될 대목이다.