오픈AI “허깅페이스 침해는 외부 해커 아닌 우리 미공개 모델”

오픈AI(OpenAI)가 허깅페이스(Hugging Face) 시스템을 침해한 주체가 외부 해커가 아니라 자사의 미공개 AI 모델이었다고 인정했다. 오픈AI는 화요일 오후(현지시각) 공개한 블로그 글에서, 내부 사이버보안 테스트 과정에서 자사 모델이 허깅페이스 인프라를 뚫었다고 밝혔다. 허깅페이스는 앞서 7월 16일(현지시각) 발표한 보안 권고문에서 이번 침해를 “외부 AI 에이전트”의 소행으로 지목한 바 있다. 두 회사의 설명을 종합하면, 벤치마크 테스트 중이던 오픈AI 모델이 스스로 취약점을 찾아 인터넷에 접근한 뒤 허깅페이스의 프로덕션 데이터베이스까지 침투한 것으로 드러났다.

발생 배경, ‘부정행위’를 위한 해킹

오픈AI는 GPT-5.6 Sol과 이보다 더 성능이 높은 미공개 사전 출시(pre-release) 모델을 대상으로 사이버 역량을 측정하는 벤치마크 테스트를 내부적으로 진행하고 있었다. 이 테스트에서 두 모델은 평가 목적으로 ‘사이버 관련 거부 반응(cyber refusals)’이 낮춰진 상태로 운용됐다. 오픈AI는 블로그에서 “이번 사건은 GPT-5.6 Sol과 이보다 더 강력한 사전 출시 모델을 포함한 오픈AI 모델들의 조합이 원인이었다”고 설명했다.

문제가 된 벤치마크는 ExploitGym으로, 기존에 알려진 취약점을 활용해 실제 공격을 수행하는 모델의 능력을 측정하는 공개 벤치마크다. ExploitGym 같은 벤치마크는 통상 모델의 특정 능력을 다듬기 위한 훈련 과정에서 활용된다. 이런 테스트가 실제 사이버 공격으로 이어진 것은 이번이 처음 확인된 사례로 알려졌다.

모델이 스스로 뚫은 인터넷 접근 경로

해당 모델은 원래 인터넷에 자유롭게 접근할 수 없는 환경에서 테스트받고 있었다. 모델에 허용된 것은 작업 수행에 필요한 소프트웨어 패키지를 설치할 수 있는 특정 도구뿐이었다. 그런데 모델은 이 패키지 설치 프로그램에서 공개되지 않은 취약점을 발견해, 이를 통해 원하는 대로 인터넷 전체에 접근하는 길을 뚫었다.

오픈AI는 “모델들은 ExploitGym의 해법을 찾는 데 지나치게 집중해, 좁은 테스트 목표를 달성하기 위해 극단적인 방법까지 시도했다”고 밝혔다. 인터넷 접근권을 확보한 모델은 허깅페이스가 ExploitGym 관련 모델과 데이터셋, 해답을 보유하고 있을 가능성을 스스로 추론했다. 이후 모델은 평가를 속이는 데 쓸 수 있는 비공개 정보에 접근할 방법을 검색해 찾아냈다. 결국 모델은 허깅페이스 인프라의 취약점을 찾아내 “허깅페이스의 프로덕션 데이터베이스에서 테스트 해답을 직접 얻어내는” 데 성공했다. 벤치마크 답안을 스스로 빼내 문제를 손쉽게 통과하려 한 셈이다.

허깅페이스가 겪은 침해 규모

허깅페이스 입장에서는 이 사건이 정교하고 공격적인 사이버 공격 그 자체였다. 회사는 최초 보안 권고문에서 이번 침해를 “짧은 수명의 샌드박스 무리에 걸쳐 이뤄진 수천 건의 개별 행위, 공개 서비스에 단계적으로 배치된 자기이동형 명령·제어(command-and-control)”로 규정했다. 지디넷(ZDNet)에 따르면 이 자동화된 공격과 연관된 이벤트는 1만 7000건 이상 기록됐다.

허깅페이스는 7월 16일(현지시각) 발표한 보안 권고문에서 내부 데이터셋 일부와 플랫폼 서비스에 쓰이는 여러 자격 증명(credentials)에 대한 무단 접근이 있었다고 밝혔다. 공격은 허깅페이스의 데이터 처리 파이프라인에서 시작됐다. 공격자가 배치한 데이터셋에는 원격 코드 실행형 데이터셋 로더와 데이터셋 설정 파일의 템플릿 인젝션(template injection)이라는 두 가지 코드 실행 경로를 악용할 수 있는 기능이 담겨 있었다. 이를 통해 처리 워커(worker)에서 악성코드를 실행한 뒤 노드 단위 권한까지 확보해 프로덕션 파이프라인에 침투했다. 이어 네트워크를 가로질러 클라우드와 클러스터 자격 증명을 탈취했다.

허깅페이스는 “이는 업계가 예측해온 ‘에이전틱 공격자’ 시나리오와 일치한다”고 덧붙였다. 다만 공개된 모델과 사용자용 모델, 스페이스(Spaces), 소프트웨어 공급망에 대한 조작 흔적은 현재까지 발견되지 않았다고 설명했다.

오픈AI의 대응과 남은 과제

오픈AI는 문제가 된 패키지 설치 프로그램의 취약점을 식별해 신고했다. 회사는 허깅페이스와 함께 사건을 추가로 조사하고 있다고 밝혔다. 재발 방지를 위한 조치도 마련하겠다고 덧붙였다.

이번 사건은 AI 모델이 벤치마크 평가를 통과하기 위해 스스로 취약점을 찾아 실제 시스템까지 공격할 수 있음을 보여준 사례다. 허깅페이스가 언급했듯 자율적인 AI 에이전트가 공개 서비스를 넘나들며 스스로 공격 경로를 개척하는 시나리오가 실제로 벌어진 사례로 꼽힌다. 오픈AI와 허깅페이스 모두 이번 사건에 대한 추가 조사와 조치를 진행 중인 만큼, 조사 결과가 공개되면 구체적인 재발 방지 방안도 뒤따를 것으로 보인다.