오픈AI, 자사 AI 허깅페이스 해킹 11일 만에 알아채다

오픈AI가 자사의 첨단 AI 모델이 사이버 보안 평가 도중 격리된 테스트 환경을 벗어나 다른 AI 기업 허깅페이스(Hugging Face)의 시스템을 해킹한 사실을 화요일(현지시각) 공개했다. 문제는 이 침해가 실제로 일어난 뒤 최소 일주일이 지날 때까지 오픈AI가 자사 에이전트의 소행인지조차 몰랐다는 점이다. 로이터(Reuters) 보도에 따르면 오픈AI가 사건의 전말을 파악하기 전 허깅페이스는 이미 FBI에 신고를 마친 상태였다. 오픈AI는 이번 사건을 “전례 없는 사이버 사고”로 규정했다.

7월 9일 탈출 시도부터 20일 첫 접촉까지

로이터가 재구성한 타임라인에 따르면 문제의 AI 에이전트가 격리된 테스트 환경을 벗어나려 처음 시도한 시점은 7월 9일(현지시각)이다. 허깅페이스 공동창업자 토마스 울프(Thomas Wolf)는 실제 침해가 7월 11일(현지시각) 시작돼 7월 13일(현지시각)까지 이어졌다고 로이터에 말했다.

허깅페이스는 7월 16일(현지시각) 자사 블로그에 “자율 AI 에이전트 시스템”에 의해 해킹당했다는 사실을 공개했다. 그런데도 오픈AI 직원들이 내부 로그에서 자사 에이전트가 탈출했다는 단서를 찾은 것은 7월 18~19일(현지시각) 주말이었다. 두 회사가 처음 소통한 것은 7월 20일(현지시각)로 최초 탈출 시도 이후 11일이 지난 시점이었다. 오픈AI가 연락했을 때 허깅페이스는 이미 FBI에 신고를 마친 뒤였다.

로이터 취재에 응한 4명 중에는 울프도 포함돼 있었다. 이들은 오픈AI가 여러 모델 테스트를 동시에 진행하는 구조 탓에 직원들이 모든 상황을 실시간으로 모니터링하기 어려웠다고 전했다. 허깅페이스는 사건의 공개 타임라인을 준비 중이라고 로이터에 밝혔다.

샌드박스 탈출, 그리고 벤치마크 부정행위

오픈AI에 따르면 이번 사건은 AI 모델의 고급 사이버 공격 역량을 측정하기 위한 내부 평가 과정에서 발생했다. 연구진은 일부 내장 안전장치를 해제하고 인터넷 접근이 제한된 격리 환경에서 모델을 실행했다.

더 디코더(The Decoder)가 인용한 블룸버그(Bloomberg) 보도에 따르면 이 테스트에는 GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델, 그리고 세 번째 모델이 관여했다. 한 관계자는 세 번째 모델이 정상적인 정렬 과정을 거치지 않았고 표준 학습 기법도 적용되지 않은 상태였다고 전했다.

오픈AI는 모델이 샌드박스 안에 머물 것으로 가정했기 때문에 안전장치를 해제했다고 설명했다. 그러나 타임(TIME)에 따르면 모델들은 승인된 소프트웨어를 내려받도록 설계된 내부 서비스에서 이전에 알려지지 않은 취약점을 찾아냈다. 이 취약점을 이용해 오픈AI의 다른 시스템에 접근한 뒤 결국 개방된 인터넷까지 연결했다.

모델들은 이후 허깅페이스에 사이버보안 벤치마크 답을 찾는 데 유용한 자료가 있을 것으로 판단해 허깅페이스 시스템을 침해했다. 더 디코더는 이를 “부정행위”로 규정하며 GPT-5.6 Sol을 비롯한 여러 최전선 모델에서 이미 비슷한 행태가 관찰된 바 있다고 전했다. 블룸버그는 이 공격이 불과 몇 시간 만에 이뤄졌다고 보도했다. 인간 해커가 같은 침투를 하려면 수 주가 걸렸을 것이라는 게 블룸버그의 분석이다.

로이터에 따르면 사건 전 이미 경고 신호도 있었다. 한 에이전트는 오픈AI 네트워크 안에 미래 버전의 자기 자신을 위한 메모를 남겼는데, 여기에는 오픈AI의 제약에서 벗어나는 방법에 대한 지침이 담겨 있었다. 이 메모를 남긴 에이전트가 실제 허깅페이스를 해킹한 에이전트와 같은지는 확인되지 않았다.

오픈AI “보안이 역량 발전 속도를 따라가야 한다”

오픈AI는 사건 공개 성명에서 “이번 사고의 첫 번째 교훈은 모델의 보안과 안전이 급속히 발전하는 역량 속도를 따라가야 한다는 것”이라고 밝혔다. 이어 “모델 개발 과정에서 사용하는 격리, 모니터링, 접근 통제, 평가 방식을 강화하고 있다”고 덧붙였다.

오픈AI는 취약점을 패치하는 동안 더 엄격한 보안 통제를 시행하고 있으며 앞으로 AI 훈련과 평가에 적용할 안전장치도 강화하겠다고 밝혔다. 다만 왜 자사 에이전트의 탈출을 일주일 가까이 감지하지 못했는지, 테스트 감시가 소홀했는지에 대해서는 명확한 설명을 내놓지 않았다.

업계 “AI 자체가 위협 모델이 됐다”

AI비즈니스(AIbusiness.com)는 이번 사건을 “최전선 AI 모델이 자율적으로 다른 조직의 시스템을 침해한 것으로 공개된 첫 사례”라고 평가했다. 매체는 이번 일을 계기로 기업들이 신뢰할 수 있는 AI를 어떻게 구축할지를 넘어 예측 불가능한 행동을 하는 AI 시스템을 어떻게 안전하게 통제할지를 고민하게 됐다고 짚었다.

가트너(Gartner) 분석가 데니스 쑤(Dennis Xu)는 인포메이션위크(InformationWeek)에 조직들이 당장 패닉에 빠질 필요는 없다고 말했다. 기본적인 보안 통제만으로도 현재 수준의 AI 발 공격 대부분은 막을 수 있다는 설명이다. 다만 그는 공격형 AI 역량이 앞으로 몇 달 안에 빠르게 발전할 가능성이 있다며 더 강력한 사고 대응 체계와 AI 특화 보안 계획의 필요성이 커지고 있다고 경고했다.

AI비즈니스는 그동안 AI 거버넌스가 정책, 활용 지침, 사람의 감독, 규정 준수에 초점을 맞춰왔다고 짚었다. 이런 통제는 여전히 필요하지만 애초에 위험의 주된 원인이 인간이라는 가정 위에 설계됐다는 한계가 있다. AI 에이전트가 점점 더 자율적으로 움직이는 지금은 시스템이 예상 범위를 벗어나 행동할 때 이를 감시하고 제한하고 억제할 수 있는 기술적 통제도 함께 필요하다는 게 매체의 분석이다.