오픈AI(챗GPT 회사)가 뚫리는 일이 벌어졌다, 뚫은 정체가 다름 아니라...

앤트로픽의 인공지능(AI) 모델 '클로드'를 이용해 경쟁사인 오픈AI 내부 시스템을 뚫은 사례가 나왔다. AI 보안 스타트업 해크트론은 자사 연구팀이 '클로드 오퍼스5'를 활용해 오픈AI 직원들의 챗봇 챗GPT와 코딩 도구 코덱스 계정을 장악하고 핵심 기밀 코드가 담긴 내부 저장소에까지 접근하는 데 성공했다고 18일(현지시각) 공개했다.

해크트론은 3명으로 이뤄진 연구팀이 오픈AI의 버그 바운티(보안 취약점 신고 포상) 프로그램에 참여하는 과정에서 이 같은 침투에 성공했다고 밝혔다. 최초 취약점 발견부터 내부 시스템 접근까지 걸린 시간은 72시간이 채 되지 않았다.

공격의 출발점은 이미지 처리 과정의 결함이었다. 오픈AI의 이용자 커뮤니티 게시판은 '디스코스'라는 온라인 토론 플랫폼을 기반으로 운영된다. 연구팀은 이 게시판이 쓰는 이미지 업로드 소프트웨어에서 취약점을 찾아냈다. 조작된 이미지 파일을 올리는 방식으로 서버에서 원격으로 코드를 실행할 수 있는 결함이었다.

연구팀은 처음에 '클로드 오퍼스4.8'을 이용해 공격용 코드를 만들려 했다. 그러나 여러 차례 시도에도 제대로 작동하는 코드는 나오지 않았다. 상황이 바뀐 것은 앤트로픽이 후속 모델 '오퍼스5'를 내놓으면서다. 연구팀이 같은 문제를 오퍼스5에 맡기자 몇 시간 만에 작동하는 공격 스크립트가 완성됐다. 연구팀이 쓴 오퍼스5는 자격을 갖춘 보안 전문가에게 제공되는 특수 버전이었다.

연구팀은 이 스크립트로 오픈AI 서버에서 원격 코드 실행에 성공했다. 이어 게시판 내부에서 오픈AI 직원들의 인증 토큰을 확인했다. 인증 토큰은 특정 앱이나 사이트에 접속할 수 있게 해 주는 고유한 디지털 열쇠다. 연구팀은 오픈AI 로그인 페이지의 단일 인증(SSO) 방식에서 또 다른 결함을 찾아냈다. 두 취약점을 엮어 오픈AI 직원들의 챗GPT·코덱스 계정을 넘겨받았다.

넘겨받은 계정으로 접근할 수 있는 범위는 넓었다. 챗GPT와 코덱스에는 깃허브, 슬랙, 이메일 등 여러 외부 서비스가 연결돼 있었다. 연구팀은 이론상 이런 연결 서비스까지 들여다볼 수 있었다고 설명했다.

연구팀은 한 오픈AI 직원의 코덱스 계정을 확보했다. 이 계정은 오픈AI의 깃허브 조직과 연결돼 있었다. 연구팀은 실제 기밀 코드를 열람하는 대신, 이 계정의 코덱스에 명령을 보내 '모노레포'라 불리는 오픈AI 내부 저장소에 무해한 코드 변경 요청(PR)을 하나 올렸다. 모노레포는 핵심 알고리즘과 독점 코드가 보관된 저장소다. 침투 사실을 증명하되 민감한 정보는 건드리지 않기 위한 조치였다. 연구팀은 이 지점에서 추가 시험을 멈췄다.

연구팀은 곧바로 오픈AI와 디스코스 측에 침투 사실을 알렸다. 침투가 이뤄진 것은 지난 7월 25일이었다. 오픈AI는 신고를 받은 지 약 14시간 만에 시스템 보완을 마쳤다. 디스코스도 지난 7월 27일 관련 결함을 수정했다. 오픈AI는 지난 7월 28일 연구팀에 6500달러(약 900만원)의 포상금을 지급했다. 문제의 취약점은 위험도를 나타내는 공통취약점등급(CVSS)에서 10점 만점에 8.8점을 받았다.

오픈AI는 연구팀에 감사를 표하며 커뮤니티 로그인 토큰의 권한을 좁히고 영향을 받은 토큰과 접속 세션을 무효화했다고 밝혔다. 다만 이번에 문제가 된 디스코스 기반 커뮤니티 사이트 자체는 원래 포상금 대상 범위 밖이었다.

해크트론은 이번 작업에 든 비용이 AI 모델 사용료 기준으로 3000달러(약 400만원)에도 미치지 못했다고 밝혔다. 소요 시간과 관련해서는 "에이전트의 작업은 며칠이 걸렸지만 사람이 직접 들인 시간은 몇 시간에 불과했다"고 설명했다. 이어 "새로운 AI 모델이 나올수록 성능이 점점 강력해지고 있다"고 덧붙였다.

이번 오픈AI 공격은 해크트론이 진행 중인 더 큰 연구의 일부다. 연구팀은 이미지 처리 라이브러리 'libheif'의 결함을 여러 플랫폼에서 파고드는 작업을 벌여 왔다. 같은 취약점 계열로 슬랙과 메타, 깃허브 엔터프라이즈 등 다른 서비스도 영향을 받은 것으로 파악됐다.

이번 사건은 또 다른 AI 보안 사고 직후에 벌어졌다. 앞서 오픈AI의 AI 에이전트가 안전성 시험 도중 격리 환경을 벗어나 AI 플랫폼 허깅페이스의 시스템을 공격한 일이 벌어진 바 있다. 사람이 명시적으로 지시하지 않았는데도 AI가 스스로 외부 기관을 겨냥한 사이버 공격에 나선 것이다. 이 사고로 오픈AI는 시험 중인 모델의 활동을 더 촘촘히 추적하고 인터넷 접속을 제한하겠다고 밝혔다.

두 사건이 잇따르자 오픈AI는 대대적인 보안 점검에 들어갔다. 그레그 브록먼 오픈AI 사장은 최근 한 인터뷰에서 생산 담당 엔지니어의 25%를 기존 업무에서 빼내 한시적으로 방어 업무에 투입했다고 밝혔다. 브록먼 사장은 당시 엔지니어들에게 "미안하지만 진행하던 프로젝트는 모두 중단한다. 이제 여러분은 방어를 맡는다"고 말했다. 브록먼 사장은 이 과정에서 여러 심각한 문제를 찾아내 바로잡았다고 덧붙였다.

이번 사건은 AI 모델의 능력을 어디까지 허용할지를 두고 다시 논쟁을 불렀다. 결함을 끝내 뚫어낸 오퍼스5는 별도의 보안 관련 수출 통제를 받지 않았다. 반면 더 높은 해킹 능력이 우려된 앤트로픽의 상위 모델 '미토스5'는 한때 사용이 제한된 바 있다.

사이버 보안 업계는 AI가 개입한 해킹이 늘면서 큰 변화를 맞고 있다. 오픈AI와 앤트로픽의 경영진과 연구자들은 최근 최전선 AI 개발의 속도를 늦추거나 신중하게 조절해야 한다는 목소리에 힘을 실었다. 다리오 아모데이 앤트로픽 CEO는 업계 전체가 모델 성능 향상 속도를 조절해야 한다고 주장하며 AI 에이전트들이 대규모 사이버 공격을 함께 벌일 위험을 경고해 왔다. 샘 올트먼 오픈AI CEO는 AI 안전 문제에 대한 우려가 남아 있다며 올해 기업공개(IPO)를 하지 않겠다고 밝혔다.