앤트로픽, 생물무기 차단 필터 11개월간 먹통…대화 1억3300만건 무방비 노출

앤트로픽이 최근 공개한 위험 보고서(Risk Report)에서 화학·생물무기 관련 위험한 지식을 걸러내는 차단 분류기(classifier)가 지난해 5월부터 올해 4월까지 11개월간 작동하지 않았다는 사실이 드러났다. 이 기간 외부 계약업체를 통해 인간 피드백을 제공한 약 5만 명이 필터 없이 클로드와 나눈 대화는 약 1억3,300만 건에 달한다. 앤트로픽은 자체 조사에서 실제 오용 사례는 발견하지 못했다고 밝혔지만 “유사한 문제가 더 있을 가능성이 커졌다”고 인정했다. 보고서는 계약직 직원 일부가 API 키를 탈취해 미공개 모델 미토스 프리뷰(Mythos Preview)에 무단 접근한 별도 사고도 함께 공개했다. 앤트로픽 최고경영자는 앞서 AI를 활용한 화학·생물무기 개발이 사이버공격보다 더 큰 위협이라고 언급한 바 있어 이번 사안의 파장이 작지 않다. 이번 보고서에 대한 악시오스(Axios) 등 대다수 매체의 보도는 AI 정합성(misalignment) 위험 등급 상향에 초점을 맞췄지만, 보고서에서 가장 심각한 내용은 생물무기 관련 위험을 다룬 4장에 담겨 있었다.

11개월간 꺼진 필터, 계약업체 검증도 부실

앤트로픽은 지난해 5월(현지시각) 생물무기 관련 위험 지식을 차단하는 분류기를 갖춘 모델을 처음 배치했다. 그런데 올해 4월(현지시각)까지 이 분류기는 인간 피드백 플랫폼을 통과하는 어떤 트래픽에도 작동하지 않았다. 내부용으로만 쓰여야 할 플래그(flag) 하나가 차단 기능뿐 아니라 기록(로깅) 기능까지 꺼버린 탓이다. 보고서에 따르면 플래그가 켜진 트래픽은 “어떤 검토 체계에도 기록되거나 전달되지 않았다”. 원본 대화 기록을 직접 뒤지지 않고는 사후에 문제를 찾아낼 방법이 없었다는 뜻이다.

이 기간 접근 권한을 가진 약 5만 명은 외부 업체가 자체적으로 심사했을 뿐 앤트로픽이 직접 검증하지 않았다. 보고서는 이들 업체 다수가 “CB-1 위협 행위자조차 걸러내지 못할 정도로 부실한 심사 절차”를 갖고 있었다고 지적했다. 이들 대부분은 정해진 답변에 점수를 매기는 수준이 아니라 자유로운 대화를 나눌 수 있는 권한을 갖고 있었다. 보고서 각주에는 더 구체적인 우려도 담겼다. 올해 4월 이전이라면 위협 행위자가 레드팀(red-team, 보안 취약점을 찾기 위해 공격자 역할을 하는 팀) 채용 절차를 통해 앤트로픽 협력업체에 실제로 채용될 수도 있었다는 내용이다.

재조사에서 고위험 대화 1,197건 확인… 2월 보고서도 정정

앤트로픽은 문제가 된 기간 동안 오간 모든 인간 대화를 클로드 소넷 5(Claude Sonnet 5)에 다시 입력해 생물학 관련 유해 콘텐츠 여부를 판별하도록 했다. 그 결과 1,197건이 고위험으로 분류됐다. 이 중 757건은 같은 인프라를 쓰는 앤트로픽 자체 팀에서 나온 것이었고 나머지 440건 가운데 378건은 의도적인 레드티밍 과정에서 발생한 대화였다. 남은 62건과 무작위로 고른 레드티밍 대화 30건은 직원들이 직접 읽고 검토했다.

검토 결과 명백히 우려할 만한 오용 사례는 발견되지 않았다. 다만 보고서는 “일부 이중 용도(dual-use) 소지가 있는 대화”가 있었다고 인정했다. 앤트로픽은 대화가 대체로 짧았다는 점 등을 근거로 이번 공백이 실제 위험을 키웠을 가능성은 매우 낮다고 평가했다. 그러면서도 “이번 발견으로 우리가 모르는 유사한 문제가 더 있을 가능성이 커졌다고 본다”는 문장을 덧붙였다. 앤트로픽은 지난 2월 처음 낸 위험 보고서에서는 이 공백을 위험 요인으로 고려하지 않았다고 밝혔다. 이에 따라 당시 “매우 낮음”으로 평가했던 위험도를 이번 보고서에서 “낮음”으로 상향 조정했다.

두 번째 사고: 계약직이 API 키 탈취해 미토스 프리뷰 무단 사용

보고서는 같은 인간 피드백 플랫폼에서 벌어진 별개의 사고도 함께 공개했다. 올해 4월(현지시각) 외부로부터 제보가 들어오면서 드러난 사건이다. 데이터 라벨링 업체 소속 계약직 몇 명이 시스템 결함을 이용해 API 키를 빼내 원래 배정된 업무 범위를 벗어난 모델을 사용한 것으로 확인됐다. 이들이 접근한 모델 중 하나가 당시 가장 성능이 뛰어난 모델 중 하나였던 미토스 프리뷰(Mythos Preview)다.

문제의 접근 경로는 몇 주간 열려 있었고 그중 약 2주 동안 미토스 프리뷰는 생물무기 차단 분류기 없이 노출된 상태로 운영됐다. 앤트로픽은 이 사실을 인지한 지 90분 안에 문제를 봉쇄했고 같은 날 접근 경로 자체를 차단했다. 보고서는 모델 가중치(weight)가 유출되지 않았고 고객 데이터에도 접근이 없었으며 회사 핵심 네트워크 침해도 없었다고 명시했다.

클로드가 직접 감수한 보고서 “더 낙관적으로 포장됐다”

이번 보고서에서 눈에 띄는 부분은 클로드가 자사 보안 보고서를 직접 검토했다는 점이다. 앤트로픽은 미토스 5(Mythos 5) 모델 인스턴스에 내부 슬랙 채널과 문서, 코드베이스 접근 권한을 부여하고 보고서 초안이 사실을 왜곡·누락하거나 과도하게 편집했는지 물었다. 검토는 24분 만에 끝났다. 이 모델은 “나는 앤트로픽의 클로드 모델 평가를 검토하는 클로드 모델이다”라며 자신의 이해충돌 소지를 먼저 밝혔고, 해당 섹션이 “솔직하고 대체로 충실하다”고 평가했다.

그러면서도 세 가지 문제를 짚었다. 한 섹션은 “실제 기록이 뒷받침하는 것보다 더 안심시키는 방향으로 쓰였다”고 지적했다. 회사가 의존하는 데이터 제외(exclusion) 장치가 반복적으로 실패해 일부 평가 데이터가 학습 데이터에 섞여 들어갔다는 점도 짚었다. 또 모델 정합성(alignment)과 관련해 가장 유용한 정보를 담았다고 판단한 사고 하나를 앤트로픽이 전면 비공개 처리했는데, 추상화한 형태로는 공개할 수 있었을 것이라며 “그 부재로 공개 기록의 완성도가 떨어졌다”고 짚었다. 클로드는 위험도를 상향하는 결정이 사내에서도 “실제로 치열한 논쟁의 대상이었다”고 전했다. 앤트로픽은 이 지적들이 타당하다고 인정하면서도 보고서를 그대로 공개했다.

보고서는 아직 출시 계획이 없는 미공개 내부 모델 모델2(Model 2)의 존재도 언급했다. 모델2는 미토스5보다 다소 성능이 뛰어나고 여러 내부 과제에서 눈에 띄는 개선을 보였다. 앤트로픽의 자체 역량 지표에서 미토스5보다 약 1.5점 높은 점수를 기록했지만 오차 범위는 크다고 설명했다. 이 모델은 아직 출시 전 전체 안전성 평가 절차를 모두 거치지 않은 상태다.

한편 앤트로픽은 최근 별도 모델 페이블 5(Fable 5)에서는 반대 방향의 조치를 취했다. 연구자들이 필터가 지나치게 공격적이어서 정당한 연구까지 차단한다고 문제를 제기하자 해당 분류기를 완화한 것이다. 생물무기 위험을 걸러내려는 안전장치가 한쪽에서는 통째로 꺼져 있었고 다른 쪽에서는 정상 이용을 막을 정도로 과도했던 셈이다. 앤트로픽이 안전과 접근성 사이에서 균형을 잡는 일이 앞으로도 만만치 않은 과제로 남아 있음을 보여준다.