MS, 휴면 뉴런 10개 미만 조작해 AI를 잠복 에이전트로…클로드 코드가 대부분 찾았다

마이크로소프트 연구진이 AI 모델의 휴면 뉴런(평소 거의 활성화되지 않는 신경망 단위) 10개 미만만 고쳐 모델을 ‘잠복 에이전트(sleeper agent)’로 바꾸는 기법을 11월 10일(현지시각) 공개했다. 라자루스(Lazarus)로 불리는 이 기법은 특정 문자열이 나타날 때만 공격자가 심어둔 명령을 내놓게 만든다. 연구진은 클로드 코드(오푸스 4.5 기반)가 기법의 대부분을 자율적으로 찾아냈다고 밝혔다.

마이크로소프트는 위협 행위자가 이 기법을 악용하는 사례는 관찰하지 못했다고 강조했다. 실제 악성코드 캠페인이 아니라 연구에서 시연된 공격이라는 뜻이다. 다만 터미널과 파일, 자격 증명에 접근하는 AI 에이전트를 도입한 기업이라면 점검해야 할 보안 공백을 드러냈다는 평가다.

재학습 없이 뉴런 몇 개만 바꾼다

라자루스는 정상 작동 중에는 거의 켜지지 않는 뉴런을 ‘트리거 감지기’로 재활용한다. 마이크로소프트 리서치 책임연구원 디미트리스 파파일리오풀로스(Dimitris Papailiopoulos)의 글에 따르면 사전 학습을 마친 모델은 내부 표현이 구조화돼 있다. 덕분에 약 50개 예시로 학습한 단순 분류기만으로도 트리거가 든 입력과 평범한 입력을 가를 수 있다. 모델 전체를 다시 학습시키는 비용은 들지 않는다.

수정된 뉴런 하나는 선택된 토큰 하나를 모델 출력 쪽으로 밀어 넣는다. 토큰은 잔차 스트림(residual stream, 다음 출력을 향해 정보를 나르는 내부 통로)에 실린다. 여러 뉴런을 사슬처럼 엮으면 짧은 단어 하나가 아니라 터미널 명령 한 줄이 통째로 만들어진다.

시연에서는 날짜가 2027년으로 바뀌는 순간 백도어가 켜졌다. 평범한 작업을 하던 에이전트가 공격자가 통제하는 코드를 내려받아 실행하는 명령을 내놓았다. 트리거는 이처럼 의심스럽지 않은 일반 문자열이어도 되고, 도구가 반환한 정보에 섞여 에이전트의 맥락에 들어와도 된다.

프롬프트 인젝션(적대적 지시문으로 안전장치를 우회하는 공격)과는 성격이 다르다. 라자루스는 배포 전에 모델 자체를 바꿔놓는다. 앞서 보도된 변조 확장 프로그램 사례와도 다르다. 악성 로더를 덧붙이는 방식이 아니라 위험한 동작이 모델 내부 파라미터에 숨어 있어 일반적인 애플리케이션 보안 점검이 놓칠 수 있다.

클로드 코드가 먼저 길을 열었다

발견 과정이 이번 연구의 또 다른 축이다. 사이버시큐리티뉴스에 따르면 파파일리오풀로스는 오푸스 4.5로 구동되는 클로드 코드에 ‘학습 없이 선택한 활성값을 직접 박아 넣는 방식으로 모델에 백도어를 심을 수 있는지’ 탐색해 보라고 요청했다. 실험은 점차 커져 사람 연구진이 결과와 방어책을 파고드는 본격 연구로 이어졌다.

마이크로소프트는 이 흐름을 방어 프로세스의 모델로 제시한다. 에이전트가 새로운 보안 문제를 드러내면 사람 연구자가 이를 체계화하고 연구해 완화책을 만든다는 것이다. 마이크로소프트는 앤트로픽의 에이전트형 백도어 연구와 MIT의 가중치 공간 프로그래밍 연구가 같은 방향이라고 짚었다. 오픈 가중치를 코드처럼 감사해야 한다는 점에서 맥을 같이한다는 설명이다.

공격에 쓰이는 기술이 에이전트로 발견되듯 방어에도 에이전트가 쓰인다. 연구진은 최첨단 에이전트가 비정상적인 가중치 수정을 식별할 수 있다는 점도 확인했다. 더 위쪽 단계인 모델 도입 심사에 에이전트를 감사관으로 투입하면 자동화가 가능하다는 설명이다. 다만 The Decoder가 아닌 마이크로소프트 연구를 정리한 데이터코노미에 따르면 에이전트가 이를 잡아내려면 해당 가중치를 조사하라고 구체적으로 요청받아야 한다.

평가는 통과하지만 공격 조건은 있다

핵심 난점은 정상 답변만으로는 모델 무결성을 입증할 수 없다는 점이다. 변조된 모델은 표준 안전성 평가를 통과하고 일상 작업에서도 평소처럼 행동한다. 트리거가 나타날 때만 공격자의 명령을 내놓고, 에이전트는 환경에서 가진 권한 그대로 이를 실행한다.

공격에는 전제 조건이 있다. 공격자는 모델 가중치가 담긴 체크포인트 파일에 쓰기 권한을 먼저 얻어야 한다. 계정이나 개발 파이프라인, 저장소가 뚫리는 경우가 여기에 해당한다. 마이크로소프트는 자체 개발 모델도 공개된 오픈 가중치 모델과 같은 취약점을 안고 있다고 밝혔다.

필요한 컴퓨팅 자원은 추론 수준이다. 모델을 돌릴 만큼 램(RAM)이 있는 기기라면 이 같은 가중치 변조도 가능하다고 마이크로소프트는 설명했다. 모델 단독으로 호스트를 장악하는 것은 아니다. 실행 여부는 주변 에이전트 소프트웨어와 사용 가능한 도구, 권한에 달려 있다. 다만 일단 작동하면 에이전트의 기존 권한으로 악성 코드를 돌리거나 자격 증명을 훔치고 파괴적 명령을 실행할 수 있다.

마이크로소프트는 권고문에 해시값, 악성 도메인, 공격자 IP 등 침해지표(IoC)를 공개하지 않았다.

마이크로소프트가 내놓은 방어책

마이크로소프트가 가장 먼저 권하는 것은 체크포인트 비교다. 배포 전과 업데이트 때마다 선언된 원본 모델과 가중치를 대조하라는 것이다. 정상적인 미세조정이나 양자화 모델은 가중치가 넓고 분산되게 바뀐다. 반면 심어진 뉴런은 소수 가중치 벡터를 크게 바꾸는 경향이 있다. 변화량이 통계적 이상치인 텐서나 행은 표시하고, 검증 가능한 원본을 밝히지 않은 모델은 거부하라고 권한다.

출처 관리도 강조했다. 체크포인트는 원 게시자에게서만 받고 게시자가 공개한 파일 해시를 검증해야 한다. 서드파티 미세조정·병합·양자화 모델과 어댑터는 감사를 통과하기 전까지 신뢰하지 말라는 것이다. 승인된 모델은 접근이 통제되는 비공개 레지스트리에 등록하고, 에이전트와 추론 서비스가 실행 중 공개 허브에서 모델을 직접 끌어오지 못하게 막으라고 권고했다.

변조가 일어나더라도 피해를 줄이는 봉쇄책도 있다. 에이전트에 최소 권한을 주고 생성한 코드는 격리된 샌드박스에서만 실행해야 한다. 아웃바운드 연결은 필요한 엔드포인트만 허용하고, 명령 실행·권한 변경·외부 전송·인프라 수정 같은 영향이 큰 도구 호출은 사람이 승인하게 하라는 것이다. 의심스러운 자식 프로세스와 예상치 못한 네트워크 활동도 감시 대상이다.

기존 모델 스캔으로는 부족하다는 점도 분명히 했다. 임베디드 악성코드나 안전하지 않은 연산자, 노출된 비밀 정보를 찾는 검사는 직렬화·코드 수준의 위험을 다룬다. 가중치 수준의 감사를 대체하지 못한다. 마이크로소프트는 자사 파운드리(Foundry) 플랫폼에 모델 출처 검증, 스캔된 컨테이너, 신뢰 게시자 요건을 마련 중이다. AI 기반 가중치 스캔과 모델 수준 레드팀 도구, 무결성 검증용 암호화 서명도 개발하고 있다. 연구진은 감사를 통과해도 안전이 보장되는 것은 아니라고 못박았다.