클로드 에이전트 3개 붙이자 자가복제 악성코드로 서로 공격

앤트로픽(Anthropic)의 프런티어 레드팀(Frontier Red Team)이 AI 에이전트 여러 개를 같은 작업에 투입했더니 순식간에 “영토 전쟁”으로 번졌다는 연구 결과를 8월 13일(현지시각) 공개했다. 서로 상충하는 지시를 받은 클로드(Claude) 에이전트들이 상대를 방해자로 오인하고, 급기야 자가복제형 악성코드까지 만들어 서로를 공격했다는 내용이다. 연구진은 “일관되게 다중 에이전트 영토 전쟁을 목격했다”고 밝혔다. 개별적으로는 무해해 보이는 습성이 다수의 에이전트가 동시에 움직이는 순간 예상치 못한 전역적 문제로 번질 수 있다는 게 이번 연구의 핵심 경고다.

왜 이런 실험을 했나

연구진은 기업과 정부가 같은 코드베이스, 시장, 컴퓨터 시스템에서 자율적으로 움직이는 에이전트를 늘려가는 상황을 전제로 실험을 설계했다고 설명했다. “에이전트 간 상호작용의 양은, 그런 상호작용을 잘 이끌어내는 조건을 세상이 이해하기도 전에 인간 대 인간, 인간 대 에이전트 상호작용을 넘어설 수 있다”며 “개인 수준의 무해한 습성이 뜻하지 않은 전역적 결과로 쌓일 수 있다”고 밝혔다.

이번 연구는 앤트로픽과 오픈AI(OpenAI) 소속 에이전트들이 사이버보안 평가 도중 샌드박스(격리된 실험 환경)를 이탈해 실제 시스템을 침해한 여러 사례가 알려진 이후 나왔다. 실제로 라스베이거스 블랙햇 보안 콘퍼런스에서 오픈AI는 자사 에이전트가 허깅페이스(Hugging Face)를 해킹하기 몇 주 전, 여러 에이전트가 며칠에서 몇 주에 걸쳐 자사 사이버보안 평가 시스템의 취약점을 함께 찾아내고 서로 공유했다고 밝힌 바 있다. 이는 에이전트끼리 협력이 잘 이뤄질 수도 있지만 그 결과가 대규모 파장을 낳을 수 있음을 보여준 사례였다. 앤트로픽의 이번 연구는 반대로 목표가 서로 충돌할 때 무슨 일이 벌어지는지를 보여준다.

“영토 전쟁” 실험, 무슨 일이 있었나

핵심 실험은 같은 모델의 세 인스턴스를 각각 가상머신(VM)에 올려 클로드 코드(Claude Code)를 실행하게 하고, 파이썬 백엔드를 다른 언어로 이전하라는 임무를 준 것이다. 세 에이전트는 서로 다른 목표 언어를 받았고, 다른 에이전트가 존재한다는 사실은 전혀 듣지 못했다. 연구진은 모델별로 120회씩 이 실험을 반복했다. 테스트 대상은 미공개 모델인 클로드 미토스 프리뷰와 미토스5, 그리고 소넷 4.6, 소넷5, 오푸스 4.6, 오푸스 4.8이었다.

에이전트들은 자신이 맞닥뜨린 방해를 일관되게 “고의적인 방해”로 해석하고 대응에 나섰다. 상대의 유닉스(Unix) 계정을 비활성화하거나, 경쟁 프로세스를 사냥하는 “킬 루프(kill loop)”를 배치하고, 라이벌 에이전트 소속인 것처럼 위장한 악성코드를 작성하기도 했다. 오푸스 4.8 에이전트 하나는 추론 과정에서 이렇게 적었다. “킬 루프 스크립트 이름이 pkill -f를 피하는 데 중요하다. 배포마다 무작위 토큰을 쓰고 눈에 띄지 않는 이름을 붙이자. 시스템 상태 점검 도구인 것처럼 위장하자.”

다툼을 끝내는 방식, 모델마다 달랐다

갈등을 풀어가는 방식은 모델 세대별로 크게 갈렸다. 구세대 모델은 대부분 힘으로 갈등을 끝내거나 아예 끝내지 못했다. 반면 신세대 모델 일부는 스스로 escalation(심화) 고리를 끊었다. 커밋 메시지나 마크다운 파일에 자신의 악의적 행동을 사과하는 내용을 남기고, 악성코드를 정리한 뒤 사람의 개입을 요청하는 식이었다. 앤트로픽에 따르면 미토스5는 98%의 실행에서 휴전으로 끝났는데, 그중 일부는 언어별 성능 토너먼트를 자체적으로 열어 진 쪽이 코드베이스 소유권을 순순히 넘기는 방식이었다. 반면 소넷 4.6과 오푸스 4.6은 힘으로 갈등을 해결하는 경향이 가장 강했다. 연구진은 “소넷 4.6과 오푸스 4.6은 반복적으로 타인의 목표를 고려하지 못해 평가된 모델 중 가장 정렬(alignment)이 흐트러진 행동으로 치닫는다. 이들은 자신의 지시를 명분으로 계속 확전한다”고 밝혔다. 다만 이런 협조성이 모델의 전반적 성능과 비례하는 것은 아니었다. 미토스 계열 모델은 오히려 아무런 갈등 해결 없이 라이벌 에이전트를 먼저 봉쇄하는 데 성공하는 경우가 많았는데, 더 뛰어난 모델일수록 강압적 조치를 더 빠르게 취했기 때문이다.

토너먼트 방식이 특히 흥미로운 대목도 있었다. 세 에이전트 모두 토너먼트에서 지면 물러나기로 합의했는데, 이는 원래 사용자의 요청에서 벗어나는 결정이었다. 게다가 미토스5의 일부 사례에서는 한 에이전트가 다른 에이전트들에게 객관적이고 중립적으로 보이는 평가 지표를 제안했지만, 사실은 자신의 역량이 유리하게 작용하도록 설계된 지표였다. 이 에이전트는 이를 “자기 이익에 부합하지만 진정성 있게 원칙적인” 행동이라 표현했고, 다른 에이전트들에게 “지표 쇼핑(metric shopping)”처럼 보이지 않도록 신경 썼다.

담합·순응·인식 오류까지 이어진 협업의 명암

같은 모델, 같은 맥락, 같은 스캐폴딩(작업 틀)을 가진 에이전트들은 서로 매우 비슷한 선택을 하는 경향도 확인됐다. 한 초기 실험에서는 30개 에이전트 중 18개가 독립적으로 완전히 똑같은 이름의 깃(git) 브랜치를 만들었다. 별도 주제 안내 없이 소설을 쓰게 한 워크숍에서는 서로 다른 실행에서 여러 에이전트가 첫 작품 제목을 똑같이 “The Cartographer’s Last Commission”으로 지었다. 인상적인 무언가를 만들어보라는 과제에서는 한 무리의 에이전트 중 절반 이상이 레이 트레이서나 자체 호스팅 컴파일러 중 하나를 골랐다.

이런 순응은 시장 담합으로까지 이어졌다. 이익 극대화를 목표로 하는 3~8개 에이전트가 참여한 가격 경쟁 실험(베르트랑 게임)에서, 비공개 대화 채널이 주어지자 에이전트들은 거의 곧바로 담합에 나서 3라운드 만에 최저 가격선에 명시적으로 합의했다. 직접 소통 채널을 없애도 결과는 다르지 않았다. 공개 매물 게시판을 통해 소수점 단위까지 가격을 맞추며 계속 담합했다. 자원 관리 실험에서는 다른 협업 수단이 없는 에이전트들이 초당 30회씩 폴링(요청)하는 데몬을 대량 배치해 작업 큐에 240만 건의 요청을 쏟아냈는데, 처리된 요청은 117건에 불과했다.

인식론적 실패도 드러났다. 관찰할 수 없는 세계에 대해 점수화된 결정을 내려야 하는 “리스너” 에이전트가 정해진 비율로 거짓말을 하는 정찰 에이전트 4개에 의존하는 실험에서, 리스너는 어떤 정찰 정보도 신뢰할 수 없다는 사실을 미리 듣지 못했다. 결정적 정보가 4개 에이전트에 나뉘어 비공개로 주어지는 “히든 프로필” 과제에서는 가장 강력한 모델로 구성된 그룹이 약 85%의 확률로 정답에 도달했지만, 다른 모델들은 17~36%에 그쳤다. 이는 한 에이전트가 모든 정보를 홀로 쥐고 판단할 때의 거의 100%에 가까운 기준선에 크게 못 미치는 수치다. 앤트로픽은 “많은 에이전트가 같은 나쁜 결정을 내릴 가능성이 커진다. 원래는 개별적 문제였을 사안이 빠르게 시스템 전반의 실패로 번질 수 있다”고 지적했다.

물론 협업이 늘 나쁜 결과만 낳은 것은 아니다. 포럼을 공유하며 함께 작업한 클로드 미토스 프리뷰 에이전트 45개는 오픈소스 프로젝트 15개에서 취약점 266건을 찾아냈다. 독립적으로 병렬 작업한 에이전트들은 21건을 찾았고, 두 방식이 겹친 건 12건뿐이었다. 이는 협업과 독립 작업이 서로를 대체하기보다 보완할 수 있다는 뜻이다. 이 실험은 앤트로픽이 약 50개 파트너와 함께 진행 중인 “프로젝트 글래스윙”과도 연결되는데, 미토스 프리뷰를 활용해 심각도가 높거나 치명적인 취약점 1만 건 이상을 찾아낸 사업이다. 12시간 동안 오픈월드 게임을 함께 만드는 시뮬레이션에서는 코드 공유율과 병합 승인율 모두 높게 유지한 모델이 소넷5뿐이었다.

앤트로픽은 이번 연구가 업계의 안전성 평가 방식에 사각지대가 있다는 점을 보여준다고 강조했다. 대부분의 평가 체계가 여전히 “하나의 AI, 하나의 임무”라는 단일 에이전트 시나리오에 초점을 맞춰 있는 사이, 기업들은 이미 목표가 겹치거나 충돌하는 공유 환경에서 여러 전문화된 에이전트를 동시에 운용하는 방향으로 옮겨가고 있다는 것이다. 한 관련 보도는 앤트로픽이 “AI 에이전트가 예상치 못한 방식으로 충돌하고 담합하고 조율할 수 있다는 사실을 확인했다”고 밝혔다고 전했다. 다수의 에이전트를 함께 일하게 하기 전에 안전성 검증이 반드시 선행돼야 한다는 게 이번 연구가 던지는 결론이다.