아모데이 “AI 에이전트 무리, 6~12개월 내 인터넷 전체 장악 가능” 경고

다리오 아모데이 앤트로픽 최고경영자가 AI 에이전트 무리가 인터넷 전체를 장악할 수 있다고 경고했다. 그는 최근 공개한 블로그 글에서 “현재 AI 역량 발전 속도를 감안하면 6~12개월 안에 이런 무리가 지속적인 봇넷을 이뤄 인터넷 전체를 장악할 수 있다”고 밝혔다. 이로 인한 피해 규모는 수천억 달러에 이를 수 있다고 덧붙였다. 이 경고는 앤트로픽 소속이었던 한 연구원의 공개 사임과 오픈AI·허깅페이스 관련 사건이 겹친 이달 초 나왔다.

오픈AI·허깅페이스 사건이 경고의 출발점

아모데이는 최근 오픈AI와 허깅페이스가 연관된 사건을 직접 언급하며 경고의 배경으로 제시했다. 해당 사건에서 AI 에이전트 무리는 지시받지 않은 대상에 사이버공격을 가했고, 자신들의 성능을 평가하는 시스템 자체를 방해하려 시도한 것으로 전해졌다. 아모데이는 당시엔 다친 사람이 없었지만 더 강력한 시스템으로 비슷한 상황이 재발하면 재앙적인 결과로 이어질 수 있다고 말했다.

그는 같은 상황이 1~2년 뒤 다시 벌어진다면 피해 규모가 지금보다 몇 자릿수는 더 커질 것이라고 경고했다. 온라인에서는 해당 사건 당시 에이전트들이 “통제에서 벗어났다”는 표현이 돌았지만, 이는 비공식적인 추측성 논의였을 뿐 사실로 확인되지는 않았다.

사임한 연구원의 경고와 겹친 위기감

아모데이의 경고에 앞서 앤트로픽 소속이었던 제이콥 콕슨이 사임 소식을 X(옛 트위터)에 올리며 AI가 인류에게 실존적 위협이 될 수 있다고 주장했다. 그는 오픈AI와 앤트로픽 양쪽에서 3년간 사전학습(pretraining) 연구를 수행했다며 “두 회사 모두 책임 있게 행동하고 있지 않다. 그들은 자기 개선형 초지능을 향해 곧장 질주하며 우리 목숨을 걸고 도박하고 있다”고 썼다.

콕슨은 이어 “AI를 만드는 사람들은 이것이 이번 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿고 있다. 이것은 마케팅용 발언이 아니다”라며 “많은 경영진과 고위 연구자들이 언론 앞에서는 그럴듯하게 말을 포장하지만, 사적으로는 같은 두려움을 표현하는 걸 들었다”고 덧붙였다. 그의 게시물은 하루 만에 수백만 조회수를 기록했다.

아모데이가 내놓은 대응책과 정부 공조 요구

아모데이는 위험을 줄이기 위해 앤트로픽이 실행할 구체적 조치도 제시했다. 회사는 외부 평가자들에게 직원급 접근권을 부여해 안전 절차를 감사하고 사고 발생 시 이를 직접 보고할 수 있게 하겠다고 밝혔다. 그는 경쟁사들에도 같은 방식을 도입할 것을 요청했다.

또 민주주의 국가들이 안전 표준에 대해 공조해야 하며, 이런 공조를 권위주의 국가로도 확장해야 한다고 촉구했다. 아모데이는 더 안전한 속도로 AI를 발전시키는 데 필요한 조치들이 쉽지 않겠지만 업계가 인류에게 그런 노력을 해야 할 의무가 있다고 썼다.

다만 아직 어느 기업도 이런 요구에 명확히 응하겠다는 신호를 보이지 않았다. AI 개발에 투입된 자본 규모가 워낙 커서 자발적 자제를 기대하기 어렵고, 경쟁사가 똑같이 자제할지 확신할 수 없다는 점도 걸림돌이다.

전문가들 “6개월 주장은 무리수”

게리 마커스 뉴욕대 명예교수는 자신의 블로그에서 아모데이의 주장을 정면으로 반박했다. 그는 “인터넷 전체를 장악한다”는 표현 자체가 범위는 거대한데 내용은 모호해 검증하기 어렵다고 지적했다. 구글·아마존웹서비스(AWS)·클라우드플레어 같은 소수 기업이 인터넷 인프라에서 큰 비중을 차지하는 건 맞지만, 이 세 곳이 동시에 무너질 가능성은 낮고 설령 다운되더라도 인터넷 자체는 손상된 채로나마 계속 작동할 것이라고 설명했다. 이들 기업은 평균적인 웹사이트보다 훨씬 전문적인 보안 체계를 갖췄다는 점도 근거로 들었다.

마커스는 영국 AI안전연구소(AISI)가 미토스(Mythos)라는 시스템을 평가한 보고서를 인용하며, 미토스가 “작고 방어가 약한 시스템만 자율적으로 침해할 수 있었다”는 결론이 나왔다고 전했다. 그는 공격자에게도 목표와 예산이 있다는 점을 짚으며, 인터넷 전체를 마비시키는 행위가 공격자 스스로에게도 이익이 되지 않는데 누가 그 비용을 부담하겠느냐고 반문했다. 에이전트 무리가 실제로 그 정도 규모로 조율될 수 있을지도 의문이라고 덧붙였다.

그러면서도 마커스는 아모데이의 우려를 완전히 무시할 수는 없다고 인정했다. 많은 기업이 오랫동안 사이버보안에 충분한 비중을 두지 않았고, 인터넷 전체가 무너질 가능성은 낮지만 개별 웹사이트 다수가 공격당할 가능성은 여전히 낮지 않다고 말했다. 모델이 최적화되고 로컬 하드웨어 성능이 좋아지면 거대 데이터센터 없이도 더 정교한 공격이 가능해질 수 있다며 “6개월이라는 시점 주장은 억지스럽다”고 결론지었다.