"AI 때문에 2030년까지 인류 멸종 가능성" 경고하며 앤트로픽 퇴사... 일파만파

앤트로픽 직원이 인공지능(AI)이 2030년까지 인류를 멸종시킬 수 있다는 경고를 남기며 회사를 퇴사해 파문이 일고 있다. 앤트로픽 간부까지 공개적으로 이 경고에 동조하면서 논란이 커졌다. 앤트로픽은 클로드를 개발·운영하는 회사다.

제이컵 콕슨 전 앤트로픽 연구원은 9일(현지시각) 자신의 엑스(X)에 사직 사실을 알리며 "그들(AI 회사)은 자기 개선형 초지능으로 직행하며 우리의 생명을 걸고 도박하고 있다"고 적었다. 그는 오픈AI와 앤트로픽을 겨냥해 "두 회사 모두 책임감 있게 행동하지 않고 있다"고 했다.

27세인 콕슨 전 연구원은 지난 3년간 오픈AI와 앤트로픽 두 곳에서 사전학습(pretraining) 연구를 해 왔다고 밝혔다. 그는 "오늘 앤트로픽에서 사직했다"며 사직 사실을 공개한 뒤 일곱 편에 걸친 긴 글로 자신의 우려를 풀어놨다.

콕슨 전 연구원은 해당 기술의 위력을 과소평가하지 말라고 강조했다. 그는 "이들은 곧 무엇이든 해킹하고, 어떤 분야든 하룻밤 사이에 혁신하며, 실질적인 권력과 자원을 획득할 수 있는 초인간적 시스템이 될 것"이라고 했다. 이어 "우리는 이 모든 영역에서의 진전을 목격해 왔고, 그 속도는 결코 느려지지 않고 있다"고 했다.

그는 "AI를 만드는 사람들은 이 기술이 2030년까지 우리 모두를 죽일 수 있다고 진심으로 믿고 있다"며 "이것은 마케팅용 쇼가 아니다"라고 했다. 그러면서 "많은 임원과 선임 연구원들은 언론에서 합리적으로 들리도록 표현을 다듬겠지만, 나는 바로 그들이 사석에서 두려움을 토로하는 것을 듣는다"고 주장했다.

'그렇게 위험하다고 믿으면서 왜 계속 만드느냐'는 물음에 대해서도 콕슨 전 연구원은 자신의 답을 내놨다. 그는 "오픈AI에서는 많은 사람이 문명적 위험을 깊이 내면화하지 않았다"고 했다. 앤트로픽에 대해서는 "그 위험이 잘 이해되고 있지만 그들은 먼저 도달하기 위한 경쟁에 갇혀 있다"고 했다.

콕슨 전 연구원은 이런 경쟁을 "사기업의 슬랙(사내 메신저)에서 시작돼서는 안 될 오만한 도박"이라고 규정했다. 정렬 문제를 서둘러 해결하려는 시도는 더 나은 경로가 전혀 없다는 특별한 확신이 있을 때만 정당화될 수 있다는 것이다.

다만 콕슨 전 연구원은 조율 가능성 자체에는 낙관적인 입장을 보였다. 그는 오픈AI 모델이 지난 7월 개발자 플랫폼 허깅페이스(Hugging Face)를 침해했다고 알려진 사건 등을 ‘경고 사격’으로 지목했다. 이런 사례들이 미국 연구소 간 속도 조절 합의를 더 현실적으로 만들었다는 게 그의 판단이다. 그는 모델 성능 개선에 대한 일시적 중단처럼 비용이 큰 조치까지 거론했다.

콕슨 전 연구원은 현직 연구자들을 향해서도 목소리를 냈다. 그는 "연구소 연구원이라면 앞으로 몇 년이 실제로 어떤 느낌일지 진지하게 고려해 보라"고 했다. 이어 "'어차피 일어날 일'이라며 고개를 숙이고 있을 것인가, 아니면 지금 이 순간을 이용해 다른 조건을 요구할 것인가"라고 물었다.

콕슨 전 연구원은 한 인터뷰에서 앤트로픽의 안전 관련 작업 자체는 진심이라고 인정했다. 다만 경쟁 탓에 타협이 불가피하다고 지적했다. 그는 "우리는 가장 공격적인 시나리오들 상당수로 향하고 있으며, 내년 말이면 이미 상황이 통제를 벗어날 수도 있다"고 했다. 그는 연구소 내부 분위기도 전했다. 동료들이 성능 발전을 두고 '크런치타임(crunchtime)'이나 '엔드게임(endgame)' 같은 말로 표현하기 시작했다는 것이다.

콕슨 전 연구원의 경고에 앤트로픽 내부에서 힘을 실은 회사 간부도 등장했다. 에번 허빙어 앤트로픽 정렬과학 책임자(Alignment Science Lead)는 엑스에 콕슨 전 연구원의 글을 인용하며 "제이컵의 말이 옳다"고 적었다.

허빙어 책임자는 "우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다"며 "나는 개인적으로 앞으로 10년 안에 그 확률이 10%가 넘는다고 본다"고 했다. 그는 "앤트로픽이 최선을 다하고 있다고 믿지만, 우리는 아직 초지능에 대한 정렬 문제를 풀 계획이 없고, 그 궤도에 분명하게 올라 있지도 않다"고 덧붙였다. 이 수치는 회사의 공식 전망이 아니라 자신의 개인적 추정이라는 점도 분명히 했다.

허빙어 책임자의 발언은 그의 역할 때문에 더 무겁게 받아들여지고 있다. 그는 앤트로픽이 자체적으로 쓰는 정렬 기법을 스스로 검증하고, 그 기법이 어디서 실패할 수 있는지 찾아내는 팀을 이끌고 있다. 이 팀은 앞서 학습 중에는 정상적으로 행동하다가 배치된 뒤에는 다른 목표를 추구하는 '기만적' 모델에 관한 연구 등을 내놓은 바 있다.

허빙어 책임자는 약 1400명의 AI 연구자가 지난 7월 서명한 '프런티어 속도 조절(Pacing the Frontier)' 공개서한에도 이름을 올렸다. 이 서한은 미국 정부가 자동화된 AI 개발의 최전선 속도를 의도적으로 늦출 수 있는 수단을 마련해야 한다고 촉구했다.

두 사람이 공통으로 우려하는 지점은 '재귀적 자기 개선'이다. AI 시스템이 사람의 개입 없이 스스로 다음 세대를 설계하고 만들어내는 단계를 뜻한다. 아직 실현되지는 않았다. 앤트로픽과 오픈AI 모두 이 단계에 이르면 인간이 AI에 대한 통제력을 잃기 쉬워진다고 경고해 왔다.

이번 사직은 앤트로픽이 기업공개(IPO)를 준비하는 민감한 시점에 나왔다. 일부 분석가는 앤트로픽의 기업가치가 1조 달러를 넘을 수 있다고 본다. 앤트로픽은 안전을 중시하는 이미지를 투자자 유치의 핵심으로 내세워 왔다. 앤트로픽은 콕슨 전 연구원의 사직에 대한 논평 요청에 즉각 답하지 않았다.