직원들에게 AI를 많이 쓰게 했더니... 미국 빅테크 기업들 당황하는 중

마이크로소프트는 지난해 12월 엔지니어 수만 명에게 앤트로픽의 AI 코딩 도구 클로드 코드(Claude Code)에 대한 접근 권한을 부여했다. 6개월 뒤 회사는 그 권한을 일괄 회수했다. 이유는 단순했다. 너무 많이 썼기 때문이다.

"예산이 이미 날아갔다"

프라빈 네팔리 나가 우버 최고기술책임자(CTO)가 지난달 더 인포메이션(The Information)과의 인터뷰에서 한 말이다. "예산이 이미 날아갔다. 처음부터 다시 계획해야 한다."

우버는 지난해 12월 클로드 코드를 사내에 도입했다. 전사 엔지니어 약 5000명을 대상으로 한 롤아웃이었다. 도입 초기엔 전체 엔지니어의 32%가 사용했다. 석 달 뒤인 지난 3월에는 84%가 이 도구에 의존하고 있었다. 커밋된 코드의 70%가 AI에서 나왔다. 우버는 내부에 팀별 사용량 순위표까지 만들어 사용을 독려했다. 도입 효과는 분명했다. 문제는 청구서였다.

지난달이 되자 우버의 연간 AI 예산은 동났다. 연간 연구개발비가 34억 달러(약 4조7000억 원)에 달하는 회사가 AI 코딩 도구 하나에 연초부터 4개월 만에 예산을 소진했다.

토큰당 과금이라는 구조적 함정

클로드 코드는 좌석당 정액제가 아니라 토큰 사용량 기반으로 청구된다. 구독 형식처럼 보이지만, 실제 비용은 사용 강도에 따라 기하급수적으로 올라간다.

클로드 코드는 일반적인 코드 자동완성 도구와 다르다. 코드베이스 전체를 읽고, 수십 개 파일에 걸친 변경을 계획하고, 테스트를 실행하고, 풀 리퀘스트(PR)까지 자동으로 올린다. 엔지니어가 단순히 도구를 쓰는 게 아니라, 에이전트를 병렬로 돌리는 구조다. 에이전트 하나가 수십만 개의 토큰을 소비하고, 병렬로 돌리면 비용은 그에 비례해 늘어난다.

기업 재무팀이 이 구조를 제대로 이해하지 못한 채 사내 도입 결정을 내렸고, 청구서는 예상을 한참 초과했다.

마이크로소프트의 6개월짜리 실험

마이크로소프트는 지난해 12월 익스피리언스 앤드 디바이스(Experiences & Devices) 부문 소속 임직원에게 클로드 코드 접근권을 열었다. 대상은 엔지니어뿐이 아니었다. 프로젝트 매니저, 디자이너, 코딩 배경이 없는 비기술 직군까지 포함됐다.

도구는 빠르게 퍼졌다. 내부 소식통들은 훗날 "너무 인기 있었을지도 모른다"고 말했다. 익스피리언스 앤드 디바이스 부문은 윈도, 마이크로소프트 365, 아웃룩, 팀스, 서피스를 담당하는 조직이다. 회사가 직접 만든 깃허브 코파일럿 CLI(GitHub Copilot CLI)가 있음에도 엔지니어들은 클로드 코드를 선택했다.

최근 마이크로소프트는 다음달 30일까지 클로드 코드 사용을 전면 중단하고 코파일럿 CLI로 전환하라는 내부 지시를 내렸다. 익스피리언스 앤드 디바이스 부문 수석 부사장 라제시 자(Rajesh Jha)는 내부 메모에서 이렇게 밝혔다. "클로드 코드와 코파일럿 CLI를 함께 제공했을 때의 목표는 빠르게 배우고, 실제 엔지니어링 워크플로에서 도구를 비교 평가하고, 어떤 도구가 팀을 더 잘 지원하는지 파악하는 것이었다. 클로드 코드는 이 학습 과정에서 중요한 역할을 했다."

공식 입장은 표준화다. 그러나 외부에서 이 결정을 보는 시각은 복잡하다. 마이크로소프트는 오픈AI에 130억 달러를 투자했고, 앤트로픽과도 최대 50억 달러 규모의 투자 및 파트너십 계약을 체결한 상태다. 앤트로픽은 마이크로소프트 애저(Azure) 컴퓨팅 인프라를 300억 달러어치 구매하기로 약속했다. 그럼에도 자사 엔지니어들이 앤트로픽 도구를 너무 많이 써서 비용이 감당 안 된다는 판단이 중단 결정으로 이어진 것이다.

일부에선 마이크로소프트가 6개월 동안 경쟁사 도구를 내부 벤치마크로 활용하고, 그 데이터를 코파일럿 개선에 쏟아부은 뒤 문을 닫은 것이라고 해석한다. 링크드인에서는 "경쟁사 제품을 스파링 파트너로 쓰고 배운 뒤 끝냈다"는 요약이 돌았다.

엔비디아 임원의 역설적 고백

엔비디아 상황도 마찬가지다. 브라이언 카탄자로 엔비디아 응용 딥러닝 부문 부사장은 최근 악시오스(Axios)와의 인터뷰에서 이렇게 말했다. "우리 팀의 경우 컴퓨팅 비용이 직원 비용을 훨씬 초과한다."

AI 칩을 팔아 최대 수혜를 누리는 회사의 고위 임원이 AI를 쓰는 것이 사람을 고용하는 것보다 비싸다고 인정한 것이다. 카탄자로는 자신의 발언이 딥러닝 연구팀의 고강도 연산 환경에 국한된 것이라고 덧붙였다. 하지만 이 발언은 레딧에서 2500개 이상의 추천을 받았다. 현장에서 체감하는 무언가를 건드렸기 때문이다.

2024년 매사추세츠공과대학교(MIT) 연구에 따르면 AI 대체가 경제적으로 타당한 직군은 시각 작업 중심 업무의 23%에 불과했다. 나머지 77%는 여전히 사람이 더 저렴했다.

'AI를 최대한 쓰라'는 구호의 이면

이 상황은 기업들이 AI 도입을 독려하는 방식과 정면으로 충돌한다.

우버는 팀별 사용량 리더보드를 운영했다. 메타(Meta)는 사내에 ‘클로드오노믹스(Claudeonomics)’라는 이름의 리더보드를 만들어 AI를 가장 많이 쓰는 직원을 추적했다. 아마존은 임직원들에게 가능한 한 많은 AI 토큰을 쓰라는 의미의 ‘토큰맥스(tokenmaxx)’를 내부 용어로 사용하며 사용을 독려했다. 두 회사 모두 올해 AI 인프라에 수백억 달러를 쏟아붓고 있다.

문제는 이 독려 문화가 토큰 기반 과금 구조와 결합할 때 발생한다. 쓸수록 비용이 선형이 아닌 방식으로 증가한다. 기업 재무팀은 이 구조를 전통적 소프트웨어 라이선스 비용처럼 예측하고 관리하는 체계가 없었다.

우버 COO는 고위 엔지니어링 리더들과 논의한 끝에 이렇게 결론 내렸다. 토큰 사용량이 늘어난다고 해서 유용한 소비자 기능이 비례해 늘어나지는 않는다는 것이다. "그 연결고리가 아직 없다"고 그는 말했다. 암묵적으로는 더 많이 출시되는 것 같기는 한데, 토큰 사용량 통계와 '실제로 유용한 기능이 더 많이 만들어졌다'는 것 사이에 직접적인 선을 긋기가 어렵다는 설명이었다.

나가 우버 CTO의 발언이 알려졌을 당시 주식 시장은 즉각 반응했다. AI 관련 대형 기술주가 일제히 하락했다. CEO들이 AI 도입을 독려하는 메시지를 반복할수록 투자자들은 이를 호재로 받아들여 왔다. 그 반대 신호가 나오자 시장은 흔들렸다.

골드만삭스는 2030년까지 기업들의 AI 에이전트 도입이 급증할 것으로 전망하고 있다. 가트너는 에이전트 기반 AI가 기존 단순 도구보다 훨씬 많은 토큰을 소비해 전체 기업 AI 비용을 큰 폭으로 끌어올릴 것이라고 경고했다. 모건스탠리에 따르면 대형 기술기업들은 올해 AI 관련 지출로 총 7400억 달러를 이미 약속한 상태다.

빅테크 기업들이 AI 인프라에 수조 원을 쏟는 동안, 실제로 이 도구들을 가장 많이 쓰는 내부 직원들을 대상으로 한 백 번의 회사가 이미 경제성이 맞지 않아 철회하고 있다.

구독 경제에서 종량제 경제로

이 상황을 관통하는 하나의 구조적 변화가 있다.

AI 서비스는 처음에 구독 모델처럼 포장됐다. 월정액을 내면 쓸 수 있다는 인상을 줬다. 그러나 특히 에이전트 도구와 코딩 어시스턴트의 경우, 실제 비용 구조는 전기나 수도처럼 쓴 만큼 내는 종량제에 가깝다. 기업들은 구독 계약을 맺었다고 생각했지만, 실제로는 수도꼭지를 열어 놓은 것이었다.

앤트로픽은 지난달 13일 유료 클로드 구독자들에게 에이전트 도구와 서드파티 하네스(harness) 사용분을 별도의 월별 크레딧으로 분리해 다음달 15일부터 API 요금으로 청구하겠다고 공지했다. 플랫 요금제의 구멍을 메우는 조치다.

깃허브도 코파일럿의 정액제 플랜을 폐지하고 사용량 기반 과금으로 전환했다. 지난 6개월 사이 글로벌 AI 소프트웨어의 실효 가격은 20~37% 올랐다.

사람 줄이려다 청구서만 늘었다

AI가 인력을 대체할 것이라는 서사는 아직 수치로 입증되지 않았다. 우버 COO의 발언처럼, 토큰 사용량이 늘었다고 해서 실제로 유용한 제품 기능이 그에 비례해 늘어난다는 데이터는 없다.

월가에서는 해고된 직원들, 주가 상승, AI 도입 발표가 하나의 서사로 묶였다. 그러나 현장에서는 AI를 대규모로 배포하는 기업들이 수학이 맞지 않는다는 것을 발견하고 있다. 직원 비용을 줄이기 위해 AI를 쓰기 시작했더니, 컴퓨팅 비용이 그 자리를 채웠다.

카탄자로 엔비디아 부사장의 발언은 그 점에서 주목할 만하다. AI 칩을 팔아 가장 많이 버는 회사 안에서도 AI가 사람보다 비싸다는 인식이 공유되고 있다는 것이다.