레볼루트, 클로드 대신 자체 서버 GLM을 기본값으로 써 AI 코딩 추론비 90% 줄였다

영국 핀테크 레볼루트(Revolut)가 AI 코딩 추론 비용을 1년이 채 안 되는 기간에 약 90% 줄였다고 밝혔다. 클로드 같은 상용 서비스에 주로 기대던 방식을 버리고 자체 서버에서 돌리는 모델을 기본값으로 바꾼 결과다. 더 레지스터(The Register)가 11월 3일(현지시각) 이 내용을 보도했고 테크레이더(TechRadar)도 뒤이어 다뤘다.

이 수치는 레볼루트의 운영·인프라 총괄 데이비드 아비톨(David Abitbol)이 콘퍼런스에서 직접 공개했다. 대상은 AI 코딩 도구를 쓰는 엔지니어 약 2,000명이다. 모델은 중국 Z.ai가 개발한 오픈 웨이트(가중치 공개) 모델 GLM이다.

월 1,000달러·1만 달러 쓰던 엔지니어들, 예산 상한이 출발점이었다

더 레지스터에 따르면 레볼루트는 2025년 초 제미나이를, 2026년 초 클로드 코드를 도입하며 AI 실험을 이어왔다. 아비톨은 지난달 뉴욕에서 열린 AI 엔지니어 콘퍼런스에서 당시 분위기를 이렇게 전했다. “AI 비용에 대해 매우 회의적이었다. 엔지니어들이 한 달에 1,000달러, 1만 달러씩 쓰는데 투자 대비 효과는 크지 않았다.”

그래서 도입 때부터 엄격한 예산 한도를 걸었다. 엔지니어가 쓸 수 있는 토큰(AI가 처리하는 텍스트 단위)이 제한되자 회사는 자체 모델 호스팅을 검토하기 시작했다. 테크레이더도 일부 헤비 유저가 매달 수천 달러를 토큰에 쓰면서 그만한 성과는 내지 못했다고 전했다.

결과는 단가 차이로 나타났다. GLM 5.1을 자체 구동하면 입력·출력 토큰 100만 개당 약 0.30달러가 든다. 더 레지스터는 이를 오픈AI의 코덱스(Codex)나 앤트로픽의 클로드 코드를 쓸 때의 약 10분의 1이라고 설명했다. 토큰이 싸지면 사용량을 따지지 않게 된다는 점이 핵심이었다.

GLM 5.1에서 5.3으로…성능은 GPU 증설보다 튜닝에서 나왔다

레볼루트는 처음 GLM-5.1을 도입했고 이후 GLM-5.3으로 옮겼다. 지금은 엔비디아 B200 GPU 56개로 GLM-5.3을 서비스한다. 8개짜리 DGX B200 시스템 7대와 GPU 수가 같다. 단순 계산하면 GPU 1개당 엔지니어 약 36명이 나눠 쓰는 규모다.

GLM 5.1은 작은 모델이 아니다. 더 레지스터에 따르면 전체 파라미터가 약 7,540억 개이고 토큰 하나를 생성할 때 활성화되는 파라미터는 400억 개다. 가중치만 올리는 데 GPU 메모리 약 380GB가 필요하고 사용자별 컨텍스트(대화 맥락) 유지에 정밀도에 따라 6~26GB가 더 든다.

아비톨은 가장 큰 성능 향상이 GPU를 늘려서가 아니라 튜닝에서 나왔다고 말했다. 모델 하이퍼파라미터 조정과 NVFP4 양자화(수치 정밀도를 낮춰 메모리와 연산을 줄이는 기법)가 대표적이다. 프리필(입력 처리)과 디코드(출력 생성) 단계를 분리해 돌리는 방식, 컨텍스트 길이 조정도 병행했다.

컨텍스트 길이에 대한 발언은 눈에 띈다. 아비톨은 “긴 컨텍스트는 사기다. 이 점을 유념해야 한다. 100만 토큰을 서비스할 수는 있어도 실제로 필요한 건 25만6,000 정도”라고 말했다. 레볼루트는 약 25만6,000토큰 컨텍스트에서 첫 토큰이 나오기까지 3초 미만, 생성 속도는 초당 약 200토큰을 달성했다.

기준도 구체적이다. 아비톨은 “첫 토큰 3초 미만을 목표로 해야 한다. 5초를 넘기면 내 슬랙 수신함이 터지기 시작한다”고 했다. 처리 속도는 상대적으로 덜 중요하다고 봤다. 사람들이 생각 토큰의 흐름을 지켜보지 않고 작업을 병렬로 돌린 뒤 끝났을 때 확인하는 식으로 일하기 때문이다. 오후 5시 이후 접속하는 엔지니어는 초당 800토큰에 가까운 속도를 쓴다.

코딩 시간 60%·리드 타임 70% 개선…병목은 코드가 아니었다

AI 코딩 도구를 약 2,000명 엔지니어에게 배포한 뒤 코딩 시간은 60%, 리드 타임은 70% 개선됐다. 테크레이더에 따르면 아비톨은 독일 베를린에서 열린 GTC에서도 같은 수치를 언급했다. 이 자리에서 그는 GLM 모델의 데이터 프라이버시와 감사 가능성(auditability)도 높이 평가했다.

흥미로운 대목은 가장 큰 이득이 코드 작성 자체에서 나오지 않았다는 점이다. 아비톨은 병목이 코드가 아니었다고 말했다. 큰 효과는 디버깅과 지라·컨플루언스 티켓 처리를 AI 모델에 맡기면서 나왔다. “토큰이 무제한이면 이런 일을 자유롭게 시킬 수 있다. 분기 말이나 가장 어려운 작업을 위해 토큰을 아껴둘 필요가 없다”는 설명이다.

비용 구조도 달라졌다. 아비톨은 “오픈소스는 이제 레볼루트의 우선순위다. 경제성이 좋다. 요금은 정액이고 월말에 청구서 충격이 없으며 최첨단 모델은 예외”라고 말했다. 테크레이더도 비용이 높은 것보다 예측하기 어려운 것이 기업들에게 더 부담이라는 점을 짚었다.

다만 GLM이 GPT나 클로드를 완전히 대체한 것은 아니다. 이 모델은 텍스트 전용이라 UI 작업 같은 데는 맞지 않는다. 레볼루트는 모델 라우터(요청을 성격에 따라 모델에 배분하는 장치)를 두고 이미지·화면 관련 질의는 제미나이나 GPT Luna 같은 모델로 보낸다. 코드 생성은 GLM이 맡는다.

중국산 모델 우려와 자체 구축의 대가

중국 개발사 모델을 금융 기업이 기본값으로 쓴다는 점은 논란거리가 될 수 있다. 아비톨도 프라이버시와 보안 측면의 우려가 있을 수 있다고 인정했다. 다만 그는 핵심 위험이 중국 안에서 운영되는 API를 통해 접근하는 경우라고 선을 그었다. 자사 서버나 지역 클라우드에서 돌리면 걱정할 것이 사실상 없다는 입장이다.

비용 절감을 곧바로 총비용 절감으로 읽기는 어렵다. 테크레이더는 직접적인 모델 사용 비용은 크게 줄었지만 자체 호스팅에는 하드웨어와 인프라에 상당한 투자가 필요하다고 지적했다. GPU와 유지보수, 전력 같은 항목의 지출이 늘었을 가능성이 크다는 것이다. 보도된 90% 절감은 AI 코딩 추론 비용에 대한 수치다.

공개된 보도에는 오픈 웨이트 모델의 라이선스 조건이나 모델 보안 점검을 레볼루트가 어떻게 처리했는지 설명이 없다. 같은 방식을 검토하는 기업이라면 확인해야 할 대목이다. 아비톨의 발언은 콘퍼런스 강연에서 나온 것이어서 구체적인 총소유비용 내역은 공개되지 않았다.

레볼루트의 사례는 ‘가장 강한 모델을 쓰는 것’보다 ‘작업에 맞는 모델을 싸게 쓰는 것’이 실무에서 더 큰 차이를 낼 수 있음을 보여준다. 이 회사는 최첨단 상용 모델을 예외로 두고 있다.