키미 K3.1 프로, 오푸스 5.5보다 작업당 비용 2.8배 저렴…대신 느리고 응답이 길다

중국 AI 기업 문샷AI(Moonshot AI)의 키미(Kimi) K3.1 프로가 독립 AI 평가기관 아티피셜 애널리시스(Artificial Analysis·AA)의 종합 지능지수에서 55점을 받아 전체 4위에 올랐다. 오픈AI의 GPT-6 Astra(53점)보다 2점 높은 수치다. 총 2.8조 개 파라미터 가운데 1,040억 개만 활성화하는 전문가 혼합(MoE) 구조로, 앤트로픽의 오푸스 5.5와 소넷 5.5 수준에 접근했다는 평가를 받는다.

다만 AA는 이 모델의 약점도 함께 짚었다. 출력 속도가 평균보다 느리고 응답이 매우 길다는 지적이다. 오푸스 5.5와 비교한 작업당 비용, 터미널 벤치 1위 기록, 11월 4일로 예고된 오픈 웨이트(가중치 공개) 일정까지 정리했다.

AA 지능지수 55점 4위…GPT-6 Astra·제미나이 4 Argon 앞서

키미 K3.1 프로는 문샷AI가 7월에 내놓은 키미 K3의 후속 모델이다. 더리(The Elec)에 따르면 K3를 사후 학습(post-training)으로 강화한 버전이다. 문샷AI는 전작보다 더 많은 연산 자원을 사후 학습에 투입했고 학습 과정과 인프라 효율도 개선했다고 밝혔다. 오르카라우터(OrcaRouter)는 이 모델이 10월 23일(현지시각) 공개됐다고 전했다.

AA의 지능지수는 여러 평가를 합산한 종합 지표다. 키미 K3.1 프로는 이 지수에서 55점으로 4위를 차지했다. 순위에는 아직 API를 공개하지 않은 메타의 Muse Wonder가 포함돼 있다. 클로드 페이블 5.1과 구글의 제미나이 4 Argon도 키미 뒤에 놓였다. 전작 K3는 추론 강도를 최대로 설정했을 때 44점이었다.

실무 작업 성능을 재는 GDPval-AA에서는 1,846 Elo(대결형 평가에서 쓰는 점수 체계)를 기록했다. K3보다 312 Elo 높은 수치다. 오르카라우터는 지수 범위가 대략 38점에서 60점 사이인 리더보드에서 GPT-6.1 Sol이 52점, GPT-6 Astra가 53점이라고 적었다. 키미는 오픈AI의 상위 두 모델을 2~3점 차로 앞선 셈이다.

에이전트 성능에서도 비슷한 흐름이 나타난다. 오르카라우터가 인용한 OSWorld 2.1(데스크톱 자동화 평가)에서 키미 K3.1 프로는 79.6%를 받았다. GPT-6 Astra의 75.8%보다 높다. 코딩에서는 키미가 오푸스 5.5를 바짝 뒤쫓는다는 보도가 있다고 이 매체는 전했고, 오푸스 5.5가 58점으로 해당 비교에서 가장 높다고 적었다.

2.8조 파라미터 중 1,040억 개만 쓴다…896개 전문가에서 16개 선택

키미 K3.1 프로는 MoE 구조다. 입력된 토큰(AI가 텍스트를 처리하는 단위)마다 전체 신경망을 모두 돌리지 않고 일부 전문가 모듈만 골라 계산한다. 총 파라미터는 2.8조 개이고 실제로 활성화되는 파라미터는 1,040억 개다. 전문가는 896개이며 토큰을 처리할 때 이 중 16개가 선택적으로 켜진다. 긱키 가젯은 같은 모델을 3조 개 파라미터 규모로 소개했는데 더리가 밝힌 2.8조 개와는 차이가 있다.

문샷AI는 하드웨어 자원 효율을 높이는 기술도 강조했다. 키미 델타 어텐션이 대표적이다. 메모리를 아끼는 기술인 게이티드 델타넷을 회사가 자체 구현한 것이다. 어텐션(문맥 속 단어 관계를 계산하는 연산)에 드는 메모리 소비를 줄여 긴 컨텍스트를 처리할 때 효율을 높인다. 이 기술은 K3에도 쓰였다.

컨텍스트 창은 1,048,576토큰이고 최대 출력은 943,718토큰이다. 오르카라우터는 비교 대상인 GPT-6.1 Terra의 최대 출력이 128,000토큰이라고 적었다. 긴 문서 생성이나 파일 전체 코드 출력에서는 이 차이가 한 번의 호출로 끝나느냐, 나눠 호출하는 파이프라인이 필요하느냐로 갈린다.

오푸스 5.5와 비교하면…작업당 2.11달러, 대신 느리고 길다

가격은 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러다. AA가 지능지수 평가를 기준으로 계산한 작업당 평균 비용은 2.11달러였다. 같은 평가에서 최대 추론 강도의 클로드 오푸스 5.5는 5.98달러였다. 키미가 오푸스 5.5보다 작업당 약 2.8배 저렴한 셈이다. 오르카라우터는 입력 10만 토큰·출력 5,000토큰 요청 한 건이 키미에서는 0.25달러라고 계산했다.

속도와 응답 길이는 불리하다. 키미 K3.1 프로의 출력 속도는 초당 73토큰으로 평균 81토큰을 밑돈다. AA의 지능지수 평가 중 생성한 토큰은 1억 5,000만 개로 중앙값 8,700만 개를 크게 웃돌았다. 토큰당 단가가 낮아도 긴 추론과 많은 출력 때문에 실제 비용이 늘 수 있다는 뜻이다.

AA는 이렇게 평가했다. “키미 K3.1 프로는 비슷한 가격대의 다른 모델과 비교해 합리적인 가격에 최상위권 성능을 내지만 상당히 느리고 응답이 매우 길다는 단점이 있다.”

터미널 벤치 4.0에서는 1위에 올랐다. 터미널(명령줄) 환경에서 AI 에이전트가 코딩 작업을 끝낼 수 있는지 재는 평가다. 키미 K3.1 프로는 67%로 전작 K3의 13%에서 급등했고 소넷 5.5의 64%를 앞서 전체 모델 중 최고점을 받았다. 복잡한 재무 분석을 보는 OfficeQA Pro v2에서는 문샷AI가 오푸스 5.5와 소넷 5.5를 모두 앞섰다고 주장했다. 이 항목은 AA의 독립 평가가 아니라 회사 측 주장이다.

3D 애니메이션과 오픈 웨이트…남은 변수는 증류 의혹

문샷AI의 자체 테스트에 따르면 키미 K3.1 프로는 정지된 3D 모델에 그치지 않고 애니메이션도 만든다. 사람의 움직임을 보여주는 애니메이션 시뮬레이션과 여러 3D 비디오 게임을 생성했다고 한다. 긱키 가젯은 유튜브 채널 ‘Universe of AI’를 인용해 이 모델이 블렌더·유니티·언리얼 엔진 같은 플랫폼과 연동되고, Bench CAD 점수 92.7을 받았다고 소개했다. 이 수치는 해당 매체가 전한 내용으로, 독립 검증 여부는 확인되지 않았다.

오픈 웨이트는 11월 4일까지 공개될 예정이다. 오르카라우터는 이 일정이 약속일 뿐 아직 가중치가 나오지 않았다는 점을 분명히 했다. 보도들에 따르면 문샷AI가 공개 전에 사이버 관련 학습 데이터를 제거했다. 그래서 보안 관련 프롬프트에서는 API 모델과 공개 가중치의 동작이 다를 수 있다. 긱키 가젯은 처리 속도가 2~3배 빠른 ‘프로 하이스피드’ 버전도 있다고 전했다.

배경에는 증류 논란이 있다. 더 성능이 좋은 모델의 출력을 학습 데이터로 삼아 다른 모델을 개선하는 기법이다. 미국 정부와 앤트로픽, 오픈AI는 문샷AI가 자사 모델을 무단 증류했다고 비난했다. 앤트로픽은 문샷AI가 가짜 계정과 프록시 네트워크로 클로드의 응답과 추론 기록을 수집해 키미 학습에 썼다고 주장했다. 더리는 이 의혹을 키미 K3.1 프로 보도 말미에 함께 전했다.