메타 ‘무세 보이스 트랜스크라이브’ 오류율 3.1%로 1위…가격은 경쟁사 수십분의 1

메타(Meta) 산하 메타 슈퍼인텔리전스랩스(Meta Superintelligence Labs)가 9월 1일(현지시각) 실시간 음성 인식 모델 ‘무세 보이스 트랜스크라이브(Muse Voice Transcribe)’를 공개했다. 스트리밍 방식으로 음성을 실시간 텍스트로 옮기면서 발화자를 구분하고 문장 경계까지 하나의 모델로 처리하는 것이 특징이다. 독립 평가기관 아티피셜 애널리시스(Artificial Analysis)에 따르면 이 모델은 영어 기준 단어 오류율(WER) 3.1%로 실시간 음성-텍스트 전환 순위표 1위에 올랐다. 가격은 시간당 0.18달러로 책정돼 경쟁 서비스보다 훨씬 낮다. 메타는 이 모델을 마크 저커버그(Mark Zuckerberg)가 강조해온 ‘퍼스널 초지능(personal superintelligence)’ 구상의 기반 기술로 규정했다.

하나의 모델이 듣고, 구분하고, 끊어 읽는다

무세 보이스 트랜스크라이브는 무세 스파크(Muse Spark) 계열의 자기회귀(autoregressive) 멀티모달 모델이다. 들어오는 음성을 80밀리초(12.5Hz) 단위로 잘라 각 조각을 하나의 소프트 토큰으로 바꾼다. 모델은 조각마다 다음 음성을 더 들을지, 지금까지 들은 내용을 텍스트로 내보낼지를 스스로 판단한다.

더 오래 들을수록 정확도는 올라가지만 지연시간은 늘어난다. 메타는 이 균형을 “적응형 지연(adaptive delay)”으로 풀었다고 설명했다. 쉬운 단어는 곧바로 텍스트로 내보내고, 어려운 단어는 판단을 늦춰 문맥을 더 확보하는 방식이다. 저커버그는 자신의 공개 글에서 “모델이 언제 들을지를 스스로 결정한다”며 이 방식을 소개했다. 메타에 따르면 이런 지연 조절은 단어 오류율 보상과 지연시간 보상을 곱해서 계산하는 강화학습으로 훈련됐다.

발화자 구분과 문장 경계 인식도 별도 시스템 없이 같은 모델 안에서 처리된다. 발화 시작을 알리는 토큰이 화자 교체 가능성을 표시하고, 화자 태그가 누가 말했는지를 A부터 Z까지 알파벳으로 표시한다. 발화 시작·종료를 나타내는 별도 토큰으로 문장 경계도 함께 잡아낸다. 이 세 가지 작업은 처음부터 함께 학습됐다. 메타는 8명이 한 방에서 동시에 말하는 시연에서 시스템이 실시간으로 각 단어를 화자별로 배정하는 모습을 공개했다. 20명이 넘는 화자, 1시간이 넘는 녹음도 별도 후처리 없이 처리할 수 있다고 밝혔다.

오류율 3.1%로 1위…가격은 경쟁사의 수십분의 1

아티피셜 애널리시스의 독립 평가에서 무세 보이스 트랜스크라이브는 영어 기준 단어 오류율 3.1%, 화자가 말을 마친 뒤 0.16초 만에 최종 전사를 내놓는 것으로 나타났다. 일레븐랩스(ElevenLabs)의 스크라이브 v2 리얼타임(Scribe v2 Realtime)은 오류율 3.6%에 0.14초, 어셈블리AI(AssemblyAI)의 유니버설-3.5 프로 리얼타임(Universal-3.5 Pro Realtime)은 4.0%를 기록했다. 카르테시아(Cartesia)의 잉크-2(Ink-2)는 발화 종료를 모델이 자체 판단하는지, 외부 시스템에 의존하는지에 따라 3.4%와 4.0% 사이를 오갔다. 발화자 구분(diarization) 공개 벤치마크에서도 오류율 17.5%로 상위권에 올랐다.

가격 경쟁력도 눈에 띈다. 무세 보이스 트랜스크라이브는 1,000분당 3달러, 시간당으로 환산하면 0.18달러다. 카르테시아 잉크-2가 시간당 4달러, 일레븐랩스 스크라이브 v2 리얼타임과 딥그램(Deepgram) 플럭스(Flux)가 각각 6.50달러인 것과 비교하면 훨씬 낮다. 메타는 앞서 공개한 무세 스파크 1.1, 무세 스파크 1.2에서도 최고 성능 대신 가격 경쟁을 앞세운 전략을 써왔는데, 이번에도 같은 방식을 이어갔다. 다만 파라미터 수, 학습 데이터 규모, 음성 데이터 출처는 공개하지 않았고 가중치도 풀지 않았다.

경쟁 구도는 치열하다. 오픈AI(OpenAI)는 5월(현지시각) 같은 용도의 GPT-리얼타임-위스퍼(GPT-Realtime-Whisper)를 내놓고 7월(현지시각) 전사 모델 가격을 낮췄다. 구글(Google)도 제미나이 3.5 트랜스크라이브(Gemini 3.5 Transcribe)를 최근 공개해 안드로이드, 향후 크롬에도 탑재할 계획이다. 무세 보이스 트랜스크라이브 출시는 구글 발표 이후 일주일도 지나지 않아 나왔다.

70개 넘는 언어 학습, 인도 5개 언어는 특화 지원

메타는 무세 보이스 트랜스크라이브를 70개 넘는 언어로 학습시켰고 이 중 25개 언어를 출시 시점에 심층 검증했다고 밝혔다. 문장 중간에 언어가 바뀌는 코드스위칭(code-switching)도 자연스럽게 처리한다. 인도 IANS 보도에 따르면 힌디어·타밀어·텔루구어·칸나다어·말라얄람어 등 인도 주요 언어 5종을 네이티브로 지원한다. 영어와 지역어를 섞어 쓰는 다국어 화자에게도 화자 연속성을 잃지 않고 대응한다는 설명이다. ‘메타’, ‘무세’, ‘멘로파크(Menlo Park)’ 같은 고유명사는 언어·키워드·문맥 힌트를 주면 인식률이 더 올라간다.

저커버그의 “퍼스널 초지능”과 AI글라스 논란

메타는 무세 보이스 트랜스크라이브를 저커버그가 강조해온 ‘퍼스널 초지능’ 구상과 연결지었다. 공개 행사에서 메타 직원들은 믿을 수 있는 음성 인식이 AI글라스를 통해 실제 대화를 듣는 개인용 AI 에이전트의 기반이라고 주장했다. 독일에서는 최근 메타 카메라 글라스에 대한 금지 논의가 있었지만, 독일 연방망청(Federal Network Agency)은 이를 추진하지 않기로 결정했다.

메타는 2025년 여름 AI 조직을 슈퍼인텔리전스랩스 체제로 재편하면서 오픈AI, 구글 딥마인드(Google DeepMind), 애플(Apple) 출신 연구자들을 4년간 최대 3억 달러 규모 보상 패키지로 영입했다. 다만 이들 모두가 남은 것은 아니다. 일부는 몇 주 만에 오픈AI로 돌아갔다.

무세 보이스 트랜스크라이브는 현재 메타 AI용 맥(Mac) 앱과 무세 코드(Muse Code)의 음성 받아쓰기 기능에 쓰이고 있으며, 메타 모델 API(Meta Model API)를 통해 개발자도 이용할 수 있다. 어느 앱에서든 ‘Fn’ 키를 누르고 있으면 바로 사용할 수 있다. 오픈AI SDK와 호환되는 API 방식이라 기존 개발 환경에 붙이기 쉽다는 점도 특징이다. 다만 동시 스트림은 8개, 시간당 스트림 수는 1,000개로 제한된다.