씽킹머신스 첫 모델 잉클링, 9750억 파라미터 중 410억만 작동

미국 AI 스타트업 씽킹머신스(Thinking Machines Lab)가 창립 후 처음으로 일반에 공개하는 AI 모델 ‘잉클링(Inkling)’을 7월 15일(현지시각) 내놨다. 오픈AI 최고기술책임자(CTO)를 지낸 미라 무라티(Mira Murati)가 회사를 세운 지 1년 반 만이다. 잉클링은 텍스트·이미지·오디오·비디오를 함께 학습한 9750억 개 파라미터 규모의 오픈웨이트(open-weight) 모델로, 개발자가 가중치를 내려받아 자유롭게 변형할 수 있다. 회사는 “오늘날 나온 모델 가운데, 폐쇄형이든 개방형이든 가장 강력한 모델은 아니다”라면서도 비용과 성능의 균형, 다양한 과제에서의 고른 성능을 강조했다. 오픈AI·앤트로픽 등 선두 업체에 도전하는 이른바 ‘AI 네오랩(neolab)’ 중 하나로 꼽히는 씽킹머신스가 내놓은 첫 상용급 결과물이라는 점에서 주목받는다.

무라티가 1년 반 만에 내놓은 첫 결과물

씽킹머신스는 무라티를 비롯해 오픈AI 출신 인사들이 대거 합류해 2025년 2월 설립됐다. 공동창업자로는 오픈AI 공동창업자이자 챗GPT 개발에 핵심 역할을 한 존 슐먼(John Schulman), 오픈AI 부사장(VP)을 지내며 안전·로보틱스 연구를 이끈 릴리안 웽(Lilian Weng) 등이 이름을 올렸다. 회사는 지난해 20억 달러를 유치해 기업가치 120억 달러를 인정받았고, 이후 더 큰 규모의 후속 투자 유치를 논의 중이라는 이야기도 나왔다.

다만 그동안 이렇다 할 제품 없이 인프라 구축에만 집중해온 탓에 일부 직원은 회사를 떠나 메타(Meta Platforms)와 오픈AI로 자리를 옮겼다. 잉클링은 이런 배경 속에서 나온 사실상 첫 공개 결과물이다. 지난 5월에는 챗봇처럼 묻고 기다리는 방식이 아니라 듣고 말하고 중간에 끼어들 수도 있는 ‘인터랙션 모델(interaction models)’ 연구 프리뷰를 공개한 바 있는데, 이 연구 성과 일부가 잉클링에도 반영됐다.

9750억 파라미터, 실제 작동은 410억 개뿐

잉클링은 믹스처 오브 엑스퍼츠(Mixture-of-Experts·MoE) 구조를 채택했다. 전체 파라미터는 9750억 개에 달하지만 하나의 작업을 처리할 때 실제로 쓰이는 파라미터는 약 410억 개에 그친다. 대형 모델을 더 빠르고 저렴하게 돌리기 위해 흔히 쓰이는 설계 방식이다. 허깅페이스(Hugging Face)에 올라온 회사 발표에 따르면 잉클링은 256개의 전문가(experts)로 구성돼 있으며, 위치 정보를 인코딩할 때 흔히 쓰는 로프(RoPE) 대신 ‘상대적 어텐션(relative attention)’이라는 자체 기법을 사용한다. 전역 어텐션과 슬라이딩 윈도 어텐션을 5대 1 비율로 번갈아 배치하는 하이브리드 구조도 특징이다.

학습에는 텍스트·이미지·오디오·비디오를 합쳐 45조 개 토큰이 투입됐다. 잉클링은 네 가지 양식을 모두 활용해 추론할 수 있지만, 현재 출력은 텍스트와 코드, 스타일이 적용된 아티팩트, 구조화된 데이터 등으로 한정돼 있다. 100만 토큰 규모의 컨텍스트 창(context window)을 지원하며, 추론 속도를 높이는 ‘스펙큘레이티브 MTP(speculative MTP)’ 레이어를 넣었고 정밀도가 낮은 NVFP4 버전과 표준 BF16 버전을 함께 제공한다. 트랜스포머(transformers), SG랭(SGLang), 라마.cpp(llama.cpp) 등 주요 오픈소스 라이브러리에서 공개 당일부터 곧바로 지원된다.

흥미로운 점도 있다. 와이어드(Wired)가 익명을 요청한 한 관계자를 인용해 전한 바에 따르면, 학습 과정에서 잉클링은 스스로 복잡한 추론 과정을 자연어로 설명하던 습관을 효율을 위해 없애버린 것으로 나타났다. 해당 관계자는 “문법이 오버헤드라는 걸 모델이 스스로 판단했다는 점이 흥미롭다”고 말했다. 씽킹머신스는 이후 모델의 판단 과정을 다시 설명 가능하게 만들기 위해 자연어 추론 기능을 되살렸다고 이 관계자는 전했다.

“최강은 아니다”…효율과 맞춤 설계로 승부

씽킹머신스는 잉클링이 여러 벤치마크에서 비슷한 체급의 오픈웨이트 모델과 비교해 고르게 좋은 성능을 낸다고 밝혔다. 다만 회사 스스로도 최강 모델은 아니라고 못박았다. 대신 잉클링은 답변에 대한 확신 정도를 표시해 모르는 것을 억지로 추측하지 않도록 설계됐고, 사용자가 속도와 정확도 사이에서 ‘생각하는 노력(thinking effort)’의 정도를 직접 조절할 수 있게 했다.

효율성을 보여주는 사례로 회사는 한 코딩 벤치마크를 제시했다. 이 벤치마크에서 잉클링은 엔비디아(Nvidia)의 최신 오픈웨이트 모델 넴트론3울트라(Nemotron 3 Ultra)와 동일한 코딩 성능을 내는 데 필요한 토큰을 3분의 1 수준만 사용했다고 밝혔다. 테크크런치(TechCrunch)는 이를 두고 씽킹머신스가 내세우는 핵심 전략, 즉 각 조직이 스스로 맞춤화한 AI가 거대 랩이 파는 범용 모델을 능가할 것이라는 승부수를 보여주는 사례라고 짚었다. 실제로 회사는 잉클링을 완성품이 아니라 자사 파인튜닝 플랫폼 ‘팅커(Tinker)’로 각 기업이 직접 다듬어 쓰는 시작점으로 포지셔닝하고 있다. 이 경우 모델을 안전하게 커스터마이징할 책임은 씽킹머신스가 아니라 이를 활용하는 고객사에 넘어간다.

중국에 뒤처진 미국 오픈모델 시장, 씽킹머신스의 자리

씽킹머신스는 잉클링 자체로 직접적인 매출을 올릴 계획이 없다고 밝혔다. 대신 회사의 수익은 모델을 파인튜닝해주는 개발자 도구 팅커에서 나온다. 헤지펀드 브리지워터 어소시에이츠(Bridgewater Associates)가 금융 관련 작업에서 AI 성능을 높이기 위해 팅커를 도입한 고객사 사례로 꼽힌다.

포천(Fortune)에 따르면 잉클링의 등장은 미국 오픈웨이트 시장의 공백을 메우려는 시도로 해석된다. 현재 경쟁력 있는 오픈 AI 모델 개발에서는 중국 업체들이 미국보다 앞서 있다는 평가가 나온다. 한때 오픈모델 개발을 이끌었던 메타는 최근 유료로 제공하는 비공개(폐쇄형) 모델 쪽에 더 집중하는 흐름을 보이고 있다. 오픈AI 역시 지난해 오픈모델 두 종을 내놨지만 회사의 주력 상품군은 여전히 유료 서비스가 대부분을 차지한다. AI 지출 부담이 커지면서 일부 기업과 개인은 중국에서 무료로 풀린 모델로 눈을 돌리는 추세이고, 이는 미국 내에서 국가적 차원의 우려로도 이어지고 있다. 씽킹머신스가 잉클링을 통해 이 틈을 파고들 수 있을지가 관전 포인트로 남는다.