IBM, 투게더AI와 블랙웰 2000개로 추론 클러스터 구축

IBM이 엔비디아(Nvidia) 시스템을 기반으로 한 대규모 AI 클러스터 구축을 위해 오픈소스 AI 스타트업 투게더AI(Together AI)와 다년 계약을 맺었다. 계약 규모는 2억4000만 달러(약 3,391억원, 1달러 1,413원 기준)다. IBM 클라우드(IBM Cloud)에 구축되는 이 클러스터는 엔비디아의 HGX B300 시스템과 스펙트럼-X(Spectrum-X) 이더넷 네트워킹을 활용해 오픈소스 AI 모델의 추론(inference·학습된 모델을 실제로 구동해 응답을 생성하는 과정)을 처리한다. IBM은 지난 8월 11일(현지시각) 이 협력을 공식 발표했다. 초기 미국 내 배치에는 엔비디아 블랙웰(Blackwell) 칩 약 2,000개가 투입되며, 2027년 1분기 가동을 목표로 한다.

무엇을 짓나…블랙웰 2000개, IBM 클라우드에 첫 추론 전용 클러스터

이번에 구축되는 클러스터는 IBM 클라우드에서 HGX B300 시스템으로 운영되는 첫 대규모 추론 전용 클러스터다. HGX B300은 엔비디아의 최신 블랙웰 프로세서를 여러 개 결합한 시스템으로, 스펙트럼-X 이더넷 네트워킹으로 서로 연결된다. 엔비디아는 이 인프라가 이전 세대 대비 AI 팩토리(AI factory) 출력을 30배까지 끌어올릴 수 있다고 설명했다.

초기 미국 배치에는 블랙웰 칩 약 2,000개가 들어간다. 투게더AI는 이 클러스터를 활용해 오픈소스 모델의 추론 서비스를 기업 고객에게 제공할 계획이다. 투게더AI의 플랫폼은 딥시크(DeepSeek), 미니맥스(MiniMax), 키미(Kimi), 넴오트론(Nemotron), GLM 등 다양한 오픈소스 모델을 지원한다. 기업이 이런 모델을 자체적으로 수정·미세조정해 폐쇄형 단일 모델보다 낮은 비용으로 활용할 수 있다는 게 회사 설명이다.

투게더AI, 월 400조 토큰 처리하는 오픈소스 클라우드

투게더AI는 2022년 설립된 샌프란시스코 소재 회사다. 스스로를 “AI 네이티브 클라우드”로 소개하며, 오픈소스 모델과 고성능 인프라, AI 효율성 연구를 결합한 플랫폼을 운영한다. 추론뿐 아니라 학습, 미세조정, 에이전트형 워크플로까지 서비스 범위를 넓히고 있다.

회사는 최근 추론 사업에서 뚜렷한 성장세를 보였다고 밝혔다. 현재 월간 400조 건의 토큰을 처리하고 있다는 게 투게더AI 설명이다. 자금 조달도 활발하다. 투게더AI는 지난 7월 8억 달러(약 1조1,300억원) 규모의 시리즈C 투자를 유치했고, 이때 기업가치는 83억 달러(약 11조7,300억원)로 평가받았다. 시리즈C 한 달 전인 6월에는 AI 컴퓨팅 업체 럼블(Rumble Inc)과도 다년 클라우드 용량 계약을 맺었는데, 이 계약 역시 엔비디아 HGX B300 시스템을 기반으로 한다.

투게더AI 최고경영자 비풀 베드 프라카시(Vipul Ved Prakash)는 “기업들은 폐쇄형 모델 수준의 가격표 없이 최고 수준 프런티어 모델의 성능을 원한다”며 “그러려면 그 밑을 받치는 인프라가 대규모에서도 빠르고 안정적이어야만 가능하다”고 말했다. 그는 “IBM과 엔비디아와 함께 일하는 것이 그런 토대를 준다”며 “이번 클러스터는 오픈소스 AI를 기업의 당연한 선택으로 만들려는 우리 노력에서 큰 진전”이라고 덧붙였다.

왜 지금 오픈소스 AI 인프라인가

오픈소스 AI 모델은 누구나 접근해 수정할 수 있고, 대체로 폐쇄형 모델보다 비용이 저렴하다는 장점이 있다. 최근 앤트로픽(Anthropic), 오픈AI(OpenAI), 메타(Meta) 등의 모델과 관련한 일련의 사이버보안 사고가 이어지면서, 자율성이 높아진 AI 시스템의 역량과 보안 위험에 대한 관심도 커지고 있다. 이런 흐름 속에서 기업들은 AI 비용을 억제하면서도 보안 우려를 관리할 수 있는 오픈소스 대안에 눈을 돌리고 있다.

동시에 추론은 컴퓨팅 수요를 견인하는 가장 큰 요인 중 하나로 부상했다. 이 때문에 클라우드 사업자와 반도체 기업들이 앞다퉈 AI 인프라 확장에 막대한 자금을 쏟아붓고 있다. 이번 IBM·투게더AI·엔비디아 계약도 이런 경쟁의 한 단면으로 볼 수 있다.

IBM·엔비디아 협력 확대…에이전틱 AI(agentic AI) 인프라 경쟁 가속

이번 계약은 IBM과 엔비디아가 이어온 일련의 협력 가운데 최신 사례다. 두 회사는 지난 3월 “기업이 대규모로 AI를 운영할 수 있도록 돕는다”는 목표로 협력을 확대했다. 여기엔 GPU 가속 데이터 분석, 비정형 데이터 처리, 규제 산업용 AI 인프라, 클라우드 컴퓨팅 및 컨설팅이 포함됐다.

IBM 클라우드 총괄 앨런 피콕(Alan Peacock)은 “기업들은 실질적인 비즈니스 성과를 내기 위해 에이전틱 AI(agentic AI)(agentic AI·자율적으로 여러 작업을 수행하는 AI)를 대규모로 도입하는 경쟁에 뛰어들고 있다”며 “IBM과 엔비디아는 투게더AI가 차세대 AI 인프라 혁신을 가속하도록 확장 가능하고 경제적인 엔터프라이즈급 인프라를 제공하고 있다”고 말했다. 엔비디아의 HPC(고성능 컴퓨팅) 및 AI 인프라 솔루션 부문 시니어 디렉터 디온 해리스(Dion Harris)는 “AI 팩토리는 전기·통신처럼 필수 기업 인프라가 되어가고 있다”며 “IBM 클라우드에서 HGX B300 시스템과 스펙트럼-X 네트워킹을 결합해 실시간 AI 서비스에 필요한 성능과 효율, 규모를 갖춘 가속 컴퓨팅 플랫폼을 제공할 것”이라고 설명했다.

2027년 1분기 가동을 목표로 하는 이번 클러스터가 실제 기업 수요를 얼마나 흡수할지는 아직 지켜볼 대목이다. 다만 오픈소스 모델을 둘러싼 보안 논란과 비용 절감 요구가 동시에 커지는 상황에서, IBM과 엔비디아·투게더AI의 이번 계약은 오픈소스 AI 인프라 경쟁이 한층 본격화되고 있음을 보여주는 사례로 평가된다.