오픈AI 잘라페뉴, 엔비디아 블랙웰보다 와트당 처리량 1.9배·지연 3.6배 앞섰다

오픈AI가 자체 개발한 추론 전용 칩 잘라페뉴(Jalapeño)의 첫 벤치마크 결과를 공개했다. 8월 25일(현지시각) 미국에서 열린 반도체 학회 핫칩스(Hot Chips) 콘퍼런스에서 발표된 이 결과에 따르면, 브로드컴(Broadcom)과 함께 개발한 잘라페뉴는 엔비디아(Nvidia)의 블랙웰(Blackwell) 계열 시스템보다 전력당 처리량과 응답 속도 모두에서 앞섰다. 측정은 반도체 분석업체 세미애널리시스(SemiAnalysis)가 만든 추론 성능 평가 도구 인퍼런스X(InferenceX)로 이뤄졌다. 오픈AI 하드웨어 부문을 이끄는 리처드 호(Richard Ho)는 기자들과의 콜에서 “결과는 기존 최고 수준 대비 매우 의미 있는 성능 향상을 보여준다”고 말했다. 그는 “잘라페뉴는 단위 전력당 더 많은 AI 작업을 처리하면서도 더 빠르게 응답을 반환한다”며 “많은 고객을 효율적으로 서비스하면서도 지연시간을 매우 낮게 유지할 수 있다”고 설명했다.

인퍼런스X 벤치마크가 보여준 수치들

이번 테스트는 당시 최고 성능을 기록하던 엔비디아 GB200 또는 GB300 슈퍼칩 기반 시스템을 비교 대상으로 삼았다. 오픈AI에 따르면 잘라페뉴는 GPT-OSS 120B, 딥시크(DeepSeek) R1, 키미(Kimi) K2.5 1T 세 모델을 기준으로 와트당 처리 작업량이 비교 시스템보다 1.5배에서 1.9배 많았다. 종단 간 지연시간(end-to-end latency)은 같은 세 모델 기준으로 1.7배에서 3.6배 낮게 나타났다.

오픈AI는 토큰 간 시간(TBT·Time Between Tokens)을 측정한 도표도 함께 공개했다. TBT는 응답을 전달하는 데 걸리는 시간을 나타내는 지표로, 값이 낮을수록 사용자가 더 매끄러운 응답을 체감한다. 더 버지에 따르면 호 부사장은 “AI 시스템은 보통 지연시간과 처리량 사이에서 하나를 선택해야 하지만, 잘라페뉴는 두 마리 토끼를 모두 잡았다”고 설명했다. 이는 서버 한 대가 처리하는 고객 수를 늘리면서도 개별 응답 속도를 늦추지 않을 수 있다는 의미다.

프리필·통신 지연을 겨냥한 풀스택 설계

잘라페뉴는 특정 용도에 맞춰 설계된 반도체인 주문형 반도체(ASIC)로, AI 추론 작업을 처리하기 위해 브로드컴과 협력해 만들어졌다. 개발 과정에는 오픈AI 자체 모델이 보조 역할을 했다고 회사는 밝혔다. 오픈AI는 잘라페뉴를 단일 제품이 아니라 여러 세대에 걸쳐 이어지는 플랫폼으로 키우겠다는 구상을 내놨다. AI 제품과 모델, 칩, 메모리를 함께 설계해 나가겠다는 전략이다.

이런 전 과정 통합 설계 덕분에 오픈AI는 추론 처리 중 마찰을 일으키는 특정 단계를 겨냥할 수 있었다고 설명했다. 특히 프리필(prefill, 입력을 처리해 첫 토큰을 생성하기 전 단계)과 통신 단계에서 발생하는 지연을 줄이는 데 초점을 맞췄다. 오픈AI는 블로그 게시물에서 “데이터 이동과 통신 지연을 최소화하도록 잘라페뉴를 설계했다”고 밝혔다. 이어 “이는 응답을 생성하는 동안 쓰이는 KV 캐시를 포함한 모델 상태를 명시적으로 배치하고 로컬에 유지할 수 있다는 뜻이며, 시스템은 각 추론 단계에 맞는 연산·메모리·네트워킹 조합을 그때그때 가동한다”고 설명했다.

연말 소량 배치 후 2027년 본격 확산

호 부사장은 잘라페뉴가 올해 말 “매우 소량”으로 배치될 것이라고 밝혔다. 이후 2027년부터 물량을 본격적으로 늘려나갈 계획이다. 다만 구체적으로 내년에 몇 개의 칩을 배치할지는 공개하지 않았다.

이런 성능 개선에도 오픈AI는 전체 칩 라인업을 잘라페뉴로 전면 대체할 계획은 없다고 밝혔다. 호 부사장은 엔비디아 같은 “좋은 파트너들”과의 협력을 이어가겠다고 말했다. 회사는 잘라페뉴 2세대와 3세대 개발도 계속 진행할 예정이다. 한편 잘라페뉴가 처음 공개된 시점에 대해서는 보도가 다소 엇갈린다. 테크크런치는 지난해 10월 처음 발표됐다고 전했고, 더 버지는 올해 6월 처음 소개됐다고 보도했다.

추론 효율 경쟁, AI 인프라 전반으로 확대

잘라페뉴 발표는 AI 서비스 수요가 늘어나면서 추론 처리 속도와 전력 효율을 둘러싼 반도체 업계 경쟁이 한층 뜨거워지고 있음을 보여주는 사례다. 앞서 세레브라스 시스템즈(Cerebras Systems)는 4세대 가속기 CS-4를 공개하며 GPU 기반 솔루션보다 추론 속도가 최대 30배 빠르다고 주장한 바 있다. 세레브라스는 트랜지스터 4조 개를 집적한 웨이퍼 스케일 엔진을 기반으로 대형 모델을 통째로 하나의 칩에 올리는 방식을 택했다.

오픈AI의 접근은 이와 결이 다르다. 잘라페뉴는 특정 모델과 서비스에 맞춰 브로드컴과 공동 설계한 주문형 반도체를 채택했고, 자사 모델과 제품, 메모리까지 함께 최적화하는 전 과정 통합 전략을 내세운다. 방식은 다르지만 목표는 같다. 사용자에게 더 빠른 응답을 주면서도 늘어나는 요청량을 감당할 수 있는 인프라를 확보하는 것이다. 호 부사장은 이런 성능 개선이 “더 빠른 응답과 더 반응성이 좋은 에이전트, 수요가 늘어도 안정적인 접근성”으로 이어진다고 말했다. 오픈AI를 비롯한 주요 AI 기업들이 자체 칩 개발에 뛰어드는 흐름은 앞으로도 계속될 것으로 보인다.