아마존 세이지메이커 AI, 클릭만으로 GPU 추론 설정 추천받는 UI 공개

생성형 AI 모델을 실제 서비스에 올리려면 어떤 인스턴스 유형을 쓸지, 서빙 컨테이너를 어떻게 설정할지, 어떤 최적화 전략을 적용할지 일일이 맞춰봐야 한다. 이 과정은 보통 최적화와 수동 벤치마킹을 반복하는 긴 시행착오를 거친다. 아마존 세이지메이커 AI(Amazon SageMaker AI)는 지난 4월(현지시각) 2026년 이런 결정을 API로 데이터 기반 추천을 받을 수 있게 하는 추론 추천(inference recommendations) 기능을 내놓았다. 이번에는 이 기능을 코드 없이 마우스 클릭만으로 다룰 수 있는 UI를 세이지메이커 AI 스튜디오에 추가했다. AWS는 워크로드 설정부터 최적화, 모델 선택, 배포까지 이어지는 화면 기반 워크플로를 새로 공개했다고 밝혔다.

API에서 화면으로, 진입장벽을 낮추다

기존 추론 추천 API는 이미 프로덕션에 바로 쓸 수 있는 설정값을 데이터 기반으로 돌려줬다. 문제는 이 API를 쓰려면 어떤 파라미터를 넣어야 하는지, 벤치마크 원본 결과를 어떻게 해석해야 하는지 사용자가 미리 알고 있어야 했다는 점이다. AWS는 이번 UI가 바로 그 전제를 없앤다고 설명한다. 프리셋 형태의 사용 사례 프로필, 결과를 한눈에 비교하는 시각화, 원클릭 배포 기능을 통해 깊은 인프라 전문성이 없는 팀도 스스로 검증된 설정을 확보할 수 있게 됐다는 것이다.

AWS에 따르면 이 기능으로 일반적인 워크로드는 몇 분, 커스텀 워크로드는 몇 시간 안에 설정 최적화 사이클을 끝낼 수 있다. 머신러닝 엔지니어는 다음 배포를 검증하는 용도로, 기술 리더는 비용과 성능의 트레이드오프를 평가하는 용도로 같은 화면을 쓸 수 있다는 게 AWS 설명이다. 물론 세밀한 설정이 필요한 숙련 사용자는 여전히 API를 직접 쓸 수 있다.

프리셋 프로필로 워크로드부터 정의한다

새 워크플로는 세이지메이커 AI 스튜디오의 Jobs 메뉴 아래 Inference optimization 항목에서 시작한다. 첫 단계는 워크로드 설정이다. 토큰 분포와 동시성을 일일이 지정하는 대신, 흔한 트래픽 패턴을 담은 프리셋 프로필을 고르면 된다.

AWS가 제시한 프로필은 네 가지다. 인터랙트(Interact)는 짧은 입력과 적당한 출력을 특징으로 하는 챗봇형 워크로드를 모델링한다. 제너레이트(Generate)는 더 긴 출력을 내는 콘텐츠 생성 작업에 맞춰져 있다. 서머라이즈(Summarize)는 입력 대비 출력 비율이 큰 문서 요약 작업에 최적화됐다. 이 세 프로필 중 어느 것도 맞지 않으면 커스텀(Custom) 옵션을 선택해 직접 워크로드 특성을 지정할 수 있다. 이후 사용자는 최적화 작업을 구성하고, 성능 결과를 비교하고, 추천 설정을 프로덕션 엔드포인트에 배포하는 과정을 모두 코드 한 줄 없이 진행하게 된다.

비용·지연시간·처리량, 하나만 고르는 구조와 그 함정

테키(techi.com)는 이번 업데이트를 두고 “AWS가 생성형 AI에서 가장 시각적이지 않은 결정, 즉 모델을 서빙할 인프라를 고르는 과정에 시각적인 화면을 입혔다”고 평가했다. 실제로 팀은 워크로드를 설명하고 비용, 지연시간, 처리량 중 가장 중요하게 여기는 목표 하나를 고른 뒤 순위가 매겨진 설정 목록을 비교하고 세이지메이커 스튜디오에서 곧바로 배포할 수 있다. 세이지메이커는 이 벤치마크를 실제 GPU 인프라 위에서 AIPerf라는 도구로 측정한다. 같은 보도는 프리셋 결과는 시작점으로 유용하지만, 실제 트래픽을 대표하는 커스텀 워크로드로 얻은 결과가 더 강한 근거가 된다고 짚었다.

다만 테키는 “이 인터페이스는 상당한 설정 작업을 없애주지만, 벤치마크를 유용하게 만드는 판단 자체를 없애주지는 않는다”고 지적했다. 결국 관건은 “실제 사용자가 몰려올 때 이 모델이 필요로 하는 것은 무엇인가”라는 질문이다. 이 질문에 대한 답이 추천된 엔드포인트가 정말 경제적인지, 아니면 잘못된 테스트 기준에서만 효율적인지를 가른다는 설명이다. 프리셋이 팀을 빠르게 벤치마크까지 데려다주고 실제 GPU 인프라를 쓴다는 점에서 종이 위 추정보다는 낫지만, 프리셋 자체도 프롬프트 길이·출력 길이·동시성에 대한 하나의 가정일 뿐이라는 점은 변하지 않는다. 그 가정이 실제 운영 환경과 얼마나 닮았는지에 따라 결과의 신뢰도가 달라진다.

비용 구조와 남은 과제

AWS는 이번 추천 작업 자체에는 별도 서비스 요금을 부과하지 않는다고 밝혔다. 다만 벤치마크에 쓰이는 컴퓨팅 자원과 실제 배포된 엔드포인트는 별도로 비용이 발생한다. 모델이나 트래픽 패턴이 바뀌면 이전에 받은 추천 결과가 더 이상 유효하지 않을 수 있다는 점도 테키가 짚은 위험 요인이다.

이번 업데이트로 AWS는 GPU 인프라 설정을 인프라 전문가만의 영역에서 애플리케이션 팀도 참여할 수 있는 절차로 바꿔놓았다는 평가를 받는다. 다만 화면이 쉬워졌다고 해서 워크로드를 정확히 파악하고 결과를 검증하는 과정 자체가 사라지는 것은 아니다. 결국 UI가 제공하는 것은 판단을 더 쉽게 내릴 수 있는 도구이며, 그 판단의 정확도는 여전히 사용자가 워크로드를 얼마나 현실적으로 정의하느냐에 달려 있다.