모레, AMD 기반 AI 추론 효율 높인다…“GPU 경쟁력은 소프트웨어가 결정”

인공지능(AI) 인프라 시장의 경쟁 기준이 GPU 확보량에서 실제 AI 서비스를 운영하는 데 드는 비용으로 옮겨가고 있다. 대규모언어모델(LLM)을 학습시키는 데 필요한 연산 능력뿐 아니라 이용자의 요청에 얼마나 빠르고 경제적으로 응답할 수 있는지가 데이터센터의 경쟁력을 좌우하는 요소로 떠올랐다. 생성형 AI 서비스가 확대되면서 AI가 생성하는 텍스트의 기본 단위인 ‘토큰(Token)’을 얼마나 효율적으로 생산하는지가 중요해지고 있다. 서로 다른 제조사의 GPU를 활용하면서도 추론 성능을 최적화할 수 있는 소프트웨어 역량이 새로운 경쟁 영역으로 부상하는 배경이다.

AI 인프라 솔루션 기업 모레(대표 조강원)는 4일 웨스틴 서울 파르나스에서 열린 ‘AMD Advancing AI World Tour Seoul 2026’에 참가해 AMD GPU 기반 AI 추론 비용을 최적화하는 토큰 팩토리(Token Factory) 소프트웨어 전략을 발표했다.

토큰 팩토리는 데이터센터를 AI 모델의 추론 결과물을 대규모로 생산하는 인프라로 바라보는 개념이다. 같은 GPU 자원으로 더 많은 토큰을 처리하고 토큰당 비용을 낮추는 것이 핵심이다.

조강원 모레 대표는 이날 AMD 기조연설 무대에서 라민 로안(Ramine Roane) AMD AI 제품관리 부문 부사장과 함께 발표했다. 로안 부사장이 AMD의 오픈소스 소프트웨어 플랫폼 ROCm과 인스팅트(Instinct) GPU의 추론 경제성을 소개한 데 이어, 조 대표는 이를 실제 데이터센터 환경에서 구현하는 모레의 기술을 설명했다.

조 대표는 “데이터센터가 AI 토큰을 생산하는 토큰 팩토리로 바뀌면서 경쟁의 기준이 GPU 보유량에서 토큰당 비용으로 옮겨가고 있다”며 “새 모델과 새 가속기가 빠르게 쏟아지는 상황에서 GPU의 성능을 가치 있는 실제 비즈니스로 바꾸는 것은 결국 소프트웨어”라고 말했다.

AI 모델과 GPU가 빠르게 발전하면서 데이터센터 운영의 복잡성도 높아지고 있다. 새로운 오픈소스 모델이 등장할 때마다 이를 서비스 환경에 맞춰 최적화해야 하고, 제조사와 세대가 다른 GPU를 함께 활용하려면 별도의 소프트웨어 개발과 운영 역량이 필요하다.

모레는 이러한 문제를 해결하기 위해 GPU의 연산 커널과 추론 엔진부터 대규모 클러스터의 분산 추론까지 소프트웨어 전 계층을 개발하고 있다. AMD ROCm과 오픈소스 추론 프레임워크인 vLLM, SGLang 등에도 기술적으로 기여하고 있다.

자체 개발한 ‘MoAI Inference Framework’는 새로운 AI 모델의 최적화와 AMD GPU 세대별 성능 개선, 데이터센터 규모의 이기종 분산 추론을 하나의 소프트웨어 환경에서 지원한다.

모레에 따르면 AMD 인스팅트 MI355X에서 최신 오픈소스 모델을 구동한 결과, 일반적인 서비스 조건에서 엔비디아 B200 대비 2배 이상의 추론 처리량을 확보했다. GPU 자체의 성능뿐 아니라 추론 소프트웨어의 최적화 수준이 실제 서비스 처리량에 영향을 미친다는 설명이다.

엔비디아·AMD GPU 함께 운영…소버린 AI 인프라 선택지 확대

모레는 AMD GPU만으로 구성한 클러스터뿐 아니라 기존 엔비디아 인프라에 AMD GPU를 추가하는 이기종 분산 추론도 지원한다.

이미 엔비디아 GPU로 AI 서비스를 운영하는 데이터센터가 기존 시스템을 전면 교체하지 않고 AMD GPU를 추가해 연산 자원을 확장할 수 있도록 하는 방식이다.