오케스트로, GPU 추가 없이 AI 추론 처리량 62.8% 높였다…인프라 최적화 기술 공개

기업들이 생성형 인공지능(AI) 도입을 위해 고성능 GPU 확보에 나서고 있지만, 실제 서비스를 운영하는 과정에서는 응답 지연과 낮은 자원 활용률, 인프라 비용 부담이 여전히 과제로 남아 있다. GPU를 추가로 확보하더라도 추론 과정에서 발생하는 병목을 해결하지 못하면 기대한 만큼의 성능을 얻기 어렵기 때문이다. AI 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재, 김영광)가 동일한 GPU 자원으로 AI 추론 처리량을 62.8% 높인 성능 검증 결과를 공개하고, 하드웨어 증설보다 운영 효율에 초점을 맞춘 인프라 최적화 전략을 소개한다. 오케스트로는 오는 10월 27일 오후 2시 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’를 주제로 온라인 웨비나를 개최한다.

생성형 AI 시장이 모델 개발과 학습 중심에서 실제 서비스 운영으로 확대되면서 추론(Inference) 인프라의 중요성도 커지고 있다. 특히 사용자의 요청을 이해하고 여러 작업을 수행하는 에이전틱 AI(Agentic AI)는 하나의 업무를 처리하는 과정에서 AI 모델을 반복적으로 호출하기 때문에 GPU 자원에 대한 부담이 크다. 여러 요청이 동시에 발생하는 환경에서는 모델의 입력 처리와 답변 생성 작업이 동일한 GPU 자원을 두고 경쟁하면서 처리 속도가 떨어질 수 있다.

오케스트로는 이러한 문제를 해결하기 위해 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’에 분산 추론 기술을 적용했다. 대규모 언어모델(LLM)의 추론 과정은 입력된 정보를 분석하는 프리필(Prefill)과 실제 답변을 생성하는 디코드(Decode) 단계로 나뉜다. 콘체르토 AI는 두 작업을 분리해 GPU 자원을 할당함으로써 서로 다른 연산이 동일한 자원에서 충돌하는 상황을 줄이고, 전체 추론 처리 효율을 높이는 구조다.

플랫폼은 분산 추론 환경의 구축과 배포를 자동화하고, 서비스 운영 상태와 성능을 확인할 수 있는 모니터링 기능도 제공한다. 이를 통해 기업이 복잡한 추론 인프라를 직접 구성하고 관리하는 부담을 줄이면서 보유한 GPU 자원의 활용도를 높일 수 있도록 설계했다.

GPU 증설 대신 추론 구조 개선…스토리지 연계로 모델 구동 시간도 단축

오케스트로가 진행한 성능 검증에서는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하는 조건에서 고부하 처리량이 62.8% 증가했다. 토큰 생성 지연은 52.1% 감소해 다수의 요청이 동시에 발생하는 환경에서도 추론 효율을 개선할 수 있음을 확인했다. 다만 해당 수치는 특정 검증 환경에서 측정한 결과로, 실제 서비스의 모델 구성과 요청량, 인프라 조건에 따라 성능 차이가 발생할 수 있다.

이번 웨비나에서는 GPU 연산 최적화뿐 아니라 스토리지와 연계한 AI 인프라 개선 사례도 다룬다. 오케스트로는 넷앱(NetApp)의 스토리지 기술을 활용해 AI 모델 구동과 메모리 관리 과정에서 발생하는 병목을 줄이는 방안을 소개한다.

대표적인 기술은 GPU 다이렉트 스토리지(GPUDirect Storage, GDS) 기반의 KV 캐시 오프로딩이다. KV 캐시는 AI 모델이 이전 입력과 생성 과정에서 계산한 정보를 저장해 반복 연산을 줄이는 데 활용되지만, 요청이 늘어나거나 입력 문맥이 길어질수록 GPU 메모리 사용량이 증가한다. 오케스트로는 일부 캐시 데이터를 외부 스토리지로 분산해 GPU 메모리 부담을 완화하고 동시 사용자 처리 효율을 높이는 방식을 적용했다.