래블업, AI 토큰 운영 플랫폼 ‘컨티넘 엔터프라이즈’ 첫 공급 계약…기업 AI 운영 시장 공략

기업의 생성형 AI 활용이 확대되면서 여러 대규모언어모델(LLM)을 효율적으로 운영하고 관리하는 기술의 중요성이 커지고 있다. 초기에는 소수의 AI 모델을 도입하더라도 활용 부서와 서비스가 늘어나면 외부 API와 자체 구축한 모델을 함께 사용하게 된다. 이 과정에서 API 키 발급과 토큰 사용량 집계, 장애 대응, 비용 정산 등 관리해야 할 항목도 증가한다. AI 인프라 소프트웨어 기업 래블업이 이러한 운영 부담을 줄이는 AI 토큰 운영 플랫폼으로 상용 출시 이후 첫 공급 계약을 확보했다.

래블업(대표 신정규)은 AI 토큰 운영 플랫폼 ‘Continuum Suite(컨티넘 엔터프라이즈)’의 첫 공급 계약을 체결했다고 23일 밝혔다. 이번 계약은 컨티넘 엔터프라이즈의 상용 출시 이후 처음 이뤄진 공급 사례다.

컨티넘 엔터프라이즈는 여러 AI 모델과 서비스를 연결하고 API 접근 권한, 토큰 사용량, 운영 정책과 비용을 통합 관리하는 플랫폼이다. 기업이 사용하는 AI 모델의 종류와 수가 늘어나더라도 주요 운영 기능을 하나의 체계에서 관리할 수 있도록 설계됐다.

기업의 AI 활용 환경은 단일 모델 중심에서 여러 모델을 병행하는 구조로 변화하고 있다. 업무 목적에 따라 외부 클라우드 기반 AI 서비스를 사용하거나 자체 인프라에서 운영하는 모델을 활용하는 방식이다.

이처럼 모델과 서비스가 늘어나면 각각의 API 키를 관리하고 사용량을 확인하는 업무도 복잡해진다. 특정 모델에 장애가 발생했을 때 다른 모델로 요청을 전환하거나 부서별 사용 비용을 정산하는 기능도 필요하다.

래블업은 이러한 문제를 해결하기 위해 AI 요청 처리와 중앙 관리 기능을 분리한 플랫폼 구조를 채택했다. 컨티넘 엔터프라이즈는 ‘Continuum Router(컨티넘 라우터)’와 ‘Continuum Hub(컨티넘 허브)’로 구성된다.

AI 요청 분배와 토큰 사용량 관리 통합…기존 인프라 운영 효율 개선

컨티넘 라우터는 여러 AI 모델과 서비스로 전달되는 요청을 분배하는 역할을 한다. 클라우드 API 서비스와 기업 내부 온프레미스 자원 사이에서 요청을 전달하는 지능형 라우팅 기능을 제공한다.

특정 AI 모델이나 서비스 경로에 장애가 발생하면 다른 경로로 자동 전환하는 기능도 갖췄다. 이를 통해 여러 모델을 함께 사용하는 환경에서 AI 서비스의 연속성을 유지할 수 있도록 설계했다.

컨티넘 허브는 여러 라우터의 토큰 사용량과 운영 정책, 과금 정보를 중앙에서 관리한다. 조직과 팀, 사용자 단위로 API 키를 발급하고 키별 사용량을 집계할 수 있어 기업의 접근 권한 관리와 비용 정산에 활용된다.

기업은 개별 모델의 사용량을 각각 확인하는 대신 허브에서 관련 정보를 통합 관리할 수 있다. 부서별로 AI 서비스 이용 권한을 구분하고 사용량에 따른 비용을 배분하는 것도 가능하다.

서비스 연속성을 고려해 실제 AI 요청은 허브를 거치지 않고 라우터에서 처리하도록 설계했다. 래블업에 따르면 중앙 관리 기능을 담당하는 허브에 장애가 발생하더라도 라우터를 통한 AI 요청 처리는 이어질 수 있다.