아카마이, AI 추론·에이전트 실행 서비스 출시…클라우드 전반에 보안·컴퓨팅 통합

기업의 인공지능(AI) 활용이 모델 개발과 실험 단계를 넘어 실제 서비스 운영으로 확대되면서 AI 인프라의 요구사항도 달라지고 있다. 모델의 성능뿐 아니라 추론 속도와 운영 비용, 기업 데이터 연결, 보안 관리까지 함께 고려해야 하기 때문이다. 특히 AI 에이전트가 외부 시스템에 접근하거나 직접 코드를 작성·실행하는 환경에서는 실행 권한과 자원 사용 범위를 통제하는 기술이 중요해지고 있다. 이러한 수요에 대응해 클라우드 기업들이 AI 추론과 에이전트 실행 환경을 통합하는 방향으로 서비스를 확장하고 있다.

클라우드 및 사이버 보안 기업 아카마이 테크놀로지스(Akamai Technologies, 아카마이코리아 대표 이경준)는 AI 모델 추론 서비스 ‘아카마이 인퍼런스(Akamai Inference)’와 AI 에이전트 실행 환경 ‘아카마이 에이전트 샌드박스(Akamai Agent Sandbox)’를 출시했다. 두 서비스는 아카마이 클라우드(Akamai Cloud)의 AI 인프라에 모델 서빙과 에이전트 실행 기능을 추가한 제품이다. 기업은 단일 클라우드 플랫폼에서 AI 모델을 구축·조정하고 자체 데이터를 연결하는 한편, 에이전트가 생성한 코드를 격리된 환경에서 실행할 수 있다.

아카마이는 고밀도 CPU·GPU 클러스터가 위치한 코어 리전부터 전 세계 4350개 이상의 엣지 로케이션까지 연결된 인프라를 활용한다. AI 애플리케이션을 사용자와 데이터에 가까운 위치에서 실행하고, 기존 클라우드 보안 서비스를 통해 관련 인프라를 보호하는 구조다.

회사에 따르면 아카마이 클라우드는 다년 계약 기준 총 140억 달러 이상의 계약을 확보했다. 아카마이는 이러한 인프라 기반에 AI 추론과 실행 서비스를 추가해 기업의 AI 워크로드 구축부터 배포, 운영까지 지원한다.

아담 캐런(Adam Karon) 아카마이 클라우드 최고운영책임자(COO) 겸 총괄(GM)은 “고객은 단일 플랫폼에서 AI를 구축, 실행, 보호하기를 원한다”며 “아카마이 인퍼런스와 아카마이 에이전트 샌드박스는 아카마이의 AI 인프라에 추론 및 실행 계층을 추가하며, 보안 포트폴리오는 이 모든 계층을 보호한다”고 설명했다.

오픈 웨이트 모델 12종 제공…AI 에이전트 코드는 별도 환경에서 실행

아카마이 인퍼런스는 기업이 직접 모델 서빙 인프라를 관리하지 않고도 오픈 웨이트 모델과 맞춤형 모델을 사용할 수 있도록 지원하는 매니지드 추론 서비스다.

OpenAI 호환 API를 제공해 기존 애플리케이션을 전면적으로 재작성하지 않고도 서비스를 이전할 수 있도록 설계했다. 이용 기업은 사용량에 따라 비용을 지불하는 서버리스 추론 방식과 전용 배포 방식 중 선택할 수 있다.

출시 시점의 모델 카탈로그에는 엔비디아 네모트론 3 울트라(NVIDIA Nemotron 3 Ultra), 오픈AI gpt-oss-120b, 구글 젬마 4(Google Gemma 4) 등 12종의 오픈 웨이트 모델이 포함된다. 모델 규모는 80억 개(8B)부터 2조8000억 개(2.8T) 매개변수까지이며, 검색 증강 생성(RAG)에 활용할 수 있는 임베딩 모델도 제공한다.

기업 데이터 활용을 위한 연결 기능도 갖췄다. 아카마이 클라우드의 매니지드 데이터베이스와 오브젝트 스토리지를 비롯해 프라이빗·퍼블릭 클라우드 환경에 연결할 수 있으며, 모델 실행과 인증, 오케스트레이션은 아카마이 인퍼런스가 처리한다.

함께 공개한 아카마이 에이전트 샌드박스는 AI 에이전트가 직접 작성한 코드를 안전하게 실행하기 위한 환경이다. 에이전트는 ‘아카마이 펑션(Akamai Functions)’에서 실행되며, 에이전트가 생성한 코드는 기존 런타임과 분리된 별도의 환경에서 구동된다.