허드슨에이아이, 더빙 제작부터 품질 검수까지 AI로 통합…콘텐츠 현지화 자동화 기술 공개

글로벌 방송사와 온라인동영상서비스(OTT)가 보유한 영상 콘텐츠를 여러 언어로 유통하려면 번역과 음성 제작뿐 아니라 인물별 대사와 감정 표현을 확인하는 복잡한 후반 작업이 필요하다. 특히 등장인물이 많거나 여러 사람이 동시에 대화하는 드라마와 예능은 AI 더빙 기술을 적용하더라도 전문 인력의 검수와 수정에 상당한 시간과 비용이 투입된다. 미디어 콘텐츠 특화 음성 AI 기업 허드슨에이아이(대표 신현진)가 이러한 제작 과정의 병목을 줄이기 위해 더빙 생성부터 품질 검수까지 통합 수행하는 ‘현지화 AI 에이전트’를 공개했다. 음성 생성 중심이었던 기존 AI 더빙의 활용 범위를 콘텐츠 맥락 분석과 감정 연기, 결과물 검증까지 확장한 것이 핵심이다.

이번 솔루션은 허드슨에이아이의 AI 더빙 플랫폼 ‘허드슨 스튜디오(Hudson Studio)’를 기반으로 개발됐다. 영상에 등장하는 인물을 구분하고 장면의 맥락에 맞춰 대사를 번역한 뒤, 캐릭터별 음성과 감정 표현을 생성하는 과정을 하나의 에이전트 시스템으로 연결했다. 제작자가 각 단계의 결과물을 개별적으로 확인하고 수정하던 기존 작업 구조에서 벗어나 AI가 전체 과정을 수행하고 사람은 필요한 부분에 집중하도록 설계했다.

기술적으로는 복잡한 다중 화자 환경을 처리하는 기능이 강화됐다. 현지화 AI 에이전트는 영상에 등장하는 40명 이상의 화자를 식별할 수 있으며, 여러 인물의 대사가 동시에 발생하는 중첩 발화도 분리한다. 출연자의 대화가 빈번하게 겹치는 예능이나 등장인물이 많은 드라마에서도 개별 음성을 구분해 후속 작업에 활용할 수 있다.

화자 식별 방식에도 콘텐츠 이해 기능을 결합했다. 기존 AI 더빙 시스템이 등장인물을 번호로 구분하는 데 그쳤다면, 이번 에이전트는 영상의 흐름과 인물 간 관계를 분석해 캐릭터별 이름과 식별 정보를 자동으로 부여한다. 이를 바탕으로 등장인물의 역할과 상황에 적합한 번역을 생성하고, 대사의 감정적 맥락을 반영한 음성 연기까지 연결한다.

검수 데이터 학습으로 QC 자동화…사람의 확인이 필요한 구간만 선별

허드슨에이아이가 이번 기술에서 중점을 둔 영역은 더빙 결과물의 품질 검수(Quality Control, QC)다. 기존 AI 더빙은 음성 생성 속도를 높이더라도 번역의 자연스러움, 캐릭터별 말투의 일관성, 감정 표현의 적절성 등을 사람이 다시 확인해야 하는 한계가 있었다. 특히 장편 드라마나 다수의 에피소드로 구성된 콘텐츠에서는 이러한 검수 작업이 전체 현지화 일정과 제작비를 좌우하는 요인으로 작용했다.

허드슨에이아이는 드라마 현지화 프로젝트를 수행하며 축적한 전문 번역가의 검수 및 수정 데이터를 AI 에이전트 학습에 활용했다. 이를 통해 회사 측은 품질 검수 작업의 90% 이상을 자동화했으며, 사람이 직접 확인해야 하는 분량을 기존 대비 약 10분의 1 수준으로 줄였다고 설명했다. 에이전트가 결과물의 품질을 자체적으로 평가하고 추가 검토가 필요한 구간을 선별하는 구조로, 검수 인력의 작업 부담을 줄이면서 콘텐츠별 품질 관리의 효율성을 높이는 방식이다.

대사 이외의 음성 표현도 자동화 대상에 포함했다. 웃음이나 한숨, 호흡 등 비언어적 소리를 감지하고 더빙 캐릭터의 음색에 맞춰 변환해 대사와 감정 표현 사이의 연결성을 유지하도록 했다. 이를 통해 드라마와 영화뿐 아니라 다양한 인물의 발화와 감정 변화가 빠르게 이어지는 예능, 애니메이션 등에도 기술을 적용할 수 있도록 했다.