파일러, NeurIPS 2026에 AI 논문 2편 채택…음성 감정 인식·AI 학습 안정성 기술 개발

AI가 영상과 음성을 이해하는 기술이 발전하면서 단순히 말의 내용을 파악하는 수준을 넘어 목소리에 담긴 감정과 억양, 주변 소리까지 분석하는 능력이 중요해지고 있다. 같은 문장이라도 말하는 방식에 따라 의미와 감정이 달라질 수 있지만, 음성을 문자로 변환하는 과정에서는 이런 정보가 사라지기 쉽다. AI 학습 과정에서 잘못된 데이터나 일관되지 않은 평가가 모델의 판단에 영향을 미치는 문제도 해결해야 할 과제로 꼽힌다. 동영상 이해 AI 기업 파일러가 음성 정보의 이해도를 높이고 학습 데이터의 오류에 대응하는 기술을 개발해 국제 AI 학술대회에서 연구 성과를 발표한다.

파일러(PYLER, 대표 오재호)는 자사 AI 연구팀의 논문 2편이 인공지능·머신러닝 분야 국제 학술대회 ‘NeurIPS 2026’에 채택됐다. 채택된 논문은 음성의 비언어적 정보를 AI 추론에 반영하는 ‘CoAT(Continuous Audio Thinking)’과 오류가 포함된 데이터에서도 AI 학습의 안정성을 높이는 ‘GAPO(Geometric Anchor Preference Optimization)’다. 두 연구는 오는 12월 10일 호주 시드니에서 발표될 예정이다.

NeurIPS는 머신러닝과 딥러닝, 생성형 AI, 컴퓨터 비전, 자연어 처리 등 AI 전반의 연구 성과를 다루는 국제 학술대회다. 올해 제40회를 맞아 호주 시드니에서 메인 행사가 열리며 미국 애틀랜타와 프랑스 파리에서도 위성 행사가 진행된다.

파일러가 발표하는 첫 번째 논문 CoAT는 AI가 음성을 이해할 때 말의 내용뿐 아니라 감정과 억양, 음높이 등 소리에 포함된 정보를 함께 활용하도록 설계한 기술이다. 기존 음성 AI는 소리를 문자로 변환한 뒤 텍스트를 중심으로 추론하는 방식을 활용해 왔지만, 이 과정에서 목소리의 떨림이나 말투처럼 문자로 표현하기 어려운 정보가 충분히 반영되지 않는 한계가 있었다.

CoAT는 음성을 일일이 문장으로 풀어내는 대신 AI 내부에서 소리 정보를 직접 처리하는 별도의 추론 공간을 활용한다. 파일러는 음향 복원, 음성 내용, 소리 종류, 감정, 음높이 등 5개 영역의 전문 AI 모델을 결합해 다양한 음성 정보를 학습하도록 설계했다. 소리에 담긴 정보를 텍스트로 길게 생성하지 않고 처리해 추론 과정의 시간 부담도 줄이는 방식이다.

파일러는 CoAT를 Qwen2-Audio, Qwen2.5-Omni, Audio Flamingo 3 등 음성 AI 모델 3종에 적용해 성능을 검증했다. 실험 결과 총 42개 평가지표 가운데 38개에서 기존 대비 성능이 향상됐다. 개선 효과는 발화 내용뿐 아니라 말하는 방식이 중요한 음성 감정 인식 분야에서 두드러졌다.

음성 감정 인식 평가에 사용되는 IEMOCAP 데이터셋에서는 Qwen2.5-Omni 모델의 정확도가 기존 약 55%에서 약 79%로 높아졌다. 약 24%포인트 상승한 수치로, 기존 대비 약 1.4배의 정확도를 기록했다. 파일러는 별도의 긴 추론 문장을 생성하지 않고도 감정 인식 정확도를 높이고 응답에 필요한 시간을 줄일 수 있음을 확인했다고 설명했다.

오류 데이터에도 흔들리지 않는 AI 학습…GAPO로 선호도 최적화 개선

두 번째 논문 GAPO는 AI가 사람의 선호도를 학습하는 과정에서 오류나 불확실한 데이터의 영향을 줄이는 기술이다. AI 모델은 일반적으로 여러 답변 가운데 사람이 더 선호하는 결과를 학습해 응답 품질을 개선한다. 그러나 평가 데이터에 잘못된 정보가 포함되거나 선호 기준이 일관되지 않으면 실제 답변의 품질과 관계없는 특성을 학습할 수 있다.

대표적인 선호도 학습 기법인 DPO(Direct Preference Optimization)는 학습 초기 모델을 고정된 비교 기준으로 활용한다. SimPO(Simple Preference Optimization)는 별도의 기준 모델 없이 학습하는 방식이다. 두 기법 모두 데이터에 오류나 불확실성이 포함된 환경에서는 학습 안정성이 영향을 받을 수 있다.

파일러는 학습 중인 AI 모델의 판단이 작은 변화에도 얼마나 달라지는지를 측정하는 방식을 제안했다. 현재 모델에 미세한 변화를 가한 가상의 비교 모델을 만들고, 두 모델의 평가 차이인 ‘앵커 갭(Anchor Gap)’을 계산하는 구조다.