와이즈넛, 멀티모달 RAG 기술 고도화…법률·의료·제조 등 4개 산업 현장 실증

기업과 기관의 생성형 AI 활용이 확대되면서 AI가 답변의 근거가 되는 정보를 얼마나 정확하게 찾아내는지가 중요한 기술 과제가 됐다. 실제 산업 현장에는 문서와 이미지, 영상, 음성 등 서로 다른 형태의 데이터가 혼재돼 있어 텍스트 중심의 검색 기술만으로 필요한 정보를 찾는 데 한계가 있다. 여러 데이터의 내용뿐 아니라 상호 관계와 이전 대화의 맥락까지 이해하는 검색 기술이 요구되는 배경이다. 도메인 특화 AI 에이전트 기업 와이즈넛이 멀티모달 검색증강생성(RAG) 기술을 고도화하고 법률·미디어광고·의료·제조 분야에서 현장 실증을 추진하고 있다.

와이즈넛(대표 강용성)은 과학기술정보통신부가 주관하고 정보통신기획평가원(IITP)이 추진하는 ‘멀티모달 데이터 입력 기반 검색 증강 생성 기술 개발’ 과제의 3차년도 연구를 진행하고 있다. 와이즈넛은 이번 연구에서 키워드와 벡터, 지식그래프를 결합한 검색 기술을 개발하고 4개 산업 분야 수요기관과 실제 업무 환경에서의 활용성을 검증하고 있다.

검색증강생성(RAG)은 대규모언어모델(LLM)이 답변을 생성하기 전에 외부 데이터에서 관련 정보를 검색하고, 검색 결과를 근거로 응답하도록 하는 기술이다. 모델이 사전에 학습한 지식에만 의존하지 않고 최신 정보나 기업 내부의 전문 자료를 활용할 수 있다는 장점이 있다. 다만 기존 RAG는 텍스트 문서 검색을 중심으로 발전해 이미지와 영상, 음성 등이 포함된 산업 데이터를 충분히 활용하는 데 제약이 있었다.

와이즈넛이 주관하는 이번 과제는 RAG의 검색 대상을 다양한 형태의 데이터로 확장하는 것이 핵심이다. 2차년도까지 개발한 멀티모달 데이터 통합관리 기술을 기반으로 문서와 이미지, 영상 등이 혼재된 환경에서도 필요한 정보를 검색하고 AI 답변에 활용할 수 있도록 기술을 개선하고 있다.

3차년도 연구에서는 온톨로지 기반 지식그래프를 활용한 메타데이터 자동 추출과 확장 기술을 개발하고 있다. 온톨로지는 특정 분야의 개념과 관계를 체계적으로 정의하는 방식이며, 지식그래프는 이를 바탕으로 데이터 사이의 연결 관계를 표현하는 기술이다. 개별 문서에 포함된 정보뿐 아니라 문서와 개념 사이의 관계를 검색에 활용할 수 있도록 하는 구조다.

와이즈넛은 지식그래프를 활용한 데이터 관리 기술과 RAG를 연동해 검색 과정에서 정보 간 관계를 반영하도록 설계하고 있다. 단순히 입력된 검색어와 일치하는 문서를 찾는 방식에서 나아가 관련 개념과 연결된 데이터를 함께 탐색할 수 있도록 검색 기능을 고도화한다.

텍스트와 이미지, 음성 질의를 하나의 검색 체계에서 처리하는 멀티모달 질의 벡터 생성 기술도 개발 중이다. 이용자가 문장으로 질문하거나 이미지·음성 형태의 정보를 입력하더라도 이를 분석해 관련 데이터를 검색할 수 있도록 지원하는 기술이다.

하이브리드 검색에 대화 맥락 반영…4개 산업 분야 현장 검증

와이즈넛은 키워드 검색과 벡터 검색, 그래프 기반 검색을 결합한 하이브리드 검색 기술도 고도화하고 있다. 키워드 검색은 입력된 단어와 문서의 일치 여부를 중심으로 정보를 찾고, 벡터 검색은 문장의 의미적 유사성을 분석한다. 그래프 기반 검색은 데이터 사이의 관계를 활용한다는 점에서 차이가 있다.

세 가지 방식을 결합하면 정확한 용어가 중요한 전문 문서 검색과 표현이 달라도 의미가 유사한 정보 검색, 여러 데이터의 관계를 파악해야 하는 질의를 함께 처리할 수 있다. 와이즈넛은 산업별 데이터의 특성에 맞춰 검색 결과의 정확도를 높이는 데 해당 기술을 활용하고 있다.

이전 대화의 맥락을 유지하는 기능도 주요 연구 대상이다. 이용자가 앞선 질문에 이어 추가 질문을 하더라도 AI가 대화 흐름을 반영해 검색 대상을 파악하고 답변하도록 하는 기술이다. 복잡한 업무를 여러 차례의 질의응답으로 처리하는 AI 에이전트에서 필요한 기능이다.