오는 2027년까지 4년에 걸쳐 진행되는 본 연구는 실제 업무환경에서 융합돼 활용되는 멀티모달 데이터를 기반으로 초거대언어모델(LLM)의 구조적·성능적 한계로 제기되는 △최신화된 정보유지의 어려움 △할루시네이션 △도메인 정보 부족 △대규모 컴퓨팅자원소요 등의 한계를 극복하는 멀티모달 RAG 기술 개발을 목표로 한다.
멀티모달은 인간이 사물의 양상을 다양한 감각기관으로 받아들이는 것처럼 텍스트, 이미지, 음성, 비디오 등 다양한 형태의 데이터 채널(Modality)을 동시에 처리하는 것을 뜻한다. 와이즈넛은 이번 과제에서 멀티모달 데이터 수집 및 처리, 검색, 통합관리 기술 개발에 주력한다. 자체 보유하고 있는 LLM 기술 기반 RAG 기술을 적용해 멀티모달 질의 이해·답변 생성기술부터 LLM의 성능을 높이기 위한 언어모델 최신화 기술, 효율적인 데이터 학습·관리를 위한 RAG 데이터 파이프라인 기술, 도메인 실증까지 전반의 기술 개발을 총괄 수행한다.
본 과제는 연구개발에 이어 의료(전남대학교병원), 법률(앤쌤), 제조(JB주식회사), 미디어 광고(SBSi) 등 다양한 도메인에서의 실증을 통해 각종 비즈니스 환경과 사용자 요구에 맞춘 현실 데이터로 검증하는 단계를 거칠 계획이다.