카카오 AI, LG CNS 주최 '한국어 기계독해 평가' 1위
2022-03-23 10:25
검색·챗봇·AI 컨택센터 등에 적용해 서비스 고도화 추진
[사진=카카오엔터프라이즈]
카카오엔터프라이즈는 자체 개발한 자연어처리 인공지능(AI) 모델이 '한국어 기계독해 데이터셋(KorQuAD) 버전2.0' 성능 평가에서 1위를 차지했다고 23일 밝혔다. 기계독해는 AI가 문서를 단순히 이해하는 것을 넘어 분석, 추론을 통해 적합한 답을 제공하는 기술을 말한다.
KorQuAD는 IT서비스 기업 LG CNS가 제작한 기계독해 능력 평가로, 대규모 한국어 질의응답 데이터셋을 기반으로 한다. 지난 2018년 12월 버전1.0이 오픈소스로 공개됐다. 현 버전2.0은 리스트·표 등이 포함된 HTML 문서의 이해, 길고 방대한 문서를 빠르게 처리하는 기술을 요구하며 난도가 올라간 상태다. 평가는 데이터셋에서 추출한 내용을 질문으로 제시하고, AI 모델이 정확한 답을 찾아내는 방식으로 이뤄진다.
카카오엔터프라이즈의 자연어처리 모델인 리틀버드-라지(LittleBird-large)는 정확도 90.22점을 기록하며 평가 1위에 올랐다. 정확도뿐 아니라 처리 속도도 기존 1위 모델 대비 약 1.7배 빠른 수치를 기록했다. 또한, 모델 사이즈를 최적화해 추론 속도를 높인 리틀버드-베이스(LittleBird-base) 모델은 정확도 88.57점으로 6위를 기록하며, 유사 성능의 타사 모델대비 약 3.4배 빠른 속도로 데이터를 처리했다는 설명이다.
카카오 자체 언어모델은 2019년에도 KorQuAD 버전1.0에서 1위에 오른 바 있다. 당시 카카오의 언어모델은 평가 주체인 인간의 문장 판별·독해 능력 수준인 91.20점보다 0.65점 높은 91.85점을 받았다. 카카오에 따르면 이는 AI가 인간보다 높은 점수를 기록한 최초 사례다.
최동진 카카오엔터프라이즈 AI 랩&서비스장은 "기계독해는 AI를 활용한 실서비스를 고도화하는데 직접적인 영향을 끼친다"며 "자연어처리는 물론 비전, 음성 등 다양한 영역에서 연구 역량을 강화해 나갈 것"이라고 말했다.