미니레코드, 한국어 특화 언어모델 'Open Ko-LLM' 리더보드 성능평가 1위
2023-11-28 10:00
Open Ko-LLM 리더보드는 한국지능정보사회진흥원(NIA)과 업스테이지에서 구축한 한국어 특화 성능평가 모델 경쟁 플랫폼이다. 해당 리더보드 개발 경쟁에서 7B이하 분야 1위를 차지한 LLM(초거대언어모델)은 'Minirecord/Mini_synatra_7b_02'이다. 미니레코드는 국내 최초로 글로벌 IT기업 미스트랄 AI를 파운데이션 모델로 삼고 자체적으로 수집·가공 및 정제한 데이터로 학습하고 튜닝을 거쳐 개발한 모델이다.
이번 리더보드 경쟁에서는 1위뿐 아니라 2위 또한 미니레코드에서 개발한 언어모델이 자리매김하고 있어 미니레코드의 언어 AI 경쟁력을 확인할 수 있다. 한국어 초거대 언어모델 성능평가에서는 한국어 일반 상식 능력, 추론 능력, 상식능력, 언어 이해력, 환각방지 능력에 평가 지표에 따라 점수를 매기고 미니레코드의 'Minirecord/Mini_synatra_7b_02' 모델은 평균 49.88으로 1위를 기록했고 'Minirecord/Mini_synatra_7b_01' 모델은 평균 49.36으로 2위를 기록했다.
'Minirecord/Mini_synatra_7b_02' 모델은 특정 하나의 평가 지표에 치우쳐진 결과가 아닌 한국어 일반 상식, 추론, 상식, 언어 이해력, 환각방지 능력 모두 높은 성능을 나타냈다는 특징이 있다.
미니레코드 관계자는 "한국어 특화 언어모델과 함께 음성, 비전 AI 등 다양한 분야의 AI 개발에 집중하고 있으며 이를 바탕으로 신규 비즈니스 발굴과 사업 확장의 발판으로 비즈니스 가치창출을 목표로 할 것"이라고 말했다.