야놀자·이든티앤에스 LLM, '2023 올해의 LLM' 등극
2024-04-05 14:55
우수 모델은 NIA와 업스테이지가 운영 중인 '오픈-코LLM' 리더보드를 통해 접수된 1134개 초거대언어모델(LLM) 대상으로 5개 성능 지표에 따라 성능을 측정해 선정했다. 해당 리더보드는 한국어 LLM의 성능 평가 지표를 만들기 위해 NIA와 업스테이지가 공동으로 개발한 바 있다. 추론능력, 상식능력, 언어이해력, 환각방지능력, 한국어 상식생성능력 등을 종합적으로 검토했다.
그 결과 우수 모델로는 사전학습 모델 부문에서 야놀자, 파인튜닝 부문에서는 이든티앤에스가 각각 1위를 차지했다. 사전학습 모델은 AI 모델의 근간이 될 수 있는 요소이고, 파인튜닝 모델은 이를 응용한 모델이다.
NIA 관계자는 "리더보드의 목적은 한국어 LLM 평가 생태계 구축이며, 생태계의 핵심은 '표준화(Standardization)'"라며 "NIA와 업스테이지는 이러한 표준화를 잘 이뤄낼 수 있도록 다양한 능력을 평가할 수 있는 평가 지표를 추가하고, 평가방식 등을 지속적으로 개선해 나갈 계획"이라고 말했다.
황종성 NIA 원장은 "국내 리더보드에서 우수한 성적을 보인 기업이 글로벌 리더보드에서도 독보적인 위치를 차지하는 등 '오픈 코-LLM' 리더보드의 수준이 매우 높아지고 있다"며 "앞으로도 국내 기업의 초거대 언어모델 역량 강화와 민관협력을 위해 적극 지원하겠다"고 강조했다.