업스테이지·NIA, 한국어 리더보드 시즌2 개시

2024-08-12 10:52
  • * AI기술로 자동 요약된 내용입니다. 전체 맥락과 내용을 이해하기 위해서는 기사 본문 전체를 보시길 권장합니다

    업스테이지는 한국지능정보사회진흥원(NIA)와 공동으로 운영하는 '오픈 코(Ko)-LLM'이 12일부터 새로운 벤치마크를 적용한 시즌2로 전면 개편된다고 밝혔다.

    LLM을 평가하는 기준을 새롭게 바꾼다는 의미다.

    오픈 Ko-LLM 리더보드는 지난해 9월 민관협력을 통해 개설된 국내 최대 개방형 한국어 초거대언어모델(LLM) 평가 체계다.

  • 글자크기 설정
사진업스테이지
업스테이지는 한국지능정보사회진흥원(NIA)와 공동으로 운영하는 '오픈 Ko-LLM'이 12일부터 새로운 벤치마크를 적용한 시즌2로 전면 개편된다고 밝혔다. [사진=업스테이지]

업스테이지는 한국지능정보사회진흥원(NIA)와 공동으로 운영하는 '오픈 코(Ko)-LLM'이 12일부터 새로운 벤치마크를 적용한 시즌2로 전면 개편된다고 밝혔다. LLM을 평가하는 기준을 새롭게 바꾼다는 의미다.

오픈 Ko-LLM 리더보드는 지난해 9월 민관협력을 통해 개설된 국내 최대 개방형 한국어 초거대언어모델(LLM) 평가 체계다. 지난달 말 기준 산·학·연 각 분야에서 1700여개가 넘는 LLM 모델이 제출됐다.
업스테이지 측은 시즌2 개편 사유로 "최근 LLM 기술이 빠르게 발전해 1년전에 만든 평가 기준에 변화가 필요해졌다"고 설명했다.

새롭게 추가된 기준은 △Ko-GPQA(대학원 수준 추론) △Ko-위노그란데(상식 추론) △Ko-GSM8K (초등수학) △Ko-EQ-Bench(감성) △KorNAT-Social-Value(사회적 가치) 등 총 9개다.

업스테이지 측은 기존엔 LLM의 근본적 언어능력에 초점을 맞췄다면 새 시즌에선 문제해결력 등 실용적인 부분에 집중했다고 전했다. 이를 위한 지표를 촘촘히 구성해 고성능 모델의 옥석을 가려낼 수 있을 거란 기대다.

김성훈 업스테이지 대표는 "새롭게 개편된 리더보드를 통해 한국어 LLM 성능 평가의 기준점을 한 단계 더 높일 것으로 기대한다"며 "앞으로 업스테이지는 글로벌 표준을 뛰어넘는 국내 인공지능(AI) 생태계 강화에 앞잘 설 것"이라고 말했다.

©'5개국어 글로벌 경제신문' 아주경제. 무단전재·재배포 금지

0개의 댓글
0 / 300

로그인 후 댓글작성이 가능합니다.
로그인 하시겠습니까?

닫기

댓글을 삭제 하시겠습니까?

닫기

이미 참여하셨습니다.

닫기

이미 신고 접수한 게시물입니다.

닫기
신고사유
0 / 100
닫기

신고접수가 완료되었습니다. 담당자가 확인후 신속히 처리하도록 하겠습니다.

닫기

차단해제 하시겠습니까?

닫기

사용자 차단 시 현재 사용자의 게시물을 보실 수 없습니다.

닫기
공유하기
닫기
기사 이미지 확대 보기
닫기