업스테이지, 11월 출시 '솔라 프로' 테스트용 모델 오픈소스 공개
2024-09-11 10:19
솔라 프로는 솔라 LLM 시리즈의 상위 모델로 오는 11월 정식 출시 예정이다. 이번에 공개하는 버전은 프리뷰 버전으로, 현재 개발 중인 모델을 미리 테스트해볼 수 있다. 업스테이지는 API 호출 비용까지 무상 지원해 이용자들을 끌어모은다는 방침이다. 프리뷰 버전은 영어만 지원하며, 입력 토큰 수는 4096자로 제한된다.
솔라 프로는 220억(22B) 매개변수를 갖춰 기존 '솔라 미니'(107억) 대비 두 배 이상 커지고 성능도 대폭 향상됐다. 다만 DUS(깊이 확장 스케일) 기술 등 자체 LLM 모델링 방법론을 더욱 고도화한 결과 여전히 1개의 GPU에서 구동이 가능한 수준으로 경량화에 성공했다는 것이 회사 측의 설명이다.
또 솔라 프로는 인문학뿐만 아니라 과학·기술·공학·수학(STEM) 종합 지식을 평가하는 'MMLU 프로(Pro)', 지시 이행 능력을 평가하는 'IFEval' 등 최신 LLM 벤치마크(성능 평가) 지표에서 솔라 미니보다 평균 51% 이상 대폭 향상됐다. 최신 지표인 MMLU 프로는 LLM 답변의 정확도를 사지선다로 평가하던 기존 방식에서 선택지를 10개까지 늘려 정답률을 낮추고, 학부생 수준 이상의 추론을 요구해 고난도로 정평이 높다.
업스테이지 관계자는 "이는 마이크로소프트의 '파이(Phi)-3 미디엄(Medium)', 메타 '라마(Llama) 3.1 8B', 미스트랄AI-엔비디아 '네모(NeMo) 12B', 구글 '젬마(Gemma) 2 27B' 등 유사 사이즈의 빅테크 모델 성능을 모두 뛰어넘은 수치"라며 "매개변수가 3배 이상 큰 '라마 3.1 70B' 등 다중 GPU를 요구하는 모델과 유사한 수준"이라고 강조했다.
김성훈 업스테이지 대표는 "자체 기술로 개발한 세계 최고 수준의 LLM 솔라를 통해 글로벌 AI 시장에 도전장을 내민 업스테이지가 더욱 강력한 차기 모델을 야심차게 준비하고 있다"고 강조했다.