업스테이지가 자체 개발한 사전학습 거대언어모델(LLM) '솔라(Solar)'를 공개했다고 14일 밝혔다. 이를 토대로 글로벌 유수 기업들과의 중소형 LLM 경쟁에 본격적으로 뛰어든다는 방침이다.

'솔라'는 앞서 지난 8월 글로벌 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 '오픈 LLM 리더보드'에서 300억(30B) 매개변수 이하 사이즈 기준 세계 1위 성능을 기록한 바 있다. 벤치마크 점수 기준으로 GPT 3.5를 뛰어넘었다는 평가를 받았다.

솔라는 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로, 파라미터(매개변수) 수는 107억개다. 솔라는 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지했다. 

회사 관계자는 "알리바바의 최신 모델인 큐원(Qwen)의 6분의 1도 안되는 크기로 이를 훌쩍 뛰어넘는 성능을 증명했다"고 강조했다. 특히 허깅페이스 오픈 LLM 리더보드가 오픈소스 생성 AI 모델의 바로미터로 꼽힌다는 점에서 이번 결과가 더욱 의미 있다는 평가다. 허깅페이스 오픈 LLM 리더보드에서는 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력과 환각현상(할루시네이션) 방지, 대명사 참조, 수학 해결 능력 등 6가지 지표의 평균 점수로 경쟁한다.

업스테이지는 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화했다. 성능이 좋지만 큰 130억개(13B) 모델과 충분히 작지만 지적 제약이 있는 70억개(7B) 모델 사이의 장점을 모두 잡는 최적의 모델 크기를 찾고자 했다. 이에 오픈소스의 7B 모델들을 바탕으로 자체적인 방식을 적용해 소형 모델의 성능을 극대화했다. 그 결과 업스테이지는 3조개가 넘는 토큰의 데이터를 통해 확장된 107억개의 파라미터를 완성해 크기와 성능을 모두 갖췄다고 설명했다.

솔라는 사전학습·파인튜닝 단계에서는 리더보드 벤치마킹 데이터셋을 사용하지 않고, 자체적으로 구축한 데이터를 적용했다. 이는 리더보드 점수를 높이기 위해 벤치마크 셋을 직접 적용하는 모델들의 사례와 달리 다양한 태스크(Task)의 실제 업무 활용 등, 일반적인 경우에서도 높은 사용성을 보여줄 수 있음을 반증한다고 회사 측은 설명했다.

회사 측에 따르면 솔라는 최근 20억 달러의 기업 가치로 유니콘에 오른 미스트랄AI의 최신 모델 '믹스트랄(Mixtral 8x7B)' 모델도 성능 면에서 앞질렀다. 믹스트랄은 70억 파라미터의 전문 모델 8개를 묶어 소형 모델임에도 메타 '라마'와 GPT 3.5를 성능 면에서 능가한 바 있다. 회사 관계자는 "믹스트랄보다 더 가벼운 크기에도 벤치마크 평가에서 솔라가 더 나은 성능을 보인 것"이라고 말했다.

솔라는 이번에 상업적 활용이 가능하도록 공개된다. 실사용성이 높은 파인튜닝 모델은 물론 자체 추가 학습이 가능한 사전학습 모델까지 모두 선보였다. 사전학습 모델은 주로 모델의 성능을 자체적으로 끌어올리는 데 사용되는데, 회사 측은 솔라의 사전학습 모델이 알리바바 '큐원', 메타 '라마2', 미스트랄AI '미스트랄' 사전학습 모델 등을 성능 면에서 앞선다고 짚었다.

업스테이지는 AWS, Poe, 투게더AI 등 글로벌 플랫폼과의 협력을 통해 글로벌 생성 AI 시장에 본격적으로 진출할 계획이다. 업스테이지는 최근 'AWS 리인벤트 2023' 행사에 참석해 AWS의 클라우드 서비스와 AI 플랫폼을 활용해 자체 개발한 LLM을 구축하고 운영하는 과정과 성과에 대해 설명하며 AWS와의 협력을 밝힌 바 있다. 또 글로벌 생성 AI 활용 플랫폼 Poe에 메인 모델로 등록돼 있는 솔라 모델도 업데이트한다. Poe는 쿼라가 운영하는 플랫폼으로, 다양한 AI 모델과 대화하고 원하는 프롬프트를 입력해 나만의 챗봇을 만들 수 있다.

김성훈 업스테이지 대표는 "세계 AI 회사들을 압도하는 모델을 공개하게 돼 기쁘고 업스테이지 솔라가 모두를 위한 모델이 되기를 희망한다"며 "KT의 전략투자를 통한 지원이 큰 도움이 됐고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용, B2B 시장에서의 협력도 추진할 것"이라고 말했다.