국내 인공지능(AI) 스타트업이 온디바이스 인공지능(AI) 상용화에 집중하고 있다.

온디바이스 AI는 인터넷 연결 없이 노트북, 스마트폰 등 기기 자체에서 AI 모델을 구동하는 기술이다. AI가 기기 내에서 효율적으로 구동되려면 비용과 성능 측면에서 기존 거대언어모델(LLM)을 경량화한 모델이 필요하다. 빅테크 기업들의 LLM 개발 경쟁이 거세지는 가운데 스타트업을 중심으로 소형언어모델(sLLM) 개발을 통한 AI 서비스 상용화가 현실화되고 있는 이유다.

5일 업계에 따르면 셀바스AI는 온디바이스 AI 음성합성 솔루션 '셀비 딥TTS 온디바이스'를 밀리의서재 서비스에 첫 상용화했다. 이는 국내 AI 기업이 공개한 온디바이스 AI 중 첫 사업화 사례다.

셀비 딥TTS 온디바이스는 딥러닝 기반 음성합성 솔루션으로, AI가 사람처럼 자연스럽고 유창하게 텍스트를 읽어준다. 인터넷 연결 없이 사람의 호흡, 억양, 감성 등 다양한 음성 요소를 구현할 수 있도록 설계된 것이 특징이다. 

이를 통해 밀리의 서재 구독자들은 콘텐츠를 자연스러운 AI 음성으로 들을 수 있게 됐다. 밀리의서재 베스트셀러부터 월 1000권 이상의 신간은 물론 소설, 에세이, 시, 자기계발, 경제경영 등 기존에 서비스하고 있는 도서에도 AI 음성이 적용된다. 현재는 안드로이드에서 사용할 수 있으며 연내 iOS에도 적용할 계획이다.

셀바스AI는 기술·제품화·상용화 등을 모두 갖춘 역량을 통해 전자책 기업은 물론 웹소설, 키오스크, 로봇 등으로 사업 영역을 확장할 방침이다.

업스테이지도 LG전자와 함께 온디바이스 AI 기반 노트북을 개발에 나섰다. 업스테이지의 소형언어모델(sLLM) 솔라를 LG 노트북 '그램'에 적용할 계획이다. 

솔라는 107억 매개변수(10.7B)로 구성된 사전학습 모델로, GPT3 대비 10분의 1도 되지 않는 작은 크기지만 추론 속도 면에서 훨씬 빠르다. 디바이스 성능과 전력 소모에 큰 영향을 미치지 않으면서도 다양한 언어 AI 기능을 제공할 수 있어 온디바이스AI의 최적 모델로 주목받고 있다.

이를 통해 사용자의 음성 명령을 인식하고 문서나 웹페이지를 번역, 요약하거나 검색과 추천하는 서비스를 제공할 것으로 기대된다. 일례로 음성명령을 통해 노트북 내 저장된 문서 내용을 검색하고 추천해주거나 화상회의 내용을 텍스트로 저장·요약해 주는 등 AI 비서 기능을 인터넷 연결 없이도 이용할 수 있다. 

양사는 PC 제품뿐 아니라 다양한 가전 제품에도 적용할 수 있도록 협력을 확대할 방침이다.

한편 글로벌 시장조사기관 IDC에 따르면 전세계 온디바이스 AI 시장은 2027년까지 1500억달러(약 205조원) 규모로 성장할 것으로 전망했다. 올해 온디바이스 AI 수요에 힘입어 PC 시장도 3.4% 성장할 것이란 예측이 나왔다.

IDC는 "올해 노후화된 상업용 PC의 설비 교체가 필요하다"면서 "특히 MS 윈도 11에 코파일럿과 같은 AI가 탑재됐기 때문에 더 큰 수요가 있을 것"이라고 내다봤다.