마음AI, 퀄컴과 맞손…온디바이스 AI 기반 음성 대화 제품 '수다' 공개
2024-12-18 14:33
내년 1월 CES 2025서 본격적으로 선보여
마음AI는 내년 1월 미국 라스베이거스에서 열리는 'CES 2025'에서 퀄컴과 온디바이스 인공지능(AI) 협력 성과를 공개한다고 18일 밝혔다.
마음AI는 이번 CES 2025에 단독 부스를 차린다. 이 자리에서 초거대언어모델(LLM) 기반 음성 대화 제품인 '수다(SUDA)'를 선보인다.
회사 측에 따르면 '수다'는 퀄컴 QCS6490 프로세서 기반의 RB3 2세대 플랫폼을 탑재했다. 음성 대화를 위한 음성텍스트변환(STT), LLM, 텍스트음성변환(TTS)를 지원하며 인터넷 연결 없이도 디바이스상에서 음성 대화가 가능하도록 했다.
마음AI는 LLM 추론 속도를 최대로 끌어올린 결과, 온디바이스상에서 총 처리 지연시간을 1.5초 이내로 단축하는 데 성공했다. 일반적인 AI 스피커나 가전제품에 탑재된 음성 대화 모듈들에 비해 사용자 경험을 높일 수 있다는 설명이다. 이를 통해 원활한 음성 상호작용 서비스를 구현할 수 있다고 강조했다.
이를 기반으로 마음AI는 '수다'를 통해 홈 IoT를 제어하는 시연을 CES 2025에서 공개한다. 가령 "너무 눈부신데"라고 말하면 LLM이 사용자의 의도를 파악하고 블라인드를 내리도록 하는 식이다. 홈 IoT 환경에서 여러 센서나 가전제품 등을 제어하는 에이전트(Agent) 기능을 구현하기 위해, 마음AI는 LLM에 펑션콜(Function call) 기능을 구현했다. 사용자는 API로 호출 가능한 모든 센서와 가전제품 등 홈 IoT 제품들을 자연어로 쉽게 제어할 수 있다.