삼성전자의 차세대 스마트폰 갤럭시S24 시리즈가 정식 공개되면서 제품에 탑재된 '온 디바이스 인공지능(On-Device AI)'이 화제다. 

온 디바이스 AI란 이용자 정보나 요청을 인터넷을 통해 클라우드 서버로 전송해 분석한 후 다시 기기에 보내는 방식으로 운영되던 기존 AI 서비스와 달리 스마트폰·노트북 등 기기에서 AI가 자체적으로 데이터를 분석한 후 추론(실행)하는 것을 말한다. 

예를 들어 '챗GPT' 등 기존 AI 서비스가 인터넷 연결이 끊기면 AI 서비스를 이용할 수 없지만, '갤럭시 AI' 등 온 디바이스 AI는 인터넷 연결이 끊겨도 AI 서비스를 이용할 수 있다. 이용자의 모든 데이터를 스마트 기기에서 암호화해 관리하는 만큼 개인정보 유출 가능성도 줄어든다.

갤럭시S24에 탑재한 갤럭시 AI는 △13개 언어 실시간 통화 번역 △메신저 앱 대화 번역 △AI 화질 보정 △AI 영상 편집 △대화·문서 요약 등의 기능을 제공한다. 과거에는 인터넷에 연결돼야 이용할 수 있었으나, 갤럭시S24는 비행기 모드로 외부 데이터 연결을 끊어도 모든 AI 기능이 정상 작동한다.

업계에선 빅테크가 주도하는 생성 AI 산업 주도권을 되찾기 위해 주요 반도체·하드웨어 기업이 의기투합해 온 디바이스 AI 전략을 추진하는 것으로 본다. 대량의 AI 반도체가 없어도 AI 서비스의 혜택을 누릴 수 있는 점에서 ‘이용자를 위한 AI 민주화’라고 평가하는 전문가들도 있다.

현재 생성 AI 산업계 선두에 서 있는 마이크로소프트(MS)와 오픈AI는 매개변수 1000억개 이상의 초거대 AI 모델을 활용해 챗GPT·달리(Dall-E)·코파일럿 등 AI 서비스를 제공하고 있다. AI 성능은 우수하지만 AI 모델 학습·추론을 위해 막대한 양의 AI 반도체를 갖춘 클라우드 서버가 필요한 만큼 인터넷 연결이 강제되고 서비스 이용료가 비싸다.

이에 구글·메타(페이스북)·스테이블AI 등 경쟁사가 매개변수 1000억개 이상의 초거대 AI 모델과 함께 100억개 이하 소형 AI 모델을 공개하며 AI 모델 다각화 전략으로 맞불을 놨다. 이러한 상황에서 삼성전자·인텔·AMD·퀄컴 등 주요 반도체 기업이 소형 AI 모델에 관심을 가지면서 온 디바이스 AI 산업의 초석이 됐다.

삼성전자·퀄컴에 따르면 온 디바이스 AI가 상용화된 배경에는 '모바일 애플리케이션 프로세서(AP)의 성능 강화'와 'AI 모델 양자화(압축) 기술 발전'이 있다.

먼저 최근 들어 모바일 AP에 탑재한 그래픽처리장치(GPU) 성능이 AI 모델을 추론할 수 있을 정도로 우수해졌다. 이에 맞춰 AP 제조사들도 3차원(3D) 그래픽 표현에 최적화된 GPU를 AI 반도체로 활용할 수 있도록 관련 소프트웨어 개발을 완료했다.

AI 모델의 경우 온 디바이스 AI는 매개변수 100억개 미만 소형 모델을 이용한다. 이에 매개변수를 줄이면서 AI 추론 성능을 유지하는 모델 압축 기술이 우수한 AI 서비스를 위한 핵심 변수로 떠오르고 있다.

삼성전자가 갤럭시S24 시리즈로 온 디바이스 AI 시대의 포문을 연 만큼 올해 중 애플 아이폰과 구글 픽셀폰에도 온 디바이스 AI가 적용될 전망이다. 단순히 적용되는 것을 넘어 안드로이드·iOS 등 모바일 운영체제와 온 디바이스 AI가 하나로 통합될 가능성이 높다. 온 디바이스 AI를 활용한 각종 AI 서비스가 스마트폰·태블릿PC의 핵심 경쟁력이 된다는 의미다.

다만 삼성전자는 구글과 협력해 온 디바이스 AI와 함께 인터넷 연결이 전제되는 초거대 AI 서비스도 스마트폰에 적극 수용할 방침이다. 이용자가 필요에 따라 AI 종류를 선택할 수 있는 하이브리드 AI 전략이다.

인텔도 온 디바이스 AI가 적용된 노트북 'AI PC'를 발표하며 관련 시장 참전을 예고했다. 인텔은 2000년대 초반 제조사들에 노트북용 CPU와 와이파이 부품을 함께 제공해 전 세계 모든 노트북에 무선 인터넷이 기본 탑재되게 한 것처럼 생성 AI를 추론하는 중앙처리장치(CPU)를 보급, 온 디바이스 AI가 노트북 기본 사양이 되도록 할 방침이다.

팻 겔싱어 인텔 최고경영자는 최근 열린 CES 2024 기조연설에서 "현재는 생성 AI 학습·추론을 위해 대규모 GPU가 필요하지만, 기계 학습에 특화한 AI PC가 현실화하면 이용자들은 CPU만으로도 생성 AI를 이용할 수 있게 될 것"이라고 말했다. 이어 "지난해 12월 공개한 AI PC용 CPU인 '코어 울트라'에선 벌써 100여개 생성 AI가 실행된다"고 덧붙였다.