메타버스에 대한 표준 정의와 필수 기술 등에 대해서는 아직 논의가 이뤄지고 있지만, 전문가들은 각종 기술이 융합된 플랫폼이라는 점에는 의견을 모은다. 특히 인공지능(AI)은 메타버스 내 콘텐츠 생성은 물론, 사용자가 메타버스 내에서 각종 서비스를 불편함 없이 이용할 수 있도록 해주는 주요 기술로 꼽힌다.

5일 업계에 따르면 지난 2일 열린 KAIST 메타버스 융합대학원 개원식에서 네이버, 엔씨소프트(이하 NC), KT 등 ICT 업계 관계자가 참석해 메타버스 주요 동향과 현재 진행 중인 연구에 대해 소개했다.

◆네이버, 초거대 AI는 메타버스 캐릭터의 뇌 역할 할 것

하정우 네이버 AI연구소장은 "초거대 AI는 메타버스에서 뇌 역할을 할 수 있으며, 강력한 콘텐츠 생산도구로도 활용할 수 있다. 현재 초거대 AI는 사람과 실시간 대화가 가능하며, 이를 메타버스에 적용하면 대화하는 AI 캐릭터도 만들 수 있다"고 설명했다.

초거대 AI란 이름 그대로 대규모 인프라로 대용량 데이터를 학습한 AI를 말한다. 현재 초거대 AI는 특정 주제에 대해 고등학생 수준의 자연스러운 작문이 가능하며, 단어와 문장만으로 사람이 공감할 수 있는 그림을 생성하기도 한다. 특히 정답이 정해지지 않은 내용을 학습하는 자기 지도 학습을 통해 수많은 데이터를 스스로 학습하고 성능을 강화하기도 한다.

그간 초거대 AI는 규모와 학습 데이터를 늘리는 방식으로 성능을 강화해왔으나, 최근에는 데이터 최적화를 통해 이전과 같은 규모로도 4배 이상의 효율을 낼 수 있는 학습법도 등장했다.

네이버 역시 초거대 AI '하이퍼클로바'를 개발해 자연어 처리 기반 서비스를 제공 중이다. 가령 대화 분야에서 '클로바 케어콜'이 대표적이다. 이는 AI가 독거노인 등을 대상으로 안부 전화를 제공하는 서비스로 전국 30여 개 지자체에서 이를 사용 중이다. 특히 단순한 대화 인식을 넘어 과거에 했던 대화를 기억해 '말벗'으로서 역할을 한다.

네이버 지식인터랙티브도 이러한 AI 기술이 도입된 사례다. 사용자가 지식인터랙티브에서 음성으로 대화하듯 질문하면 관련 내용을 지식백과 등에서 찾아 자연스럽게 알려준다. 특히 기존의 정형화된 질의응답을 넘어 폭넓은 질의에 대응할 수 있는 것이 강점이다.

이러한 AI가 메타버스에 적용된다면 메타버스 공간에서 사용자와 직접 대화하며 서비스를 제공하는 것도 가능하다. 메타버스 내 콘텐츠를 안내하는 것은 물론, 쇼핑 등 여러 서비스와도 연계해 사용자를 응대할 수 있다.

하정우 소장은 "초거대 AI 모델이 커지면 성능은 확실히 개선된다. 이를 메타버스 생태계에 접목하기 위해서는 오픈 이노베이션이 필요하다"며 "현재 많은 스타트업이 우리가 개방한 초거대 AI(클로바 스튜디오)를 통해 자기만의 서비스를 만들어가고 있다. 기업은 물론 주요 대학과도 AI 연구센터를 공동 운영하는 등 다양한 협력을 진행 중"이라고 덧붙였다.
 

◆NC, AI 통한 자연스러운 움직임...사람 같은 디지털 휴먼

NC는 AI를 통해 자연스러운 디지털 휴먼을 구축하고 있다. 단순한 대화형 AI를 넘어, 사람처럼 행동하는 디지털 휴먼을 메타버스에 구현하는 것이 목표다.

이제희 NC 최고연구책임자(CRO)는 "NC는 디지털 휴먼이 보고 듣는 것을 이해하고, 대화하면서 눈을 움직이거나 손동작을 하는 등 일련의 시각적 행동 프로세스를 만들어가고 있다. 여기에 더해 디지털 휴먼이 우리 눈앞에 실제 사진처럼 보이도록 하기 위해 옷 섬유의 질감과 물성, 피부 등을 구현하는 팀도 다수를 구성해 운영 중"이라고 설명했다.

그러면서 "올해 말쯤에는 불만족스러운 결과가 나오겠지만, 내년 말 외부에 공개할 만한 수준이 되고, 내후년쯤 누가 봐도 감탄할 수 있는 것을 만드는 것이 목표"라고 밝혔다.

NC는 이미 10여 년 전부터 AI 연구센터를 구축해 운영 중이며, 관련 인력도 200여 명을 보유하고 있다. 현재 NC가 진행 중인 프로젝트를 살펴보면, 우선 근육과 뼈대를 통해 사람처럼 움직이는 디지털 휴먼을 개발 중이다. 근육 움직임이나 뼈대에 걸리는 부하 등을 AI 시뮬레이션으로 구현해, 스스로 균형을 잡으면서 걸을 수 있도록 하는 것이 목적이다.

이제희 CRO는 "우리는 키메라를 만드는 작업도 하고 있다. 예를 들어서 공룡, 골렘, 사람 등은 움직이는 동작이 다르다. 이들의 각 부분을 모아 키메라 하나로 만들면 무게 차이나 원래 행동 방식 등이 움직임에 반영된다. 길게는 3~5년 정도 잡아야겠지만, 이런 게임이 NC를 통해 시장에 출시되는 것을 볼 수 있을 것"이라고 말했다.
  ◆KT, 디지털과 현실 연계...초거대 AI 등 기반기술 확대 필요

KT는 일상 서비스와 메타버스의 연계를 시도하고 있다. 대표적인 것이 지니버스다. 지니버스는 메타버스 공간과 실제 KT 서비스를 연동하는 '홈 트윈' 서비스다. 

배순민 KT융합기술원 AI2XL연구소장은 "제조업은 이미 디지털화된 설계도를 통해 디지털 트윈을 기반으로 하는 메타버스 활동 기회가 많다"며 "디지털 활동이 현실세계에 물리적인 영향을 미치는 만큼, 앞으로 우리 일상의 많은 것이 바뀔 것이다. KT는 지니버스 등 가전을 기반으로 하는 홈 트윈 메타버스에 대한 접근 방식을 고민 중"이라고 설명했다.

디지털 트윈이란 현실세계의 물리적 정보를 그대로 가상공간에 구현하는 메타버스 분야다. 현실세계 정보를 그대로 반영하기 때문에 현재 상황을 관제하는 것은 물론, 시뮬레이션을 기반으로 미래 상황을 예측하는 것도 가능하다.

가령 스마트팩토리에 설치된 각종 사물인터넷 센서는 공장 내 습도나 온도 등 환경은 물론, 설비 작동 상태, 제품 생산 불량 등을 실시간으로 관제할 수 있다. 또한 시뮬레이션을 통해 설비 고장 시기를 판단하는 것은 물론, 최적의 작동 환경을 찾을 수 있다.

지니버스가 지향하는 홈 트윈 역시 이와 같은 맥락이다. 실내 구조를 가상공간에 구현하고, 공간마다 와이파이 세기를 모니터링하거나 IPTV 채널 정보 등을 메타버스에서 확인하는 등의 서비스를 제공할 수 있다. 특히 기가지니 등 KT AI 기반 서비스를 접목하면 메타버스 캐릭터를 통해 대화형 서비스 이용도 가능하다.

배순민 소장은 "SF 영화 등으로 우리 상상력은 커졌지만, 현재 기술은 상상력에 비해 많이 뒤처져 있다. 아직 VR·AR 기기 확산이 더디고, AI 경량화도 필요하다. 이 때문에 메타버스를 뒷받침하기 위한 기술적 혁신이 필요하다"고 밝혔다.