오늘날 메타버스 콘텐츠는 시각과 청각이 중심이며, 이에 따라 하드웨어도 가상현실(VR) 헤드셋이나 입체음향 기술이 주를 이뤘다. 하지만 메타버스는 향후 우리가 살아가게 될 '공간'이다. 이 안에서 현실과 같은 감각을 느끼게 하기 위해서는 시각이나 청각뿐만 아니라 다양한 감각을 제공할 필요성도 크다.

메타버스 하드웨어에 집중하는 대표 기업은 메타(전 페이스북)다. 이미 메타는 VR 기업 오큘러스를 지난 2014년 인수하면서 VR 헤드셋과 관련한 기술을 확보했다. 당시 소셜 미디어에 주력한 메타가 이를 어떻게 활용할지 시장에서 기대도 컸다. 결국 메타는 가상세계 중심의 소셜 미디어, '메타버스'를 주력 사업으로 삼았다.

메타는 VR 헤드셋뿐만 아니라 메타버스 플랫폼을 위한 다양한 하드웨어를 연구 중이다. 사용자가 착용하기 편한 장비를 통해 메타버스에 더 오래 머무를 수 있게 하는 것은 물론, 새로운 입력장치를 개발해 기존 VR 컨트롤러보다 더 자연스러운 일상 동작으로 아바타를 움직일 수 있도록 할 계획이다.
  프로젝트 캠브리아(Project Cambria)는 2022년 발매를 목표로 하는 고성능 VR 헤드셋으로, 기존 오큘러스 퀘스트2에 없는 새로운 기능을 추가했다. 우선 헤드셋 내부에 부착된 센서다. 이 센서는 사용자의 시선이나 표정을 인식하고, 착용한 사람의 아바타에 반영한다. 즉 헤드셋을 착용한 사람이 웃으면 이 표정이 메타버스 캐릭터에 반영된다. 이러한 요소는 아바타를 이용한 커뮤니케이션에서 표정 등의 비언어적 의사소통을 지원한다.

가상현실과 증강현실을 혼합한 혼합현실(MR) 기능 역시 강화한다. 프로젝트 캠브리아 전면에 달린 렌즈로 헤드셋 너머의 모습을 컬러로 볼 수 있게 했으며, 여기에 AR 콘텐츠를 구현하는 방식이다. 기존 AR 헤드셋이 투명한 안경 위에 화면이 보이게 하는 방식이라면, 프로젝트 캠브리아는 내장 카메라를 이용해 MR를 만들고 일이나 놀이 등의 콘텐츠를 제공한다.

성능을 높이면서도 부피는 더 작아진 것 역시 특징이다. VR 기기에서 사용하는 기존 프레넬 렌즈 대신, 팬케이크 렌즈를 사용해 전반적인 부피를 줄였으며, 시야각도 이전보다 넓힐 수 있다. 기존 VR 헤드셋의 경우 초점을 맞추기 위해 렌즈 뒤에 빈 공간을 어느 정도 만들어야 하며, 프레넬 렌즈 특성상 시야각은 140도가 한계다. 반면 팬케이크 렌즈는 커브드 디스플레이처럼 곡면형 렌즈를 이중으로 겹치는 방식이다. 렌즈 뒤에 공간이 적어도 초점을 맞추기 쉬우며, 눈을 감싸는 방식으로 렌즈를 배치해 최대 200도까지 시야각을 구현할 수 있다. 즉 VR 헤드셋의 부피와 무게가 줄어들면서도 시각적 몰입도는 더 높일 수 있는 셈이다.

프로젝트 나자르(Project Nazare)는 AR 글래스다. 기존 스마트 글래스에서 한 단계 더 발전해 마치 홀로그램을 보는 것처럼 안경 너머 AR 콘텐츠를 볼 수 있다. 특히 안경 두께는 5㎜ 이내로 제작할 계획이며, 이 작은 기기 안에 홀로그램 디스플레이, 프로젝터, 배터리, 통신 칩셋, 프로세서, 카메라, 스피커 등 다양한 부품을 집약한다.

올해 10월 열린 커넥트 콘퍼런스에서 마크 저커버그 CEO는 이를 활용한 비전을 선보였다. 안경을 착용한 상태에서 홀로그램으로 왓츠앱 메신저를 이용하고, 다른 사람과 원격에서 간단하게 게임을 즐기는 모습이다. 향후 이러한 형태의 기기가 대중화된다면 스마트폰을 대체하는 일상용 메타버스 하드웨어로 자리잡을 전망이다. 한편, 메타는 AR 글래스 출시에 앞서, 레이밴과 협력해 일반 안경에 카메라를 탑재한 제품을 우선 선보였다. 이는 메타가 추진해온 프로젝트 아리아(Project Aria)의 결과물이다.
  메타는 손목밴드 모양 입력장치도 연구하고 있다. 근전도 센서를 이용해 손가락 움직임까지 파악하고, 이를 AR 글래스 등에서 입력장치로 이용하는 형태다.

현재 메타버스에서 아바타를 움직이거나 공간 내 다른 사물과 상호작용하는 방식은 다양하다. 스마트폰 화면을 터치하거나, VR 컨트롤러에 달린 조이스틱과 버튼을 누른다. 키보드 방향키나 마우스를 이용할 수도 있다. 하지만 이러한 조작은 우리가 일상에서 하는 행동과는 다르다. 우리는 바닥에 놓인 무언가를 집을 때 버튼을 누르는 것이 아니라 손가락을 구부린다.

메타 리얼리티 랩스가 연구 중인 손목밴드는 일상에서 하는 행동 그대로를 인식하는 입력장치다. 가령, 펜을 쥐고 글을 쓰면 이러한 동작으로 메타버스 공간 내에서 텍스트를 입력할 수 있다. 허공에서 시위를 당기는 동작을 취하다 손가락을 펴 시위를 놓으면, VR·AR 공간에서는 화살이 발사된다. 손과 팔을 이용해 일상적인 행동을 가상세계에서도 그대로 이용하는 셈이다.

특히 이러한 기술은 신체가 불편한 사람도 이용할 수 있다. 손가락이 없더라도 근전도를 측정해 키보드 입력을 할 수 있게 해주고, 소리를 들을 수 없는 사람에게는 메타버스 아바타로 수화를 할 수도 있다. 시각과 청각에 의존해온 기존 메타버스가 다른 비언어적 수단을 이용해 상호작용할 수 있게 된 셈이다.

리버스 패스스루(Reverse paththrough)는 VR 헤드셋 착용자가 아닌, 외부를 향한 디스플레이 기술이다. 보통 VR 기기에서 패스스루라는 표현은 카메라를 이용해 외부 모습을 VR 헤드셋의 렌즈에 보여주는 기능을 말한다. 반대로 리버스 패스스루는 착용한 사람의 눈을 VR 기기 외부에 보여준다.

리얼리티 랩스는 블로그를 통해 이 기술을 소개하며 "실험 중 패스스루 기능이 있는 VR 헤드셋을 착용하면 주변 모습과 동료를 잘 볼 수 있는 반면, 동료들은 사용자의 표정을 볼 수 없었다. 착용자가 누군가와 대화할 때마다, 상대방은 눈을 마주치지 않고 대화하는 것에 이질감을 느꼈다"며 기술개발 이유를 밝혔다.
  향후 메타버스는 촉감이라는 새로운 감각을 전할 수도 있다. 메타는 현재 촉감을 전달하는 장갑 '햅틱 글러브(Haptic Gloves)'를 위해 하드웨어와 소프트웨어 기술을 개발 중이다. 이 장갑을 착용하고 메타버스에서 사물을 만지면 질감이나 압력, 진동 등 다양한 감각을 재현하는 것이 가능하다.

촉감은 메타버스에서 몰입도를 높이는 중요한 요소 중 하나가 될 전망이다. 현재 기술로 VR·AR에서 실제 세계에 적용되는 물리적 법칙을 그대로 재현하는 것은 아주 어려운 일이다. 하지만 시각과 청각에 촉감이 추가된다면 사용자는 메타버스 세상을 더 자연스럽게 인지할 수 있다.

제스 하처-오브라이언 리얼리티 랩스 지각연구 과학자는 "우리 뇌는 물체를 집기 전부터 시각적 단서를 이용해 소재나 무게 등을 이미 가정한다. 물체를 움직일 때 얼마나 조밀하고 무거운지 관찰을 통해 예측할 수도 있다. 햅틱 글로브는 시각적 단서와 함께 물체와 접촉할 때 나타나는 촉감을 결합한다"고 설명했다.

햅틱 글러브는 미세한 공기압을 이용해 착용자에게 부피나 질감 같은 감각을 전달하며, 핸드 트래킹 기술로 사용자 손과 메타버스 공간 내 3D 물체를 파악한다. 이 두 가지 기술에 햅틱 렌더링이라는 소프트웨어 기술을 접목하면 실시간으로 촉감을 느끼는 것이 가능하다. 손과 3D 모델의 위치를 실시간으로 파악하고, 물건을 집으면 물체의 질감, 무게, 강성 등을 포함한 정보를 장갑으로 전송한다. VR 헤드셋과 연결할 경우 메타버스에서 누군가와 악수하는 감각을 느낄 수도 있고, 카드 게임을 할 때 카드를 쥐는 감각도 재현할 수 있다.

물론 실제 제품이 등장하기 전까지는 어느 정도 시간이 걸릴 것으로 보인다. 미세한 감각을 전달하기 위해 수많은 소형 모터가 부착돼 있으며, 오랜 시간 작동하면 열이 발생한다. 연구진은 이를 개선하기 위해 연구 중이다. 또한 장갑에 쓰이는 섬유 역시 새롭게 개발하고 있다. 기존 전도성 원사만으로는 VR에서 필요한 상호작용을 모두 구현할 수 없기 때문에 전도성, 정전용량 등 여러 기능을 넣으면서도 기존보다 더 얇은 소재를 개발할 계획이다.

이러한 기술이 완성된다면 단순한 엔터테인먼트를 넘어 산업이나 의료 등에도 쓰일 수 있을 전망이다. 이른바 감각전달장치다. 초고속 인터넷과 감각전달장치가 만나면 정밀한 손 동작이나 감각이 필요한 수술도 원격에서 할 수 있으며, 미세하게 조종해야 하는 중장비도 먼 곳에서 VR 헤드셋을 착용한 상태로 조작할 수 있다.