입모양으로 VR 헤드셋 음성인식, 국내 기술로 개발했다

한양대 임창환 교수 연구팀이 VR 헤드셋을 착용한 상태에서 입모양만으로 사용자의 발화를 인식하는 기술을 개발했다고 2월 21일 밝혔다.[사진=한양대학교]

입모양만으로 의사를 전달할 수 있는 신기술이 국내에서 개발됐다.

임창환 한양대 바이오메디컬공학과 교수팀은 가상현실(VR) 헤드셋을 착용한 상태에서 입모양만으로 사용자의 의도를 정확히 인식하는 신기술을 개발했다고 21일 밝혔다. 해당 기술은 후두절제나 성대결절 등으로 인해 정확한 발성이 힘든 사용자에게 도움을 줄 것으로 기대된다.

최근 VR을 이용한 메타버스 서비스에 대해 관심이 커지고 있으며, 음성인식을 통해 VR 기기를 조작하는 기능 역시 상용화됐다. 하지만 기존 음성인식은 주변 소음으로 정확도가 낮아질 수 있고, 도서관 등 조용한 환경에서는 사용하는 데 한계가 있다. 또 후두절제나 성대결절 등으로 인해 크고 또렷한 목소리를 낼 수 없는 사람들은 음성 인식 기술을 활용하기 어려웠다. 

임 교수팀은 이런 문제를 해결하기 위해 VR 헤드셋 착용 시 피부에 닿는 부위에 6개의 생체전극을 부착했다. 이를 착용한 사용자가 입을 움직일 때 전극에서 측정되는 안면 근전도 신호를 실시간으로 분석하고, 사용자 발화 의도를 알아내는 데 성공했다.

관련기사

• "메타, 수년 내 '혼합현실' 대중화 가능성 언급"
• 용홍택 과기부 1차관 "전자약 산업 지원방안 마련하겠다"

연구팀에 따르면 안면 근전도를 이용해서 발화 의도를 인식하는 기술을 '무성 음성인식'이라고 한다, 기존 무성 음성인식 연구는 VR 적용을 고려하지 않았기 때문에 입 주변에 전극을 부착한다.

VR 헤드셋에 부착한 전극은 입에서 거리가 상대적으로 멀기 때문에 인식 정확도가 떨어지지만, 임 교수팀은 이 문제를 새로운 데이터 증강기술을 적용한 딥러닝 알고리즘으로 해결했다. 

연구팀은 VR 환경설정에 많이 쓰이는 6개의 명령어를 실시간으로 분류하는 시스템을 구현한 뒤, 20명의 피실험자를 대상으로 시스템 인식률을 평가했다. 그 결과 평균 인식률 92.53%의 높은 정확도로 무성 발화를 인식할 수 있었다. 

임 교수는 "사용자가 우리 시스템에 익숙해지면서 인식률이 높아지는 현상을 관찰할 수 있었다"며 "기존 VR 헤드셋에 패드만 교체하는 방식으로 쉽게 적용할 수 있으며, 더 많은 명령어를 추가할 수도 있어 상용화에 용이할 것"이라고 말했다. 

한편, 이번 연구는 삼성전자 미래기술육성센터, 한국연구재단 중견연구자지원사업, 정보통신기획평가원의 인공지능대학원지원사업의 지원을 받아 수행됐다.