카카오브레인은 얼굴 이미지를 벡터로 표현하는 기능인 아이덴티티 임베딩을 향상한 신규 페이스 스와핑(얼굴 바꾸기) 기술 '스무스-스왑(Smooth-Swap)' 모델을 개발했다고 9일 밝혔다.

페이스 스와핑 기술은 사용자들이 틱톡·스냅챗 등 소셜미디어에서 본인의 얼굴을 촬영한 뒤, 촬영된 얼굴을 다른 얼굴로 바꾸는데 흔히 쓰이는 기술이다. 이번 스무스-스왑 모델은 단순화된 아키텍처로 구성돼 기존 기술 대비 더 빠르고 안정적인 페이스 스와핑을 돕는다. 특히, 현존하는 페이스 스와핑 시스템 모듈을 하나의 통합된 아이덴티티 임베더로 대체함으로써 복잡도를 대폭 줄였다는 게 카카오브레인의 설명이다.

카카오브레인은 페이스 스와핑 관련 연구 성과를 담은 논문(Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness)을 내달 열리는 세계 학술대회 CVPR 2022 구두(오럴) 세션에서 발표할 예정이다. 지난해에 이어 2년 연속 오럴 세션 발표 기회를 확보한 성과다. 앞서 작년 CVPR에서는 사물간 상호작용을 이해하는 모델의 개발 논문(HOTR: End-to-End Human-Object Interaction Detection with Transformers)을 발표했다. 작년의 경우 상위 4%의 성적을 거둔 논문에만 CVPR 오럴 세션 발표 기회가 주어졌다.

오럴 세션 발표는 채택된 논문(총 8161편 제출, 채택 비율 25.33%) 중 소수만 가능하다. 카카오브레인 측은 "오럴 세션에서 단독 논문 발표는 기업의 기술력이 우수함을 방증하는 자리"라며 "이번 연구 성과는 페이스 스와핑 아키텍처의 복잡성을 크게 줄이는 데 성공했을 뿐만 아니라, 기술 상용화를 위한 높은 잠재력을 보여줬다는 점에서 의미가 크다"고 강조했다.

카카오브레인에 따르면, 자연스러운 얼굴 바꾸기 기술 구현을 위해 기존 모델들은 3차원(3D) 얼굴 모델링을 비롯한 여러 요소들을 모델에 적용한다. 이 과정에서 모델의 아키텍처가 복잡해져 정교한 초매개 변수 조정이 추가로 요구된다. 이러한 한계를 극복하기 위해 카카오브레인은 새 요소를 추가하는 대신, 하나의 통합된 아이덴티티 임베더를 구축하고, 일관된 아이덴티티 그래디언트를 확보해 자연스러운 페이스 스와핑이 가능하도록 했다.

또한 스무스-스왑은 영상 속 움직이는 얼굴도 페이스 스와핑이 가능하다. 차별화된 아이덴티티 임베딩 접근 방식을 통해 대상의 얼굴 형태를 변경해도 고품질의 이미지를 생성할 수 있다는 설명이다. 카카오브레인은 이번 모델로 향후 가상 인플루언서, 쇼호스트, 아나운서 등 여러 직업군의 디지털 휴먼을 개발할 수 있을 것으로 기대했다.

김일두 카카오브레인 대표는 "이번 모델을 세상에 공개하게 돼 매우 기쁘다"며 "페이스 스와핑 기술 분야의 혁신을 가속화해 항상 꿈꿔왔던 메타버스와 미래의 디지털 휴먼 서비스를 구현하는 데 기여할 수 있을 것"으로 말했다.