유회준 KAIST 전기및전자공학부 교수 연구팀이 생성적 적대 신경망(GAN: Generative Adversarial Network)을 적은 전력으로도 효율적으로 처리하는 차세대 인공지능(AI) 반도체를 개발했다고 6일 밝혔다.

연구팀이 개발한 AI 반도체는 다중-심층 신경망을 처리할 수 있고, 이를 저전력의 모바일 기기에서도 학습할 수 있다. 연구팀은 이번 반도체 칩 개발을 통해 이미지 합성, 스타일 변환, 손상 이미지 복원 등의 생성형 AI 기술을 모바일 기기에서 구현하는 데 성공했다.
 
기존에 많이 연구된 AI 기술인 분류형 모델은 주어진 질문에 답을 하도록 학습된 AI 모델로, 물체 인식 및 추적, 음성인식, 얼굴인식 등에 활용된다.

이와 달리 생성적 적대 신경망(GAN)은 새로운 이미지를 생성·재생성할 수 있어 이미지 스타일 변환, 영상 합성, 손상된 이미지 복원 등 광범위한 분야에 활용할 수 있다. 또한 모바일 기기에서 영상·이미지 내 사용자의 얼굴 합성에도 이용할 수 있어 학계뿐만 아니라 산업계에서도 주목하고 있다.

하지만 생성적 적대 신경망은 기존의 딥러닝 기술과 달리 여러 개의 심층 신경망으로 이루어진 구조로, 개별 심층 신경망마다 다른 기능을 요구한다. 또한, 고해상도 이미지를 생성하려면 기존 심층 신경망 모델보다 수십 배 많은 연산량을 요구한다. 즉, 적대적 생성 신경망은 연산 능력이 제한적이고 사용되는 메모리가 작은 모바일 기기에선 구현하기 힘들었다.

최근 모바일 기기에서 AI 모델을 실행할 수 있도록 다양한 AI 반도체가 등장했지만, 대부분 추론(실행)이나 단일-심층 신경망 학습에만 이용할 수 있었다.

연구팀은 단일-심층 신경망뿐만 아니라 생성적 적대 신경망과 같은 다중-심층 신경망을 처리할 수 있으면서 모바일에서 학습이 가능한 AI 반도체 GANPU(Generative Adversarial Networks Processing Unit)를 개발해 모바일 장치의 AI 활용범위를 넓혔다.

연구팀이 개발한 AI 반도체는 서버로 데이터를 보내지 않고 모바일 장치에서 생성적 적대 신경망(GAN)을 구현할 수 있어 사생활 보호에도 많은 도움이 된다.

모바일 기기에서 저전력으로 다중-심층 신경망을 구현하려면 다양한 핵심 기술이 필요하다. 연구팀은 △적응형 워크로드 할당 △입출력 희소성 활용 극대화 △지수부만을 사용한 0 패턴 추측 등 세 가지 핵심 기술을 개발해 AI 반도체 제작에 활용했다.

이를 통해 연구팀의 GANPU는 기존 심층 신경망 학습 반도체 대비 4.8배 우수한 에너지효율을 달성했다.

연구팀은 GANPU의 활용 예시로 태블릿 카메라로 찍은 사진을 사용자가 직접 수정할 수 있는 응용 기술을 시연했다. 사진상의 얼굴에서 머리·안경·눈썹 등 17가지 특징에 대해 추가·삭제 및 수정사항을 입력하면 GANPU가 실시간으로 이를 자동으로 완성하는 얼굴 수정 시스템을 개발했다.

유회준 교수는 "이번 연구는 하나의 칩에서 추론뿐만 아니라 학습까지 모두 가능해 여러 개의 딥러닝 네트워크를 동시에 지원하는 AI 반도체를 개발했다는 점에서 의미가 있다"며 "모바일 기기에서의 AI 활용 영역을 크게 넓혀 향후 이미지 스타일 변환, 영상 합성, 이미지 복원 등 GAN과 관련된 앱에 다양하게 활용될 것"이라고 말했다.