엔씨소프트(NC)가 하반기 자체 초거대 언어모델(LLM)을 축으로 인공지능(AI) 시장에서 입지를 강화하겠다는 의지를 드러냈다. 수년 전부터 AI 조직을 설립하는 등 AI 연구에 공을 들인 NC는 챗GPT로 인해 초거대 AI가 화두로 떠오른 올해 본격적으로 연구 성과를 속속 공개하고 있다. 특히 올 하반기 자체 개발한 LLM을 본격적으로 활용해 그간 역점을 뒀던 '디지털 휴먼(가상인간)' 고도화에 박차를 가할 방침이다.

NC의 AI 연구개발(R&D)을 이끌고 있는 이제희 최고연구책임자(CRO)는 최근 판교 사옥에서 아주경제와 인터뷰하면서 "정말 사람처럼 상호작용하는 '디지털 휴먼'을 만들고자 한다"며 "디지털 휴먼을 통해 앞으로 많은 것을 할 수 있다고 본다"고 말했다. 디지털 휴먼이란 인간과 유사한 형태에 움직임, 목소리 등을 본떠 실제 존재하는 사람처럼 가상공간에 구현된 개체를 일컫는다.

2022년부터 NC에 몸담고 있는 이제희 CRO는 2003년부터 서울대 컴퓨터공학부 교수로 재직하며 컴퓨터 그래픽스와 애니메이션 분야를 연구해 왔다. 물리 기반 동작 제어, 데이터 기반 동작 학습·생성, 사실적 인체 모델링 분야에서 세계적인 연구 결과를 꾸준히 발표했다. NC는 '디지털 휴먼' 등 R&D 역량을 더욱 끌어올리기 위해 이 CRO를 전격 영입했다.
  NC는 국내 게임사 중 손꼽힐 정도로 일찌감치 AI 시대에 대비해 왔다. 2011년 2월 국내 게임사 중 최초로 AI 연구 조직을 신설했고 2015년 산하에 자연어처리(NLP)팀을 신설해 한국어 문장을 이해하고 구사할 수 있는 AI를 만들었다. 이후 게임·비게임을 가리지 않고 다양한 분야에 AI를 활용한 서비스를 접목하고 있다.

NC는 디지털 휴먼이 미래 게임 시장 판도를 뒤흔들 뿐만 아니라 서비스 전반을 향상시킬 수 있다고 보고 있다. 김택진 NC 대표는 이미 2020년 게임산업을 '디지털 액터'를 만드는 산업으로 정의하며 향후 디지털 휴먼 관련 기술이 미래 성장동력이 될 것이라고 예측한 바 있다. 이제희 CRO는 "제가 올 때 김택진 대표는 딱 하나를 요청했다"며 "디지털 휴먼을 만들어야 한다는 것"이라고 말했다.

이 CRO가 NC에 입사하기 이전에도 NC는 각 부서에서 다양한 방면으로 AI를 연구해 왔다. 다만 그가 온 이후로 NC의 AI 연구는 디지털 휴먼 역량을 끌어올리는 데 보다 집중됐다. 이 CRO는 "기존에 NC 내에 존재하던 여러 조직들에 공통 목표를 가지고 함께 (디지털 휴먼을) 만들자고 얘기했다"며 "그전에 뿔뿔이 흩어져 있던 조직들을 전부 모아 한 그룹에서 실질적으로 같이 일할 수 있도록 한 것"이라고 설명했다.
  연구에 대한 중간 성과는 지난 3월 세계 최대 게임 개발자 행사인 'GDC 2023'에서 소개한 '디지털 김택진'과 '프로젝트M'을 통해 외부에 공개됐다. '디지털 김택진'은 김택진 대표를 디지털 휴먼으로 구현한 것으로 평소 김 대표 표정은 물론 목소리와 말투까지 동일하게 재현했다. 프로젝트M은 현재 개발 중인 게임으로 인터랙티브 요소에 기반을 둔 액션 어드벤처 게임이다. 실사 수준인 고품질 그래픽과 이용자 선택에 따라 변화하는 스토리 등이 특징이다. 이들을 전격 공개하면서 NC의 높은 AI 기술력이 전 세계에서 주목받았다.

NC는 '디지털 김택진'을 구현하는 과정에서 AI 음성 합성인 'TTS', 대사에 따라 상황에 맞는 얼굴 애니메이션을 자동 생성하는 '보이스 투 페이스' 등 여러 기술을 적용했다. 여기에 김 대표가 나온 사진과 영상 등을 활용했고 목소리도 직접 녹음했는데 이 과정에서 최소한의 데이터로 최대한의 효율을 내고자 했다. 이 CRO는 "TTS를 제대로 구현하려면 몇 시간 동안 녹음을 해야 하는데 현실적으로 그만한 시간을 내기는 어렵다"며 "2~3분 정도 녹음 분량을 마련하고 이를 토대로 어떤 준비된 텍스트든 자연스럽게 읽을 수 있도록 했다"고 말했다.

이렇듯 작업 효율성을 높임으로써 장기적으로 다양한 디지털 휴먼을 빠르게 만드는 것이 목표다. 그는 "지금은 아주 사실적인 캐릭터를 구현하는 데 4~6개월 걸리는데 게임에 인물이 수십~수백 명 나오는 것을 감안하면 개발 기간을 단축할 필요가 있다"며 "특정한 목소리와 어투, 생김새 등을 갖춘 디지털 휴먼을 하루 만에 만들 수 있도록 하는 것이 목표"라고 말했다.

이러한 연구 성과를 보여줄 게임인 '프로젝트M'은 2~3년 전부터 개발을 시작했다. 올해 프로젝트M 내에 구현되는 디지털 휴먼의 각종 표정, 움직임 등을 구현하는 데이터를 완성하고 기본적인 시나리오 작업을 완료하는 것이 목표다. 이후 내년 본격적인 게임 제작에 돌입하겠다는 계획이다.
  NC는 디지털 휴먼을 통해 일차적으로 게이머들의 게임에 대한 몰입감을 높이고자 했다. 실제 사람에 준하는 정도로 상호작용을 할 수 있는 고도화된 디지털 휴먼을 통해 보다 재미있는 게임을 만들 수 있을 것으로 봤다. 이 CRO는 "수개월 동안 같이 게임을 한 동반자였거나 죽도로 싸워서 화가 난 상대방이 있었는데 알고 보니 그것이 AI NPC(조종할 수 없는 게임 캐릭터)였더라는, 그 정도 NPC를 만드는 것을 생각하고 있다"며 "사람과 같이 게임을 하면 더 재미있는 것은 보다 깊이 있는 상호작용이 가능하기 때문인데 디지털 휴먼과도 이를 가능하도록 하는 것이 목표"라고 말했다.

이에 단순히 인간 모습을 구현하는 것을 넘어 실제 인간처럼 말하고 행동할 수 있도록 하는 것이 필요했다. 그래픽스(graphics), 스피치, 자연어처리, 데이터마이닝 등 다양한 AI 기술이 총동원됐다. 이 CRO는 "진짜 사람이라면 남들 대화에 끼어들 수도 있어야 하고, 질문을 받았을 때 대답만 하는 게 아니라 반대로 다른 이야기를 먼저 꺼낼 수도 있어야 한다"며 "연구가 진척될 때마다 점점 더 사람에 근접할 것이고 이를 위해서는 결국 관련 연구 분야 대부분이 요구된다"고 말했다. 그 과정에서 자연스럽게 여러 기술들에 대한 연구를 진척할 수 있었다는 설명이다.
  초거대 AI에 대한 연구도 지속해 왔다. 이 역시 지향점은 디지털 휴먼 고도화다. NC는 15억개 파라미터(매개변수)를 가진 언어모델을 이달 공개했다. 이후 오는 8월 70억개, 9월 520억개 파라미터 언어모델을 선보인 후 연말 최대 1750억개 파라미터로 이뤄진 LLM을 사내에 적용하는 것이 목표다. NC는 오픈AI의 GPT, 구글의 팜(PaLM) 등 범용 LLM을 게임에 그대로 적용하기에는 무리가 있다고 보고 자체 연구를 진행했다. 이는 궁극적으로 디지털 휴먼의 '두뇌' 역할을 하게 된다.

이 CRO는 "가령 게임 채팅 번역만 봐도 온갖 게임 용어들과 약자들이 넘쳐나기 때문에 일반적인 번역과는 다른 데이터가 요구된다"며 "그런 점에서 특정한 업체가 AI 기술에 관한 모든 것을 독점할 수는 없다고 보고 각 업체들이 각자 특화된 형태로 기술을 개발할 수 있다고 본다"고 말했다. 그는 또 "게임 내에서도 여행·경제·금융 등 다양한 얘기를 할 수 있지 않겠느냐"며 "게임에 특화됐다고 해도 생각보다는 학습 범위가 폭넓은 편"이라고 덧붙였다.

멀티모달 관련 연구에도 집중하고 있다. 멀티모달 AI는 텍스트뿐만 아니라 이미지·영상·음성 등 다양한 형태의 정보를 이해할 수 있는데 디지털 휴먼 고도화에는 필수적이다. NLP센터 내에는 멀티모달 AI 연구를 수행하는 '컨버세이션 AI TF' 조직도 있다. 이 CRO는 "시각적 데이터와 음성 데이터 등을 포괄적으로 판단해서 그에 대해 적절한 대답을 하는 것은 물론 적절한 표정·몸짓 등을 모두 구현하는 것을 지향한다"고 언급했다.

이 CRO가 AI와 디지털 휴먼 고도화를 통해 또 기대하는 것은 게임 개발 비용 절감이다. 여기에는 시간적·금전적 비용이 모두 포함된다. 그는 "인터랙티브 드라마 게임을 만든다고 생각하면 제작 비용은 그 캐릭터의 인텔리전스(지능)에 비례한다"며 "사람처럼 스마트한 캐릭터가 존재하면 마치 실제 배우를 데리고 영화를 찍듯이 간단한 상호작용만으로 지시할 수 있다"고 말했다. 이와 함께 개발에 들이는 시간도 단축할 수 있고, 이를 토대로 더욱 많은 게임이 출시될 수 있다고 그는 전망했다. NC는 하반기 중 사내에 본격적으로 AI 플랫폼을 적용하고 AI를 게임 제작에 적극 활용할 계획이다.
  이 CRO는 앞으로 NC의 AI 기술이 게임뿐 아니라 다양한 분야에 활용될 수 있다고 봤다. 대표적으로 AI를 활용해 주식·비트코인 투자를 하는 AI 트레이딩 시스템을 사례로 들었다. 이 CRO는 "실제 챗GPT 등 생성 AI에 어떤 뉴스가 특정 주식에 미치는 영향에 대해 질문하면 굉장히 적중률이 높다"며 "과거에 이와 비슷한 뉴스가 나왔을 때 해당 업체 주가가 어떻게 변동해 왔는지 등 여러 데이터들에 대한 관계를 끊임없이 살펴볼 수 있기 때문"이라고 말했다. 이에 그는 이러한 투자 영역에서 AI 비중이 빠르게 커질 것으로 관측한다. NC는 2020년 300억원을 핀테크 업체인 디셈버앤컴퍼니자산운용에 투자해 AI 간편투자 증권사를 운영하는 합작법인을 설립한 바 있다.
  차량용 인포테인먼트(IVI) 역시 주목하는 시장이다. IVI는 운전자들을 위한 다양한 정보와 엔터테인먼트를 제공하는데 장기적으로 여기에 디지털 휴먼을 접목해 가상 비서 역할을 할 수 있다고 보고 있다. NC는 이달 초 연합뉴스·드림에이스와 '차량용 AI 뉴스 솔루션' 개발을 위한 업무협약을 체결하고 현재 개발 중인 LLM을 해당 솔루션에 접목할 계획이다. AI가 운전자에게 개인화된 뉴스 콘텐츠를 실시간으로 제공하고 자체적으로 구어체로 뉴스를 요약해 주는 것이 골자다. 이 CRO는 "이처럼 디지털 휴먼 관련 기술을 다양한 형태로 변주할 수 있다"고 설명했다.

이렇듯 NC에 입사한 이후 초거대 AI 연구에 매진하던 이 CRO에게 챗GPT로 인한 생성 AI의 급부상은 호재다. 회사 차원에서 AI에 대한 투자를 지속했지만 사실 사내에서 지속된 투자에 대한 의문은 계속 제기됐다. 하지만 챗GPT 열풍이 불면서 AI에 대한 관심이 사내에서도 커지고 있다. 이 CRO는 "예전부터 게임사에서는 '기술이 돈 벌어주는 게 아니다'는 얘기가 늘상 입에 붙어 있었는데 이제 게임사에서도 '기술이 미래다'라는 생각을 하게 되는 것"이라고 강조했다.