[인터뷰] 네이버스포츠에서 본 그 명장면, AI가 찾아냈습니다

네이버스포츠는 일별 억단위 페이지뷰를 기록하는 인기 서비스다. 끊임없이 제공되는 야구·축구·골프 등 종목별 생중계·녹화(VOD) 영상이 인기의 비결이다. 그 뒤에는 몇시간짜리 경기 영상에서 홈런·득점·타구 등 이용자들에게 짜릿함을 선사하는 명장면을 귀신같이 찾아 보여주는 인공지능(AI) 기술과, 이 AI를 정교하게 학습시킨 개발자들이 있다. 이 AI개발팀을 이끌고 있는 강경진 네이버 스포츠플랫폼 리더를 인터뷰했다. 다음은 일문일답.
 

강경진 네이버 스포츠플랫폼 리더 [사진=네이버 제공]

Q. 네이버 스포츠 이용자 규모는?

"네이버 스포츠는 네이버 포털의 서비스 중에서도 평소에 일일 수천만 페이지뷰를 유지하는 대형 서비스다. 정규 시즌이나 국제경기같은 이벤트가 있을 땐 억단위까지 간다. 다만 코로나19 확산 이후 스포츠 업계 전체가 리그를 중단하거나 무관중 경기를 하면서 어려워진 상황이고, 스포스 서비스도 그 어려움을 함께 겪고 있다."

Q. AI를 어떻게 활용하고 있나?

관련기사

• 토트넘vs바이에른 뮌헨 중계 일정·UEFA 예상선발은? #네이버스포츠 #아프리카TV
• 손흥민·케인 없는 토트넘, 아약스와 4강 1차전…온라인 중계는 '네이버스포츠'

"지상파·케이블 방송사와 제휴해서 송출된 스포츠 중계영상을 가공해 보여주고 있다. 주요 장면을 편집해 하이라이트 영상으로 만든다든지. 프로야구를 예로 들면 한 시즌 끝난 뒤 경기 장면을 편집할 때 사람이 수작업으로 5분 이내 영상 하나를 만들면 득점장면 같은 걸 일일이 찾고 앞뒤로 편집점 잡고 하면서 경기종료 기준 30분내외로 걸린다. AI로는 3분이면 된다."

Q. 서비스에 처음 AI가 쓰인 형태는?

"프로야구(KBO) 생중계 부분에 '타임머신' 기능을 넣은 게 시작이었다. 생중계 경기를 30분, 1시간씩 과거로 되돌려 보는 거다. 화장실 다녀왔더니 '0대0'이었던 점수가 '4대0'이 돼 있으면 결정적인 장면을 찾기 위해 돌려보지 않나. 그냥 되돌려보는 기능은 유튜브에도 있지만, 우리는 '홈런'같은 장면이 나오면 그걸 이벤트로 인식하고 바로 찾을 수 있게 만들었다."

Q. 기반기술 개발 과정이 궁금하다.

"KBO 경기의 투구 자세 인식 AI모델같은 게 있다. 공개된 모델이 있었는데 인식률이 낮았다. 정확도를 높이기 위해 룰 기반 자체 알고리즘을 적용했다. 투수, 타자, 심판 위치에 따라 특정 시점을 투구로 판정하는 방식을 더한 것이다. 경기 중계 카메라가 2루 위치에서 1루를 바라보는 각도로 1루에 심판이 있는 장면 속에서 투수와 타자의 발 위치가 어떻게 되는지 등을 모델이 알아볼 수 있게 했다. 모델 학습에는 텐서플로(TensorFlow)같은 공개 프레임워크를 활용했다."

Q. AI기술을 적용한지 얼마나 됐나?

"아직 만 3년이 안 됐다. 프로야구 생중계 창에 홈런 발생 시점을 마킹하는 것 같은 기능은 2018년 11월께 스포츠 서비스의 PC 웹 버전에 처음으로 적용했다. 이후 2019년 8월경 경기에서 선발투수 상대로 득점한 장면만 모은 VOD 서비스에도 추가로 적용했다. 그해 11월에는 홈런 말고도 다른 유형의 득점 장면까지 찾아서 볼 수 있게 했다."

Q. 야구 외에 AI가 쓰인 다른 종목은?

"작년부터 AI기술 접목할 종목을 적극 확대했다. 야구 외에 네이버 스포츠에서 비중이 좀 큰 축구(K리그2)와 골프 쪽으로. 생중계 서비스 기능에 축구 득점 장면 찾는 기능을 적용했다. 한국뿐아니라 프리미어리그와 챔피언스리그같은 해외 축구 경기도 지원한다. 골프 쪽은 시범 적용 단계다. 라운드·선수·홀 별로 '티샷(시작타)' 스윙만 볼 수 있게 한 것이 있다."

Q. 서비스 운영자에게 유용한 기능은?

"스포츠 서비스에 '마이팀'이라는 페이지가 있다. 생중계 영상을 목록으로 표시할 때 썸네일(표출되는 이미지)을 1분마다 자동 추출해 준다. 원본에는 생중계 영상에서 광고를 송출하고 있을 때가 있는데, 그러면 이용자가 그 영상을 봐도 무슨 종목 경기인지 알 수 없는 문제가 있다. 그 광고 부분만 인식해 제거해 주는 기능을 작년에 적용했다."

Q. 생중계 이후에는 어떻게 활용되나?

"KBO 경기가 끝나면 3분 이내에 전체 영상이 만들어진다. 그와 동시에 몇 회에 어떤 선수가 첫 타구를 했는지도 바로 찾아볼 수 있게 된다. 큰 덩어리의 전체 영상 중 각 회차별 하이라이트, 타구 시점 등을 찾아볼 수 있게 된다. K리그2 축구 역시 마찬가지로 3분 이내에 생성되는 영상이 있고, 각 경기에서 골 터지는 부분만 모아서 또 영상화가 된다."

Q. 인간 편집자의 역할은 필요 없나?

"아니다. AI가 다루는 건 정형화된 형태의 편집영상이다. 이런 쪽 업무를 AI에 넘겨주고 인간 편집자는 좀 더 의미있는 기획성 영상을 내보내는 것이 장기적으로는 맞다는 게 중계서비스 운영부서 차원의 판단이다. 기획영상 제작은 지금 다른 조직에서 맡고 있는데, AI로 자동화하기 어려운 재미있는 요소들을 다루고 있다."

Q. 어떤 유형의 AI인식 기술이 쓰였나?

"컴퓨터 비전 기술이 송출 화면의 방송사 스코어보드(그래픽으로 입힌 점수표), 각 종목의 '공'과 야구의 투수, 축구의 득점자, 골프의 라운드별 선수나 홀 번호 등을 인식하는 데 쓰였다. 그리고 인식된 선수의 동작 중 어떤 것은 투구, 어떤 것은 수비, 어떤 것은 퍼팅·스윙인지 알아보는 액션 인식 기술이 쓰였다. 또 야구나 축구에선 투구장면, 중간광고, 리플레이장면, 광고장면 등을 인식하고 분류하는 장면 분류 기술이 적용됐다. 실시간 생중계 화면에서 빠르게 인식할 수 있도록 AI를 학습시키는 데이터로 스코어보드 이미지 2만장, 장면 분류 이미지 3만장, 광고썸네일 제거 이미지 1만장을 활용했다."

Q. AI가 분석하는 데이터의 규모는?

"생중계 경기의 초당 30프레임(fps)인 스트리밍 영상에서 1080×720 픽셀 해상도 이미지를 초당 8장 정도 실시간 캡처한다. 작년 포스트시즌 KBO 영상의 경우 한 경기가 대략 200여분이었다고 가정하면 경기당 9만6000개 이미지를 다루는 셈이다. 올해 시즌 개막하면서 하루에 경기가 5번 열린다면 매일 실시간으로 48만장의 이미지를 분석하게 된다."

Q. 아직 보완해야 할 부분이 있는지?

"AI가 투수의 투구동작 자체는 거의 100% 인식한다. 그런데 호수비(好守備·nice catch) 판정에 난관이 있다. 보편적인 호수비(요소)가 있긴 한데 그 쪽(판정) 품질이 개선돼야 한다. 수비수의 동작에 관절 분석을 적용해 정확도를 높이는 방법을 검토하고 있다. 화면에서 수비수는 일반적으로 크게 안 잡혀서 확실한 방법은 아니다. 앵커나 해설자의 중계 발언에서 '환상적인 호수비가 나왔다'와 같은 말이 나왔을 때 오디오 음성인식, 화자인식을 함께 적용하는 방법을 연구하고 있다."

Q. 지금 준비 중인 신기능이 있다면?

"야구중계시 풀 영상으로 타석별 보기 기능만 지원했는데 앞으로는 '기록' 탭을 눌렀을 때 '양의지 시즌 1호 홈런'같은 주요 장면으로 '바로가기'를 확장할 수 있게 할 예정이다. 생중계 영상의 썸네일 생성도 고도화한다. 지금은 장면분류 기술로 광고만 안 나오게 하고 있는데, 골프장의 언덕을 비추는 등 장면도 배제하는 식으로 종목에 더 특화시킬 계획이다. 욕심을 더 부리자면 동작 인식을 넘어서 '동작 예측'을 하는 거다. 특정선수 움직임을 조합해서 앞으로 경기 중 득점할 확률을 보여 준다든지 그런 효과도 넣고 싶다."

Q. AI를 다른 종목에도 확대 적용할 건가?

"올해는 야구, 축구, 골프, 3개 종목을 더 고도화하는 데 집중하려고 한다. 야구의 호수비 인식률을 사람처럼 높이는 것, K리그2 축구 경기의 '선수 추적(player tracking)' 신기능을 구현하는 것이 목표다. 경기장 내 공격수의 움직임에 그래픽 효과를 입혀서 이용자들이 크게 볼 수 있도록 만들고 싶다."

Q. 궁극적인 기술 고도화 방향은?

"네이버는 KBO같은 경기의 영상을 제작할 권리가 없고 중계할 권리만 있다. 그래서 송출 영상을 써야 하는데, 그 안에 경기와 별개인 아나운서·앵커·관중 등의 출연 장면이나 광고 등이 끼어 있다. 우리는 여기서 가치를 만들어내야 한다. AI 기술로 제휴 콘텐츠에서 순수한 경기영상 부분만 추출해 이용자에게 생중계·VOD 서비스로 제공하는 것이 최종 목표다."

Q. 더 하고 싶은 말은?

"AI 관련 실무를 맡고 있는 팀원 4명(백준봉, 문훈목, 이동호, 박상근)에게 감사를 드린다. 이들이 AI 분야의 기술력을 확보하고 서비스에 적용해 안정적으로 운영까지, 3박자를 갖춰 완성도를 높여 줬다. 또 전사 동영상플랫폼 및 CDN 기술팀 등 사내 플랫폼 담당자들과, 중계권을 확보해 준 스포츠제휴업무 부서 담당자들에게도 감사하다는 말씀 드리고 싶다."
 

네이버스포츠 서비스의 야구, 축구, 골프 경기 중계에 적용된 컴퓨터비전 기술. [자료=네이버]