언어 및 영상 데이터 처리 분야에서 '자기지도학습'이 가능한 인공지능(AI) 기술이 빠르게 발전하고 있다. 사람의 지도 없이 대규모 데이터를 학습해 활용하는 AI의 실용화 가능성이 커지고 있다.
정보통신기획평가원(IITP)은 최근 AI 분야 기술의 주요 동향을 다룬 '인공지능 기술 청사진 2030' 보고서를 발간했다. 보고서에 제시된 21가지 분야 기술 가운데 언어·영상 지능을 결합한 AI의 발전을 가속화하는 기술로 자기지도학습이 꼽혔다.
보고서에 따르면 자기지도학습은 기계가 사람의 지능이나 지식으로 학습하는 대신, 기계 스스로 대상을 인지하고 의미를 부여하는 학습 기술이다. 학습 데이터에서 알려지지 않은 규칙과 정의를 스스로 발견하고 분류를 지정하는 방식을 수행하는 것이다. 새로운 학습데이터의 정제, 자연어 학습, 이미지 복원 분야에서 많이 사용된다.
자기지도학습 기술은 문제 해결 방법에 있어서 새로운 문제와 방향을 스스로 인지해 가설과 검증의 생성 등 문제의 해결방법을 스스로 주도하는 AI로 확장 가능하다. 세부적으로 비지도 기반 특징점(feature) 학습, 시각·상식적 추론(Reasoning from Commonsense), 도메인 확장 전이학습(Domain&Knowledge Transfer) 등으로 나뉜다.
학습데이터 정제는 데이터의 특징 정보를 군집화하고 이들이 가지고 있는 부분 특징을 조합해 인식 대상으로 지정하는 기술이다. 예를 들어 AI가 '얼룩이 있는 말'을 군집화하니 둘로 나뉘었다면, 한 쪽은 보통의 말이고 다른 쪽은 목이 긴 새로운 종류가 된다. 이 목이 긴 동물의 특징이 '기린'과 일치하는 것으로 판단돼 이 종을 기린으로 명명하게 된다.
자연어 학습 분야에선 AI가 무작위로 수많은 언어 데이터를 입력받아 단어나 문자 간의 상관관계를 학습할 수 있다. 이 때 오타가 있는 표현도 사람처럼 감내하고 인식하거나 질문의 형태를 인식할 수 있다. 이는 어순이나 불완전한 문장 등 자연어 인식에서 어려웠던 부분을 스스로 학습할 수 있는 방식으로 자기지도학습의 대표적인 활용례가 되고 있다.
이미지 복원 분야에선 하나의 영상을 조각으로 나누고 섞었을 때 각 조각 옆에 위치할 조각을 찾는 문제를 푸는 AI가 널리 활용되고 있다. 손상된 이미지를 복원하거나 주변부의 특징과 맞는 영상을 생성하는 분야에 활용되는 AI는 이미지의 조각이 갖는 연관성을 스스로 찾도록 만들어졌다. 사람이 지정하지 않아도 스스로 주위에 어울리는 상관관계를 학습한다.
자기지도학습 방식을 활용한 언어 AI 분야에서 기술을 주도하고 있다고 평가된 AI모델 버트(BERT)는 지난 2018년 11월 구글이 공개했다. 이를 통해 기존 구문분석과 목적에 따른 학습 대신, 언어 데이터를 대규모로 모아 특징을 스스로 학습한 이후 목적에 맞게 재학습하는 방식이 제시됐다. 다만 거대한 메모리와 GPU 연산량이 필요해 실용성의 한계를 맞았다.
알버트(ALBERT)와 디스틸버트(DistilBERT) 등은 버트 모델을 경량화한 것이다. 디스틸버트는 모델 크기를 버트의 40%로 줄이면서 성능 97%를 유지했다. 한국어 분야에선 한국전자통신연구원(ETRI)이 개발한 '한국어 버트(KorBERT)'와 SK텔레콤이 개발한 '코버트(KoBERT)'가 주로 사용되고 있다. ETRI의 모델은 오픈API 형태로 서비스돼 기술적 접근성이 높다.
자기지도학습 방식을 활용한 시각 AI 기술은 사물검출, 사물분류 등 전통적인 컴퓨터비전 문제 해결에 활용되고 있다. '이미지 인페인팅' 분야에서 지도학습 없이 주변과 이질성이 낮은 이미지를 추천하는 기술이 연구됐다.
2020년 이후 연구는 컴퓨터 비전 분야의 다양한 문제에 자기지도학습 기술이 융합되고 있다. 자가집중(self attention) 및 전이학습기술과의 융합연구가 진행되고 있다. CVPR 2020에서 발표된 페이스북 AI 연구소 팀의 'MoCo(Momentum Contrast)'는 Detection, Segmentation 분야에서 뛰어난 결과를 보였다.
컴퓨터 비전 분야의 자기지도학습은 지도학습과 아직 성능 차이가 있지만 이 격차를 줄이며 빠르게 성장하고 있는 것으로 평가됐다. 올해 개발된 MoCo v2, SimCLR v2 등이 자기지도학습의 한 방법인 'Contrastive Learning' 기반 네트워크의 발전된 사례로 소개됐다.
IITP 보고서는 언어와 시각 AI 모델을 결합해 지식을 증강하는 분야 연구가 추진되고 있다고 소개했다. 실제 언어적 관계를 통해 시각적 정보를 보강하는 연구가 추진되고 있다는 설명이다. 상식 추론 분야에서 자연어와 이미지 데이터를 혼합하는 연구, 상호 보완적인 연구가 진행되고 있다.
시각적 상식 추론(VCR) 분야에서 질문에 대한 답변 근거를 제시하기 위해 자기지도학습 기술이 활용됐다. 작년 제안된 비디오버트(VideoBert)는 BERT 방식을 이용해 비디오와 언어를 융합, 자막생성 분야에 높은 성능을 보였다. 올해 빌버트(VILBert) 논문에선 Co-Attention Transformer 구조를 이용해 자연어와 이미지데이터를 혼합하는 기술을 제안했다.
보고서에 따르면 자기지도학습은 지도학습의 정확도를 달성하기 위한 방법으로 빠르게 발전하고 있지만 상용화 단계로 가기에 연구가 더 필요한 상황이다. 얀 르쿤 교수는 2018년 삼성AI포럼에서 자기지도학습이 미래의 먹거리이자 '리얼 AI'로 가기위해 발전해야 할 분야라고 지적했다.
자기지도학습 기술은 헬스케어 분야에서 로봇을 활용한 수술시 수술 대상의 깊이 정보를 추가 제공해 더 정교한 수술 등 수술능력 배양에 활용 가능하다. 이 기술은 달리고 있는 자율주행차가 주변 지형을 확인하고 물체와의 거리를 추정하는 분야에도 활용되고 있다. 이밖에 비행 드론 등 새로운 상황에 맞딱뜨릴 수 있는 기기의 AI 분야로 활용이 확대되고 있다.
이 분야에서 시장 선점을 위한 기업·학계 연구 개발이 추진되고 있다. 미국에선 구글 버트, 오픈AI GPT, 페이스북 MoCo, 유럽연합(EU)에선 Inria SOLARIS, 옥스포드대학교 Seebibyte, 중국에선 홍콩폴리텍대학교 HPM, 톈진대학교 NBD, 홍콩중문대학교 SSRL, 일본에선 나고야대학교 SSCR 등이 주요 프로젝트로 소개됐다. 코로나로 비대면 솔루션이 선호되며 챗봇 수요가 급증하고 있는 가운데, 국내·외 여러 챗봇 연구 기업(네이버, 카카오, 아마존)에서 이 방식을 응용한 연구를 진행하고 있다.
정보통신기획평가원(IITP)은 최근 AI 분야 기술의 주요 동향을 다룬 '인공지능 기술 청사진 2030' 보고서를 발간했다. 보고서에 제시된 21가지 분야 기술 가운데 언어·영상 지능을 결합한 AI의 발전을 가속화하는 기술로 자기지도학습이 꼽혔다.
보고서에 따르면 자기지도학습은 기계가 사람의 지능이나 지식으로 학습하는 대신, 기계 스스로 대상을 인지하고 의미를 부여하는 학습 기술이다. 학습 데이터에서 알려지지 않은 규칙과 정의를 스스로 발견하고 분류를 지정하는 방식을 수행하는 것이다. 새로운 학습데이터의 정제, 자연어 학습, 이미지 복원 분야에서 많이 사용된다.
자기지도학습 기술은 문제 해결 방법에 있어서 새로운 문제와 방향을 스스로 인지해 가설과 검증의 생성 등 문제의 해결방법을 스스로 주도하는 AI로 확장 가능하다. 세부적으로 비지도 기반 특징점(feature) 학습, 시각·상식적 추론(Reasoning from Commonsense), 도메인 확장 전이학습(Domain&Knowledge Transfer) 등으로 나뉜다.
이미지 확대
![자기지도학습이 가능한 AI 기술 개념도. [사진=IITP 인공지능 기술 청사진 2030 보고서]](https://image.ajunews.com/content/image/2020/12/29/20201229202523310222.jpg)
자기지도학습이 가능한 AI 기술 개념도. [사진=IITP 인공지능 기술 청사진 2030 보고서]
자연어 학습 분야에선 AI가 무작위로 수많은 언어 데이터를 입력받아 단어나 문자 간의 상관관계를 학습할 수 있다. 이 때 오타가 있는 표현도 사람처럼 감내하고 인식하거나 질문의 형태를 인식할 수 있다. 이는 어순이나 불완전한 문장 등 자연어 인식에서 어려웠던 부분을 스스로 학습할 수 있는 방식으로 자기지도학습의 대표적인 활용례가 되고 있다.
이미지 복원 분야에선 하나의 영상을 조각으로 나누고 섞었을 때 각 조각 옆에 위치할 조각을 찾는 문제를 푸는 AI가 널리 활용되고 있다. 손상된 이미지를 복원하거나 주변부의 특징과 맞는 영상을 생성하는 분야에 활용되는 AI는 이미지의 조각이 갖는 연관성을 스스로 찾도록 만들어졌다. 사람이 지정하지 않아도 스스로 주위에 어울리는 상관관계를 학습한다.
자기지도학습 방식을 활용한 언어 AI 분야에서 기술을 주도하고 있다고 평가된 AI모델 버트(BERT)는 지난 2018년 11월 구글이 공개했다. 이를 통해 기존 구문분석과 목적에 따른 학습 대신, 언어 데이터를 대규모로 모아 특징을 스스로 학습한 이후 목적에 맞게 재학습하는 방식이 제시됐다. 다만 거대한 메모리와 GPU 연산량이 필요해 실용성의 한계를 맞았다.
이미지 확대
![최근 언어모델의 파라미터 개수. [사진=IITP 인공지능 기술 청사진 2030 보고서]](https://image.ajunews.com/content/image/2020/12/29/20201229202635138918.jpg)
최근 언어모델의 파라미터 개수. [사진=IITP 인공지능 기술 청사진 2030 보고서]
알버트(ALBERT)와 디스틸버트(DistilBERT) 등은 버트 모델을 경량화한 것이다. 디스틸버트는 모델 크기를 버트의 40%로 줄이면서 성능 97%를 유지했다. 한국어 분야에선 한국전자통신연구원(ETRI)이 개발한 '한국어 버트(KorBERT)'와 SK텔레콤이 개발한 '코버트(KoBERT)'가 주로 사용되고 있다. ETRI의 모델은 오픈API 형태로 서비스돼 기술적 접근성이 높다.
자기지도학습 방식을 활용한 시각 AI 기술은 사물검출, 사물분류 등 전통적인 컴퓨터비전 문제 해결에 활용되고 있다. '이미지 인페인팅' 분야에서 지도학습 없이 주변과 이질성이 낮은 이미지를 추천하는 기술이 연구됐다.
2020년 이후 연구는 컴퓨터 비전 분야의 다양한 문제에 자기지도학습 기술이 융합되고 있다. 자가집중(self attention) 및 전이학습기술과의 융합연구가 진행되고 있다. CVPR 2020에서 발표된 페이스북 AI 연구소 팀의 'MoCo(Momentum Contrast)'는 Detection, Segmentation 분야에서 뛰어난 결과를 보였다.
컴퓨터 비전 분야의 자기지도학습은 지도학습과 아직 성능 차이가 있지만 이 격차를 줄이며 빠르게 성장하고 있는 것으로 평가됐다. 올해 개발된 MoCo v2, SimCLR v2 등이 자기지도학습의 한 방법인 'Contrastive Learning' 기반 네트워크의 발전된 사례로 소개됐다.
이미지 확대
![연도별 AI 발전전망 표. [사진=IITP 인공지능 기술 청사진 2030 보고서]](https://image.ajunews.com/content/image/2020/12/29/20201229202715553010.jpg)
연도별 AI 발전전망 표. [사진=IITP 인공지능 기술 청사진 2030 보고서]
IITP 보고서는 언어와 시각 AI 모델을 결합해 지식을 증강하는 분야 연구가 추진되고 있다고 소개했다. 실제 언어적 관계를 통해 시각적 정보를 보강하는 연구가 추진되고 있다는 설명이다. 상식 추론 분야에서 자연어와 이미지 데이터를 혼합하는 연구, 상호 보완적인 연구가 진행되고 있다.
시각적 상식 추론(VCR) 분야에서 질문에 대한 답변 근거를 제시하기 위해 자기지도학습 기술이 활용됐다. 작년 제안된 비디오버트(VideoBert)는 BERT 방식을 이용해 비디오와 언어를 융합, 자막생성 분야에 높은 성능을 보였다. 올해 빌버트(VILBert) 논문에선 Co-Attention Transformer 구조를 이용해 자연어와 이미지데이터를 혼합하는 기술을 제안했다.
보고서에 따르면 자기지도학습은 지도학습의 정확도를 달성하기 위한 방법으로 빠르게 발전하고 있지만 상용화 단계로 가기에 연구가 더 필요한 상황이다. 얀 르쿤 교수는 2018년 삼성AI포럼에서 자기지도학습이 미래의 먹거리이자 '리얼 AI'로 가기위해 발전해야 할 분야라고 지적했다.
자기지도학습 기술은 헬스케어 분야에서 로봇을 활용한 수술시 수술 대상의 깊이 정보를 추가 제공해 더 정교한 수술 등 수술능력 배양에 활용 가능하다. 이 기술은 달리고 있는 자율주행차가 주변 지형을 확인하고 물체와의 거리를 추정하는 분야에도 활용되고 있다. 이밖에 비행 드론 등 새로운 상황에 맞딱뜨릴 수 있는 기기의 AI 분야로 활용이 확대되고 있다.
이 분야에서 시장 선점을 위한 기업·학계 연구 개발이 추진되고 있다. 미국에선 구글 버트, 오픈AI GPT, 페이스북 MoCo, 유럽연합(EU)에선 Inria SOLARIS, 옥스포드대학교 Seebibyte, 중국에선 홍콩폴리텍대학교 HPM, 톈진대학교 NBD, 홍콩중문대학교 SSRL, 일본에선 나고야대학교 SSCR 등이 주요 프로젝트로 소개됐다. 코로나로 비대면 솔루션이 선호되며 챗봇 수요가 급증하고 있는 가운데, 국내·외 여러 챗봇 연구 기업(네이버, 카카오, 아마존)에서 이 방식을 응용한 연구를 진행하고 있다.
이미지 확대
![[사진=게티이미지뱅크]](https://image.ajunews.com/content/image/2020/12/29/20201229201709863557.jpg)
[사진=게티이미지뱅크]