4차 산업혁명 혹은 알파고와 같은 인공지능, 머신러닝에 있어서 빅데이터가 정말 중요한 역활을 할 것이라는 기대감이 사회 전반적으로 확산되어 있다. 실제 현장에서도 2012년 빅데이터가 국내에 도입된 이후부터 지금까지 “실제 비즈니스에서 빅데이터가 성과를 내고 있는가?”라는 질문을 끊임없이 듣고 있다.

국내에 아마존 등 글로벌 선두기업들이 보여 주는 것과 같이 빅데이터 성공사례가 없다는 점이 아마 기업들로 하여금 도입을 주저하게 만들고 있는 것 같다. 가장 큰 현실적인 이유는 빅데이터를 추진하기 위해 국내에서 외부 전문역량을 찾기 어렵다는 것이다.

이에 대기업들은 빅데이터나 인공지능 연구를 위해 해외로 연구소를 이전하거나 해외 연구조직을 사들이고 있으며 IBM이나 구글 등 글로벌 선두기업에서 관련 일을 했던 인력들을 채용하는 방식으로 역량을 확보하고 있다. 다시 말해 국내는 이제 전문인력을 확보해 변화에 대응하려고 하는 준비단계다. 당연히 글로벌 선두기업과 같은 성공사례를 찾는 것은 시기상조다.

문제는 상당 기간 동안 국내 기업들이 글로벌 선두기업과 성공사례를 창출하는 것을 보기가 쉽지는 않다는 것이다. 왜냐하면 4차 산업혁명의 기반이 되는 빅데이터, 인공지능, 머신러닝 등은 하나하나가 다 전문기술이 필요한 영역이고 무엇을 목적으로 하느냐에 따라 필요한 전문기술이 다르다. 때문에 그러한 인력을 확보해 성과를 창출하는데는 어느 정도 기간이 필요하다. 

예를 들어보자. 아마존이 최근에 공개한 아마존고의 핵심기술은 무인자동차에서 활용하고 있는 기술과 비슷하다. 비젼이라는 이미지센서 데이터 처리 기술과 센서에서 나온 동일한 물체를 여러가지 각도에서 촬영한 데이터를 결합해 하나의 모습으로 인지할 수 있는 데이터융합(Sensor Fusion)기술 그리고 이렇게 융합된 데이터를 학습하는 딥러닝 이렇게 3가지 전문기술이 필요하다.

이러한 알고리즘 하나하나가 박사학위 논문에 근접하는 수준이여서 한 사람이 전체 기술을 다 알기는 어렵다. 즉 여러 분야의 전문가들을 확보해야만 아마존과 유사한 성과를 창출해 낼 수 있는 것이다. 3가지 영역 중 어느 한 영역만 부족해도 이는 불가능하다.

빅데이터에는 다양한 전문기술이 존재하기 때문에 단순히 전문가를 확보하는 것이 중요한 것이 아니라 기업이 빅데이터를 통해 창출하고자 하는 성과에 적합한 전문기술을 가진 전문가를 확보했냐는 것이 무엇보다 중요하다.

기업이 빅데이터를 통해 성과를 창출해 내고 싶다면 빅데이터를 통해 달성하고자 하는 성과가 무엇인지 명확히 이해하고 있어야 하며 이를 위해 필요한 전문기술들이 무엇인지 정확히 파악하고 있어야 한다.

물론 반드시 처음에 정한 목표를 달성해야만 성공하는 것은 아니다. 아마존을 보더라도 배송비를 줄이기 위해 무인자동차를 연구하다가 동일 기술을 무인점포에도 적용할 수 있다고 확장한 것이 아마존고가 만들어진 계기다. 이처럼 필요한 전문기술이 동일하다면 비즈니스는 다양하게 만들어 질 수 있다.

위에서 언급한 부분을 충분히 이해하고 전문역량을 확보했다면 이제 빅데이터를 시작할 준비가 됐다. 이후부터는 기업내부의 문제들을 빅데이터로 해결하기 위해 기존에 축적된 데이터를 지금까지 바라봤던 통계적 관점에서 벗어나 문제해결에 필요한 형태로 재 분석해야 한다.

여기에 데이터시각화라는 기술이 필요하다. 인간은 최대 3차원까지만의 이해하기 때문에 고차원의 데이터를 분석가가 이해할 수 있는 2~3차원의 데이터로 전환, 데이터를 분석한 후 다양한 머신러닝 알고리즘 중에서 문제해결에 필요한 최적의 알고리즘을 선택해야만 한다.

딥러닝이 파워풀한 알고리즘이긴 하지만 현재 오픈소스로 공개되어 있다. 동일한 알고리즘을 활용할 수 있지만 왜 유독 딥마인드만 알파고와 같은 알고리즘을 만들 수 있었을까?라고 한번 반문에 볼 필요가 있다. 알고리즘 자체가 중요한 것이 아니라 데이터 분석을 통해 해결하고자 하는 문제에 맞게 알고리즘을 튜닝하고 학습시켜주는 것이 더 중요하다는 것이다.

주변에 많은 사람들이 딥러닝 기반의 알고리즘만 있으면 모든 문제가 다 해결될 것처럼 오해하고 있다. 딥마인드가 알파고가 어느 정도 수준에 이르기까지 학습시키는데 3년이상의 시간을 필요로 했다는 사실을 알고 있다면 차이점을 이해할 수 있을 것이다. 즉 학습의 시간이 필요하다는 것이다. 하지만 기존에 해당 업무를 수행하던 조직들은 목표가 있기 때문에 이러한 학습기간을 기다릴 수는 없는 경우가 많다. 이 때문에 비즈니스 수행조직과 빅데이터 전문가와의 긴밀한 협업을 할 수 있는 환경을 만들어 주는 것이 필요하다.

기업에서 확보해야 할 빅데이터 전문역량은 2가지로 크게 분류할 수 있다. 앞서 주로 빅데이터 분석 역량에 대해 언급했지만 이러한 분석인력들이 분석을 할 수 있는 환경을 만들어 주기 위해서는 빅데이터 엔지니어 인력들도 필요하다. 생각해보면 현재 기업에 있는 많은 시스템들을 활용하기 위해 어떤 형태이든 그러한 시스템들을 개발하고 운영할 수 있는 조직을 가지고 있어야만 하는 것과 유사하다.

빅데이터를 막연히 추진해서는 안된다. 어떤 성과를 창출해내기 위해 빅데이터를 기업내에서 어떻게 활용할 것인지를 명확히 정하고 그에 맞는 전문가 영입 등 필요한 준비를 해야만 빅데이터를 통해 실제 비즈니스 세계에서 성과를 창출할 수 있을 것이다.