[AWS 서밋 온라인] ① AWS "데이터 주도 조직, 현대적 플랫폼부터 갖추라"

도로시 리 아마존웹서비스(AWS) 비즈니스인텔리전스·애널리틱스 담당 부사장(왼쪽)과 피터 데산티스 AWS 글로벌 인프라스트럭처·고객지원 담당 수석부사장. [사진=AWS서밋 영상 캡처]

"오늘날 1시간마다 생성되는 데이터량은 20년 전 한 해 동안 생성된 데이터량보다 많고, 앞으로 3년간 만들어질 데이터가 지난 30년간 생겨난 데이터를 합한 것보다 많아질 것이다. 점점 더 많은 기업들이 데이터, 분석, 머신러닝을 사업전략에 포함시키고 있는 만큼, 유연한 데이터 주도 의사결정 조직으로 거듭나기 위한 플랫폼이 중요하다."

지난 11일 한국 기업 고객사 대상으로 시작한 'AWS서밋 온라인 코리아' 1일차 기조연설에서 도로시 리 아마존웹서비스(AWS) 비즈니스인텔리전스·애널리틱스 담당 부사장이 이같이 말했다. 이는 AWS가 데이터분석·활용을 위한 고성능 플랫폼 기술과 이를 효율적으로 구현할 수 있는 인프라 마이그레이션·현대화 서비스 시장으로 진격하고 있음을 시사한다.

피터 데산티스 AWS 글로벌 인프라스트럭처·고객지원 담당 수석부사장은 AWS 서비스 운영 초기부터 회사가 지켜온 6가지 신조가 보안, 신뢰성, 탄력성, 유연성, 비용효율성, 쉬운 사용성이었다고 밝혔다. 초창기 AWS 상품이었던 아마존EC2부터 요즘 추가로 선보이고 있는 맞춤형 칩셋 기반 인스턴스까지 이에 초점을 맞추고 있다고 설명했다.

AWS는 클라우드 자체 인프라의 서버 인스턴스 상품 구성을 다양화하기 위해 2013년부터 '니트로(Nitro)'라는 하드웨어 가상화 칩을 개발해 왔고 2018년부터 ARM 프로세서 '그래비톤(Graviton)'도 만들어 왔다. 최근에는 머신러닝 모델의 추론 연산을 효율화하는 칩 '인퍼런시아(Inferentia)'와 모델의 훈련 연산 성능을 높여 주는 칩 '트레이니엄(Trainium)'을 내놨다.

관련기사

• 킨드릴, 직원 1만명 아마존웹서비스 전문가로 만든다
• 아마존웹서비스, 미국 동부서 36개 서비스 장시간 먹통…인터넷업체·언론사 영향

데산티스 수석부사장이 이날 국내에 소개한 상품 중 눈길을 끈 건 앞서 본사에서 출시한 맥(Mac) 컴퓨터 인스턴스였다. 이는 니트로 칩을 품은 네트워크인터페이스카드(NIC)를 썬더볼트 인터페이스에 결합한 진짜 애플 맥 컴퓨터를 AWS 클라우드 데이터센터에서 제공하는 인스턴스 상품이다. AWS는 이 밖에 많은 유형의 인스턴스를 니트로 칩 기술로 만들어냈다.

지난해 출시된 2세대 그래비톤 ARM 칩을 활용한 범용 인스턴스의 비용효율성이 부각됐다. 해외에서 리프트(Lyft), 스냅(Snap), 스머그머그(SmugMug) 등 서비스업체들이 기존 운영 인프라의 x86 프로세서 인스턴스를 ARM 기반 인스턴스로 대체하면서 30~50%까지 비용절감 효과를 봤다는 사례가 함께 소개됐다.

한국 스타트업이자 글로벌 채팅 플랫폼을 제공하는 유니콘 기업 '센드버드' 역시 AWS의 그래비톤 인스턴스를 통해 큰 비용을 절감했다. 이 회사는 쓱닷컴, 라쿠텐, 배달의민족, 레딧, 야후, 패트리온, 블라인드 등 유명 커뮤니티·플랫폼·쇼핑·미디어 서비스에 이용자 만족·몰입·참여도를 높일 수 있는 웹·앱용 채팅 API를 제공한다. 최근 월활성이용자(MAU) 규모가 1억4000만명가량으로 지난 2년간 3배 가까이 증가했고 이 비용을 통제하면서 성능·안정성 문제를 해결해야 할 상황이었다.

김동신 센드버드 최고경영자(CEO)는 센드버드 운영인프라에 다양한 AWS 서비스를 사용하고 있다. 특히 트래픽 패턴을 처리하기 위해 연산 자원으로 그래비톤2 인스턴스, AWS 람다, 아마존EKS를 사용 중이라고 밝혔다. 처리할 데이터 특성에 따라 아마존 엘라스틱캐시, 아마존 오로라, 엘라스틱서치 서비스 등을 활용하고 있다고 덧붙였다.

그는 전체 트래픽 처리 인프라 5%에 그래비톤2 ARM 프로세서 기반 아마존EC2를 적용한 결과 놀라운 효과를 봤다고 표현했다. 인스턴스의 CPU 점유율이 종전 대비 19% 줄었고 엘라스틱캐시 인스턴스의 CPU 점유율도 10% 줄였다. 그래비톤2 프로세서를 적용한 것만으로, 다른 어떤 코드나 아키텍처 변경 없이 비용 42%를 절감해, 전체 환경을 전환 중이다.

데산티스 수석부사장은 센드버드 사례 소개 후 다른 비용·운영효율 최적화 수단을 소개했다. 서버와 클러스터 관리 없이 컨테이너를 쓸 수 있는 'AWS 파게이트(Fargate)', 서버와 애플리케이션을 직접 관리하지 않고 이벤트 기반으로 람다 함수를 사용해 애플리케이션 작성이 가능한 'AWS 람다(Lambda)' 등을 언급했다. 그는 AWS 람다와 다른 140여개 AWS 서비스를 결합해 모든 종류의 서버리스 애플리케이션을 구축하고, 차별화되지 않는 업무를 AWS에 맡길 수 있다고 강조했다.

AWS의 머신러닝·인공지능(AI) 기술은 모기업인 아마존의 데이터 기반 의사결정을 통해 그 활용 가치를 입증한 바 있다.

일례로 머신러닝 모델 추론 성능을 높여 주는 인퍼런시아 칩 기반 아마존EC2 인스턴스 기술은 아마존 스마트스피커에 탑재된 음성AI '알렉사'의 동작을 최적화해 줬다. 사람들이 알렉사에 말을 걸거나 질문을 했을 때 그 응답을 위해 텍스트 정보를 음성으로 변환하는 과정을 아마존이 AWS의 인퍼런시아 칩 인스턴스로 처리한 결과, 응답 지연시간을 25% 단축시켰고 인프라 운영비용도 30% 절감했다. 향후 엔비디아와 인텔 칩뿐 아니라 트레이니엄 칩 인스턴스가 추가되면 모델 훈련뿐 아니라 추론 인프라도 더 저렴하게 구축·운영할 수 있게 된다.

또 데산티스 수석부사장에 이어 기조연설자로 나선 도로시 리 AWS 비즈니스인텔리전스·애널리틱스 담당 부사장이 전자책 단말기 킨들(Kindle)의 사용자경험(UX) 담당자로서 이용 활성화 전략을 맡았던 '아마존닷컴'에서의 경험을 소개했다.

그는 아마존의 동료들과 킨들 모바일 앱 이용자들에게 전자책의 내용 일부를 읽을 수 있는 샘플만을 제공할 것인지, 전체 내용을 읽을 수 있는 공짜 책을 줄 것인지 검토 중이었다. 아마존은 당시 킨들 앱을 무료로 제공하고 전자책을 판매하는 사업모델을 취하고 있었기 때문에, 직관에 의존한다면 당연히 공짜 책을 주는 것은 손해를 자초하는 일이었다.

하지만 리 부사장은 데이터로 반직관적인 결과를 입증해냈다. 그는 "실제 실험을 통해, 샘플 책만 제공받은 고객은 시간이 지날수록 킨들 앱을 덜 쓰게 됐고, 오히려 무료로 온전한 책을 제공받은 고객들은 결국 관여도가 높은(수익성이 큰) 독자가 됐다"고 설명했다. 아마존은 이 결과를 바탕으로 '아마존 프라임' 구독자에게 더 많은 전자책을 무료로 제공하고 있다.

AWS는 아마존이나 다른 기업 고객들이 데이터 주도 의사결정 조직으로 나아가기 위해 3단계 과정을 밟아야 한다고 조언한다. 우선 클라우드 인프라에서 목적에 맞는 데이터베이스(DB)를 골라 활용하는 등 데이터 인프라를 현대화할 필요가 있다. 이후 고립된 데이터를 해방해 자유롭게 쓸 수 있도록 만들어야 한다.

국내 대기업인 아모레퍼시픽이 이 중간 과정을 제대로 밟은 주요 사례로 소개됐다. 홍성봉 아모레퍼시픽 디지털혁신업무 담당 상무는 빠르게 변화하는 리테일 시장에서 온·오프라인 유통채널 다양화, 중요성이 커진 온라인 가상공간의 '바이럴' 대응, 기성 고객군과 행동양식이 달라진 밀레니얼·Z 세대의 성향 분석과 대응이 필요하다고 판단했다.

그는 세 가지 문제를 해결하고자 했다. 하나는 기존 온라인분석처리(OLAP)를 넘어선 빅데이터 처리, 다른 하나는 필요한 데이터를 명확하게 찾고 추출할 수 있는 '데이터 인식(data awareness)' 역량 확보, 마지막은 마케팅·고객관계관리(CRM) 캠페인 집행 효과를 실시간 확인하고 기술을 모르는 현업 사용자도 데이터를 활용할 수 있는 '데이터 접근성' 확보였다.

아모레퍼시픽은 AWS 측 전담팀과 아모레퍼시픽의 전담부서가 1년 6개월에 걸쳐 밀착 협업함으로써 기존 인프라를 클라우드 네이티브로 재설계하고 확장성을 갖춘 시스템 위에 서버리스 컴포넌트, 매니지드 서비스를 구축했다. 500여개의 고객 데이터 추출 조건과 속성정보를 다룰 수 있는 '고객탐색기'를 구축하고 전통적인 데이터웨어하우스 기능뿐 아니라 비정형 데이터 조회에 최적화된 모델을 갖춘 분석 시스템을 CRM과 연동해 활용하고 있다. 주 1회 걸렸던 상품리뷰 정량화 분석 서비스의 자연어처리 성능을 준 실시간 수준으로 끌어올렸다. 자체 데이터센터 OLAP 대비 34% 비용 절감 효과를 얻었다.

고립된 데이터를 자유롭게 쓸 수 있으면 그 다음 단계는 머신러닝과 AI 기술을 응용하는 것이다. 신용카드와 체크가드 개인고객 2000만명을 보유했고 연간 36억건의 결제를 처리하는 금융사 KB국민카드도 AWS와 매니지드서비스사업자(MSP) 파트너의 도움을 받아 인프라를 클라우드로 전환하고 있다. 대고객서비스 '리브메이트' 3.0을 AWS 클라우드로 구축하며 기존 대비 운영성능을 3.6배로 향상시키고 'KB페이' 로딩 속도를 8배 빠르게 했다. 홈페이지와 모바일 앱 등 모든 채널을 AWS로 이전했고 AI와 머신러닝 허브 구축을 앞두고 있다.