[AWS 리인벤트 2022] 머신러닝도 협업 필수…AWS, 세이지메이커 모델 개발 공동작업 강화

스와미 시바수브라마니안 AWS 부사장이 11월 30일(현지시간) 미국 라스베이거스 AWS 리인벤트 2022 기조연설에서 아마존 세이지메이커에 지리공간 데이터를 활용하는 머신러닝 지원 기능이 탑재됐다고 설명하고 있다. [사진=AWS]

아마존웹서비스(AWS)가 머신러닝(ML) 모델 개발 서비스 '아마존 세이지메이커'에 신기능을 대거 추가해 개발자, 데이터 전문가와 비즈니스 실무자의 협업을 지원한다.

AWS는 11월 30일(현지시간) 미국 라스베이거스 AWS 리인벤트 2022 행사에서 세이지메이커 신기능 8가지를 발표했다. ML 수명주기 전반에 걸쳐 모델 성능 가시성을 제공하는 '아마존 세이지메이커 거버넌스', 데이터 품질 문제를 해결하고 데이터 사이언스 팀 협업 촉진과 테스트 단계에서 실제 운영 단계로 넘어가는 프로세스를 앞당기는 '아마존 세이지메이커 스튜디오 노트북'과 모델 검증과 지리공간 데이터 작업의 어려움을 덜어 주는 신기능을 지원한다.

아마존 세이지메이커 롤 매니저(Amazon SageMaker Role Manager)는 데이터 거버넌스 기능이다. 조직의 ML 시스템을 만들고 모니터링하는 관리자가 작업, 리소스, 데이터 접근을 제어하고 개발을 간소화하는 업무를 롤 매니저가 지원한다. 엑셀 파일 목록에 데이터 준비와 모델 훈련 등 ML 관련 활동을 적어 놓고 접근 권한 정책을 관리하는 식으로 수작업에 의존하는 기존 도구는 새로운 사용자가 업무를 효과적으로 수행하기 위해 필요한 작업을 정하는 데 몇 주를 허비하게 할 수 있다. 롤 매니저를 쓰면 관리자가 다양한 사용자 역할과 책임에 따라 사전 구성된 템플릿 선택과 편집으로 쉽게 접근 제어와 사용자 권한 정의를 할 수 있다. 필요한 권한이 있는 접근 정책을 자동 생성하고 사용자 역할과 책임 범위를 전달해 숙지하게 하고 관리 부담을 줄일 수 있다.

아마존 세이지메이커 모델 카드(Amazon SageMaker Model Cards)는 모델 정보 수집을 단순화한다. 실무자가 모델 개발과 평가 중 승인 절차, 등록, 감사, 고객 문의, 모니터링을 지원하기 위해 필요한 ML 모델 세부 정보는 이메일, 텍스트, 엑셀 파일에 저장돼 있어 수집에만 몇 달이 걸릴 수 있다. 모델 카드는 AWS 콘솔에 저장할 수 있는 단일 위치를 제공해 모델 수명주기 동안 문서 작업을 간소화하고, 입력 데이터 세트와 훈련 환경과 결과 등 세부 정보를 자동으로 기입한다. 실무자는 성능 목표와 위험 등급 등의 모델 정보, 편향과 정확도 등 평가 결과를 문서화하기 위한 질문지를 사용해 추가 정보를 포함하고 관찰 결과를 기록할 수 있다.

관련기사

• AWS, '생성 AI 파트너 혁신 얼라이언스' 출범…韓서 메가존클라우드 참여
• 메가존클라우드, 삼성물산·AWS와 스마트 빌딩 관리 플랫폼 협력

아마존 세이지메이커 모델 대시보드(Amazon SageMaker Model Dashboard)는 ML 모델을 추적하기 위한 중앙 인터페이스를 제공한다. 한 조직에 수천 개 모델이 배포되면서 기 배포된 모델 추적을 지원한다. 대시보드에서 모델 및 데이터 드리프트 모니터링 기능 '아마존 세이지메이커 모델 모니터'와 ML 편향 감지 기능 '아마존 세이지메이커 클래리파이'와 통합할 수 있다.

아마존 세이지메이커 스튜디오 노트북은 실무자 수십명이 공동 모델을 개발할 때 도움을 주는 세 가지 신기능(데이터 준비 간소화, 데이터 사이언스 팀 간 협업 가속화, 노트북 코드를 프로덕션 준비 작업으로 자동 변환)을 탑재한다.

스튜디오 노트북의 데이터 준비 간소화 기능은 실무자가 클릭 몇 번으로 데이터 특성을 검토하고 품질 문제를 해결할 수 있는 데이터 준비 기능으로 차트를 자동 생성하고 일반적인 문제 해결을 돕는 데이터 변환을 제안한다.

준비된 데이터를 활용할 때 팀이 함께 단일 노트북을 읽고 편집하고 실행하는 작업 공간이 제공된다. 팀원은 이 결과를 함께 검토해 모델 성능을 이해하고 비트버킷, AWS 코드커밋 등 서비스 지원을 통해 노트북 버전을 관리하고 변경 사항을 비교할 수 있다.

완성된 ML 모델을 실제 운영 시스템으로 옮길 때 CI/CD 파이프라인을 설정, 구성, 관리해 배포를 자동화하고 일정에 따라 반복적으로 실행하려면 모든 인프라 설정에 몇 주가 걸릴 수 있다. 아마전 세이지메이커 스튜디오 노트북 신기능은 노트북을 선택하고 운영 시스템에서 실행하는 작업을 자동화해 이동 시간을 몇 주에서 몇 시간으로 단축할 수 있다.

아마존 세이지메이커 인퍼런스(Amazon SageMaker Inference)는 새 모델 성능을 실제 운영 시스템에 적용한 모델과 쉽게 대조하는 기능이다. 이로써 테스트 환경을 따로 구축하지 않고 수천 개 모델을 새로 테스트하는 환경을 마련할 수 있다. 운영 시스템에서 수신한 추론 요청의 사본을 새 모델로 가져와 대시보드를 생성하고 주요 지표 간 성능 차이를 보여 준다.

지리공간 ML 예측 생성을 가속화하는 기능도 아마존 세이지메이커에 새로 탑재됐다. 사용자가 지리공간 모델 구축을 시작하기 위해 위성 이미지나 지도 데이터와 같은 서드파티 데이터를 가져와 자체 데이터를 보완하는데, 이 때 방대한 지리공간 데이터로 인해 데이터 세트를 관리에 용이한 하위 집합으로 나누는 코드를 만들어야 한다. 여러 데이터 세트를 재결합해 ML 모델 예측을 상호 연관시키려면 코드를 더 많이 작성해야 하고 완성된 모델 예측을 시각화하려면 지도에 표시(렌더링)하는 데 며칠을 기다려야 한다. 데이터 보완부터 시각화까지 전체 과정에 몇 달이 걸려 적시에 지리공간 데이터 활용과 ML 예측을 하기 어려웠다.

신기능을 탑재한 아마존 세이지메이커는 지리공간 모델 훈련 후 몇 시간 만에 결과를 시각화할 수 있다. 클릭 몇 번으로 또는 API로 AWS나 신뢰할 수 있는 서드파티 공급자, 오픈소스 데이터 세트의 지리공간 데이터 출처에 접근해 내장된 연산자를 사용하면 자체 데이터와 실제 사용하려는 데이터 세트를 결합할 수 있다. 정밀 농업으로 작물 수확량을 늘리고 자연재해 피해 지역을 모니터링하고 도시 계획을 개선하는 사례를 위해 사전 훈련된 딥러닝 모델 접근을 제공한다.

김기완 AWS코리아 시니어 아키텍트는 이번에 세이지메이커에 추가된 신기능에 대해 "그간 다양한 배경을 가진 사용자들이 어려워 했던 복잡한 작업 구간을 단순화하는 흐름으로 개선이 이뤄진 것"이라고 설명했다.