초거대 AI는 돈 먹는 하마...KT클라우드 윤동식 "AMD·리벨리온과 협력으로 AI 운영비 절감"

윤동식 KT클라우드 대표 [사진=KT클라우드]

"AMD와 KT클라우드가 협력해 대한민국 인공지능(AI) 개발에 필요한 하이퍼스케일(초거대) 컴퓨팅 인프라 구축에 많은 기여를 할 것이다. AMD는 기업이 초거대 언어모델(LLM) 학습에 필요한 AI 반도체를 KT클라우드를 통해 제공하고 있다." 리사 수 AMD 회장이 직접 밝힌 KT클라우드와 협력 계획이다.

18일 KT클라우드가 출범 1주년을 맞아 기업·공공 파트너 1000여명을 초청해 'KT클라우드 서밋 2023' 행사를 개최했다.

이날 행사 키노트에서 윤동식 KT클라우드 대표는 AI·데이터센터·클라우드 등을 중심으로 하는 KT클라우드 미래 성장 전략을 공개했다.

윤 대표는 "챗GPT로 촉발된 기업의 AI 전환을 위해 △초거대 AI  △고객 맞춤형 클라우드 △죽지 않는(Resilient) 인프라 등 세 가지 요소가 필수"라며 "KT클라우드는 초거대 AI 학습·추론에 필요한 AI 반도체팜을 클라우드로 제공하는 'HAC(Hyperscale AI Computing)' 서비스로 국내 기업의 AI 인프라 확보에 대한 고민을 덜어드릴 것"이라고 말했다.

관련기사

• 후후, 3분기 스팸신고 건수 26.4%↓...KT망에서 위험번호 사전 차단 효과
• 심우준 한화로 떠나보낸 kt, 보상 선수로 한승주 지명…"마운드 전력 강화"

HAC는 KT클라우드가 국내 반도체 스타트업 '모레'와 함께 개발한 세계 최초 다중·동적 AI 반도체 할당 기술이다. 다른 클라우드 업체는 AI 학습·추론 사용량을 사전에 예측하고 AI 반도체를 빌려야 해서 자칫 과도한 이용료가 발생할 수 있지만, HAC는 AI 반도체를 활용하고 즉시 반납할 수 있어 이용한만큼만 비용을 내면 된다. KT클라우드는 유사한 기능을 갖춘 엔비디아 'DGX' 시스템 대비 장비 성능은 1.17배 더 우수하면서 구축 비용은 3분의 1 수준이라고 강조했다.

윤 대표는 HAC를 활용해 초거대 언어모델을 개발한 국내 기업의 대표 사례로 AI 챗봇 '이루다'를 서비스 중인 AI 스타트업 '스캐터랩'을 꼽았다. 스캐터랩은 한 번에 답할 수 있는 문장 길이를 4배 확대하는 등 HAC를 활용해 이루다의 대화 능력을 강화했다. 특히 스캐터랩은 엔비디아 AI 반도체를 쓰는 시중 AI 업체와 달리 AMD의 AI 반도체 '인스팅트 MI250' 96장을 HAC로 할당받아 60일간 이루다 AI 모델 학습을 진행함으로써 기술 저변을 확대했다는 평을 받았다.

윤 대표는 "초거대 AI는 돈 먹는 하마다. AI 모델 학습·추론에 천문학적인 운영비(전기료)가 필요하다. 탄소중립이라는 전 세계적인 추세에 반한다"고 지적하며 "AI 운영 비용에 대한 고민이 큰 기업을 위해 리벨리온의 AI 반도체 '아톰'도 KT클라우드에서 제공할 것"이라고 밝혔다. 

윤 대표는 이날 키노트에 앞서 기자들과 만나 "빠르면 5월부터 아톰을 클라우드로 제공할 수 있을 것"이라며 "아톰은 엔비디아 AI 반도체 'A100' 대비 전력대성능비(TDP)가 5분의 1 수준에 불과하면서 더 우수한 AI 모델 추론 성능을 낸다. KT클라우드도 인프라 최적화를 좀 더 진행하면 TDP를 10분의 1 수준으로 줄일 수 있을 것으로 기대하고 있다"고 설명했다.
 

윤동식 KT클라우드 대표 [사진=연합뉴스]

고객 맞춤형 클라우드는 공공, 금융, 엔터프라이즈 등 각 시장 정책 현황과 수요에 맞춰 전개한다. KT클라우드 이사회에 참가하는 국내 최대 클라우드관리 업체(MSP) '메가존클라우드'와 코스닥 상장 보안기업 '윈스' 등이 대표적인 사업 파트너다.

마지막으로 윤 대표는 "과거 KT 장애 사례에서 얻은 경험을 토대로 죽지 않는(Resilient) 인프라 정책을 추진해 어떤 상황에서도 서비스 연속성을 확보할 것"이라며 "KT클라우드는 데이터센터 지리적 분산, 이중화·이원화, 전용망 연결 등으로 자체 재해복구(DR) 및 고객 상황에 맞는 DR전략을 수립할 것"이라고 밝혔다.

한편 이날 키노트에선 배순민 KT 융합기술원 AI2XL연구소장과 황종성 한국지능정보사외진흥원 원장이 각각 KT가 자체 개발한 초거대 AI '믿음' 상용화 전략과 '디지털플랫폼정부' 전략에 따른 공공 부문 클라우드 전환 계획에 대해 발표했다.