“결국 고대역폭메모리(HBM)가 대용량을 바탕으로 솔루션을 제공할 수 있다. HBM3까지 지속적으로 성능에서 노력을 해왔고, 향후 HBM4를 통해서도 인더스트리를 제공해 생성형 인공지능(AI) 서비스나 학습이 좀 더 원활할 수 있도록 기여할 예정이다.”
 
오계식 삼성전자 메모리사업부 연구위원은 7일 아주경제신문 주최로 서울 중구 플라자호텔에서 열린 '제15회 착한 성장, 좋은 일자리 글로벌 포럼(2023 GGGF)'에서 '생성형 AI 시대의 도래와 메모리의 역할'을 주제로 한 강연을 통해 "핵심은 HBM"이라고 강조했다.
 
HBM은 D램을 여러 개 쌓아 올려 만든 반도체다. 챗GPT 등 생성형 AI 분야에서 데이터 처리를 위해 그래픽처리장치(GPU)가 탑재되는데 여기에 HBM이 대거 탑재되며 시장이 급성장하고 있다.
 
현재 메모리업계에서는 HBM3E까지 개발 완료된 것으로 알려져 있다. 세대별로는 △1세대(HBM) △2세대(HBM2) △3세대(HBM2E) △4세대(HBM3) △5세대(HBM3E·3P) △6세대(HBM4) 등 순이다.
 
오 연구위원은 하드웨어 관점에서 생성형 AI가 연산 능력이 좋은 GPU나 AI 액셀러레이터를 필요로 한다고 강조했다. 그는 분류형 AI와 비교하면서 “생성형 AI는 연산량이나 모델 크기 전부 수십 배 정도 더 크다”며 “이러한 모델을 저장하기 위해서는 더 큰 메모리가 필요하고 구동하기 위해 하드웨어가 좀 더 능력이 좋아야 한다고 해석할 수 있다”고 말했다.
 
그러면서 생성형 AI에 탑재되는 핵심 하드웨어인 GPU와 HBM의 중요성에 관해 설명했다. 오 연구위원은 “GPU 연산량이 좋아져 동일 시간에 많은 연산 작업을 수행할 수 있으면 그에 비례해 메모리에서도 같은 시간 내에 많은 데이터를 받을 수 있어야 한다”고 말했다.
 
결국 GPU뿐만 아니라 이를 뒷받침해 줄 HBM 역시 동일 시간 내에 많은 데이터를 보낼 수 있도록 두 부품 간 조합이 중요하다는 의미다. 이를 통해 지금의 생성형 AI, 더 나아가 고품질 생성형 AI가 만들어질 수 있게 됐다고 그는 설명했다.
 
다만 생성형 AI 대비 느린 HBM의 발전 속도는 극복해야 할 관건으로 꼽았다. 오 연구위원은 “이른바 ‘메모리 월(Wall)’로서 프로세서와 메모리 성능의 차이로 인한 컴퓨팅 시스템 성능의 제약은 대표적인 한계”라며 “AI 모델 크기와 GPU 성능 대비 HBM의 성능 증가 속도가 가장 느리다”고 지적했다.
 
지난 5년간 매년 10배씩 성장하고 있는 AI 모델을 하드웨어가 따라잡아야 하지만 쉽지 않은 상황이다. 실제 GPU는 지난 6~7년 사이 매년 1.5배 정도 성장했고 메모리는 매년 약 1.2배 향상됐다.
 
아울러 오 연구위원은 향후 나아갈 다양한 발전 방향을 제시했다. 그는 HBM 성능을 지속적으로 향상하는 것은 물론 그 밖에도 “HBM의 부족한 용량을 DDR과 SSD까지 전체적으로 활용하자는 생각”이라며 “현재 이와 관련한 연구 논문이 나와 있는 단계고 인더스트리와 협의해 용량 확장 관점에서 더 모색해 보려고 한다”고 말했다. 또 기존 HBM 외에 신규 AI 메모리를 지속적으로 모색한다는 계획이다.