엔비디아와 AMD가 올해 말 차세대 인공지능(AI) 반도체를 시장에 투입하며 AI 하드웨어 시장 주도권을 두고 물러설 수 없는 한판 승부를 벌인다. AI 반도체에 필수인 HBM(고대역폭 메모리) D램을 두 회사에 공급하는 SK하이닉스와 삼성전자 간 AI 메모리 기술 경쟁도 한층 치열해질 전망이다. 

◆HBM4 탑재 '루빈' 공개한 엔비디아...메모리 파트너십 강조

3일 반도체 업계에 따르면 젠슨 황 엔비디아 최고경영자(CEO)와 리사 수 AMD CEO는 대만 타이베이에서 열린 '컴퓨텍스 2024' 기조연설자로 나와 자사 차세대 AI 반도체 로드맵을 공개했다.

지난 2일 타이베이 국립대만대 스포츠센터에서 사전 기조연설을 진행한 젠슨 황 CEO는 "엔비디아는 '데이터센터 AI'부터 '온 디바이스 AI'까지 모든 AI 영역에서 1등 기업"이라고 강조하며 자사 하드웨어와 소프트웨어 생태계 경쟁력을 소개했다.

가장 많은 관심이 집중된 곳은 주요 초거대 AI의 두뇌 역할을 하고 있는 데이터센터 GPU(AI 반도체) 관련 발표였다. 지난 3월 미국 실리콘밸리에서 진행한 GTC(그래픽기술콘퍼런스) 2024 행사에서 현행 '호퍼'의 뒤를 잇는 '블랙웰'을 발표한 황 CEO는 이날 블랙웰의 다음 세대 AI 반도체인 '루빈'도 직접 공개했다.

황 CEO가 불과 3개월 간격으로 신형 AI 반도체 계획을 연이어 공개한 것은 경쟁이 나날이 치열해지고 있는 AI 반도체 시장에서 AMD·인텔 등 경쟁사의 추격을 차단하려는 데 있다. 특히 신형 HBM D램 탑재 시기를 직접 언급함으로써 AI 메모리 제조업체와 끈끈한 관계를 강조하려는 전략으로 풀이된다.

황 CEO에 따르면 우선 올해 말 8단 적층 HBM3E(5세대) D램을 탑재한 블랙웰을 주요 고객사에 공급하는 데 이어 내년에는 12단 HBM3E D램을 탑재한 '블랙웰 울트라'를 출시할 예정이다. 블랙웰과 블랙웰 울트라는 모두 최대 8개의 HBM3E D램을 연결할 수 있다. 이에 블랙웰의 메모리 용량은 칩당 192GB(기가바이트), 블랙웰 울트라는 칩당 288GB에 달할 것으로 예측된다.

블랙웰에 탑재하는 8단 HBM3E D램은 대부분 SK하이닉스가 공급한다. 마이크론은 생산능력(캐파)이 부족하고 삼성전자는 엔비디아로부터 아직 공급승인을 받지 못했기 때문이다. SK하이닉스는 12단 HBM3E D램 샘플을 엔비디아에 보낸 데 이어 3분기부터 본격 양산함으로써 블랙웰 울트라 수요에도 대응할 계획이다. 엔비디아가 삼성전자 12단 HBM3E D램 공급승인을 할 경우 SK하이닉스와 삼성전자가 블랙웰 울트라의 주요 AI 메모리 공급사가 될 전망이다.

엔비디아는 이어 2026년 HBM4(6세대) D램을 탑재한 루빈을 시장에 출시하고 2027년에는 '루빈 울트라'를 투입할 계획이다. 루빈 울트라도 HBM4를 탑재하지만 칩당 8개의 HBM4를 연결할 수 있는 루빈과 달리 칩당 12개를 연결할 수 있다. 엔비디아가 자사 AI 반도체에 칩당 12개의 HBM을 연결하는 것은 루빈 울트라가 처음이다. HBM 수요가 1.5배가량 늘어나는 효과가 있을 전망이다.

TSMC 4NP(4㎚) 공정에서 양산하는 블랙웰과 달리 루빈은 TSMC N3(3㎚) 공정에서 양산할 것으로 알려졌다. TSMC CoWoS(칩 온 웨이퍼 온 서브스트레이트)-L 패키징 기술을 활용해 HBM4 D램과 결합할 전망이다. CoWoS-L은 실리콘인터포저(중간기판) 대신 로컬실리콘인터커넥트(LSI)를 활용해 이종 반도체를 결합하는 기술로, 프로세서와 더 많은 D램을 결합할 수 있는 이점이 있는 것으로 알려졌다.
 
◆AI칩 반격 AMD...삼성 손잡고 12단 HBM3E 적용

리사 수 CEO는 이날 컴퓨텍스 개막 기조연설을 통해 "마이크로소프트, 오픈AI, 스태빌리티AI 등 전 세계 주요 생성 AI 기업이 AMD의 AI 가속기(AI 반도체)를 속속 도입하고 있다"며 "AMD AI 가속기 성능과 기술 경쟁력을 입증한 것"이라고 밝혔다. 

생성 AI 열풍에 따른 AI 반도체 대전 1라운드는 메모리·입출력·소프트웨어 기술 등 차곡차곡 관련 준비를 해온 엔비디아가 압승했지만, 매개변수(파라미터)가 1조개가 넘는 준 AGI(일반인공지능) 시대를 앞두고 열릴 2라운드 경쟁에선 AMD가 본격적으로 반격에 나서는 모양새다.

수 CEO에 따르면 AMD는 올해 말 12단 HBM3E D램을 탑재한 인스팅트 MI325X를 고객사에 공급하는 데 이어 2025년 차세대 아키텍처(반도체 구조) CDNA4와 TSMC N3(3㎚) 공정, 12단 HBM3E를 적용한 MI350을 출시할 계획이다. 

경쟁사 엔비디아가 아키텍처를 우선 호퍼에서 블랙웰로 바꾸고 HBM D램은 그대로 유지한 것과 달리 AMD는 아키텍처는 CDNA3로 그대로 두고 HBM D램만 우선 HBM3에서 HBM3E로 강화한 것이다. 이는 HBM D램의 막대한 용량이 필요한 초거대 AI 학습 시장에서 엔비디아에 더는 밀릴 수 없다는 판단에서 내린 전략적 결정으로 풀이된다.

실제로 HBM D램을 신형으로 교체함으로써 칩당 192GB 용량을 제공했던 전작 MI300과 달리 MI325X는 칩당 288GB의 용량을 제공해 매개변수 1조개 이상의 초거대 AI 학습·추론을 수월하게 처리할 수 있다고 AMD 측은 강조했다. 

다만 메모리 컨트롤러를 포함한 MI325X의 설계 자체는 MI300과 동일하기 때문에 초당 10TB(테라바이트)에 달하는 12단 HBM3E D램(8개 기준)의 막대한 대역폭(시간당 전송할 수 있는 데이터양)을 모두 활용하지는 못한다. MI325X의 대역폭은 초당 6TB 수준으로 알려졌다. MI350으로 전환해야 초당 10TB의 대역폭을 모두 활용할 수 있을 전망이다.

MI325X에 탑재하는 12단 HBM3E D램은 삼성전자가 공급한다. 이날 수 CEO는 기조연설 후 기자간담회에서 "삼성전자는 AMD의 훌륭한 파트너 기업"이라며 "HBM에서 삼성전자와 협력하고 있는 것은 매우 기쁘며 앞으로도 양사가 더 많은 것을 이뤄나갈 수 있을 것"이라고 말했다.

AMD는 2026년 차세대 아키텍처(CDNA Next)를 적용한 MI400 출시 계획도 알렸다. MI400에 탑재하는 AI 메모리는 미정이지만, 출시시기와 엔비디아와 경쟁 상황 등을 고려하면 HBM4 D램을 탑재할 것이 유력시된다.

◆영원한 아군도 적도 없어...HBM 합종연횡 본격화

엔비디아와 AMD가 연말 신형 AI 반도체를 시장에 투입함에 따라 두 회사에 HBM3E D램을 공급하는 SK하이닉스와 삼성전자의 매출·영업이익도 함께 늘어날 것으로 기대된다.

공급망 상황으로 인해 올해 말 엔비디아·SK하이닉스대 AMD·삼성전자라는 AI 반도체 경쟁 구도가 형성됐지만, 비즈니스에 영원한 적도 아군도 없는 만큼 내년에는 관련 구도가 얼마든지 달라질 수 있다. 실제로 삼성전자는 엔비디아에 12단 HBM3E D램을 공급하기 위한 공급테스트를 지속해서 진행 중이고, AMD는 SK하이닉스로부터 HBM D램을 공급받기 위해 관련 협의를 진행하고 있는 것으로 알려졌다.

HBM D램 양대 고객사인 엔비디아와 AMD가 HBM4 D램 채택을 공식화함에 따라 SK하이닉스와 삼성전자의 물밑 기술 경쟁도 한층 치열해질 전망이다.

경쟁에서 앞서고 있는 곳은 SK하이닉스다. HBM4 개발 관련 일정을 모두 공개하며 HBM D램 관련 경쟁력을 자신하고 있다. 김귀욱 SK하이닉스 HBM선행기술팀장은 지난달 서울 광진구 그랜드워커힐서울에서 열린 '국제메모리워크숍(IMW) 2024' 행사에서 "이르면 2025년 HBM4 개발을 완료하고 양산에 나설 것"이라고 밝혔다. 

김 팀장은 "그동안 2년 주기로 HBM D램 제품을 개발했는데, 최근 기술 발전으로 이 주기가 1년가량 빨라졌다"고 말한 바 있다. 고객사인 엔비디아가 신제품 출시 주기를 앞당긴 것을 사전에 파악하고 한 발언으로 풀이된다.

SK하이닉스는 GTC 2024 행사에서 HBM4는 D램칩을 8~12단 적층하는 HBM3E와 달리 16단을 쌓음으로써 데이터 처리 용량을 48GB로 확대하겠다고 밝힌 바 있다. D램칩은 전작과 동일한 1b㎚(10나노급) D램을 채택할 전망이다. 이를 통해 HBM4는 전작 HBM3E와 비교해 △대역폭은 1.4배 △집적도는 1.3배 △전력효율은 30% 개선될 예정이다. 적층 기술로는 칩과 칩을 바로 결합하는 '하이브리드 본딩'보다 액체 보호제를 활용하는 기존 '첨단 MR-MUF' 방식을 채택할 예정이다. 

삼성전자도 HBM D램 개발팀을 이원화하며 신제품 개발 속도를 끌어올리고 있다. HBM3E는 기존 HBM 개발을 맡던 'D램 설계팀'이, HBM4는 최근 신설한 'HBM 개발팀'이 전담하기로 했다. 올 하반기 HBM4 개발·양산 관련 구체적인 로드맵을 공개할 전망이다.