CPU(중앙처리장치) 업계 강자인 인텔의 차세대 인공지능(AI) 반도체가 엔비디아 AI 반도체(데이터센터 GPU)를 넘어서는 성능을 가진 것으로 확인됐다. 생성 AI로 인한 전 세계적인 AI 반도체 확보 열풍으로 관련 시장을 사실상 독점하고 있는 엔비디아가 반도체업계 시가총액 1위를 차지한 상황에서 과거 반도체업계 제왕이었던 인텔이 반격에 나선 것이다. 국내 AI 반도체 업체들도 올 하반기 2세대 AI 반도체를 속속 공개하며 엔비디아 자리 흔들기에 본격적으로 나서고 있다.
10일 탐스하드웨어 등 외신에 따르면 인텔이 최근 출시한 AI 반도체 ‘가우디2(Gaudi 2)’가 AI 모델 플랫폼 ‘허깅페이스’의 브리지트타워 벤치마크 기준 ‘VL(Vision-Language·이미지 생성) AI 모델’ 추론(실행) 성능이 엔비디아 ‘A100’보다 2.5배, ‘H100’보다 1.4배 우수한 것으로 나타났다. 인텔 최신 AI 반도체의 처리 능력이 엔비디아 최신 AI 반도체보다 1.4배, 이전 세대 AI 반도체보다 2.5배 빠르다는 것이다.
인텔·AMD를 포함해 전 세계 많은 반도체 기업과 스타트업이 엔비디아의 독주를 견제하기 위해 다양한 AI 반도체를 선보였지만 지금까지 같은 세대 엔비디아 제품 성능을 넘어섰다는 평가를 받은 AI 반도체는 하나도 없었다. 하지만 가우디2가 H100을 넘어서는 벤치마크 결과를 내놓음에 따라 마침내 이 공식이 깨지게 됐다. 기업 실무에서 엔비디아 제품 대신 활용할 수 있는 성능을 입증한 것이다.
학계·언론 등에서는 엔비디아가 AI 반도체 업계에서 독주하는 이유로 AI 모델과 AI 반도체를 연결하는 ‘쿠다’ 라이브러리 경쟁력을 꼽지만 기업에선 조금 다르게 본다. 현재 시중에 나와 있는 대부분 AI 반도체가 엔비디아와 비교해 AI 모델 학습·추론 성능이 떨어져 현업에 활용하기 어렵다는 것이다.
네이버클라우드에서 AI 모델 최적화와 AI 반도체 디자인을 맡고 있는 이동수 이사는 “AI 반도체는 사실 개발자 친화적이지 않아도 된다. AI 모델 학습·추론을 위한 성능만 나오면 쓰고 싶어하는 회사는 네이버를 포함해 많이 있다”며 “기업이 원하는 것은 우수한 성능을 가진 AI 반도체다. (기업 실무에 활용하려면) 최소 A100 이상으로 성능이 나와야 한다”고 강조했다. 엔비디아 외에 다른 AI 반도체 업체들이 시장에서 고전하는 이유를 설명한 것이다. 네이버는 초거대 AI ‘하이퍼클로바X’ 상용화를 위해 2년 반 동안 약 5000억원을 엔비디아 AI 반도체 구매에 투자한 바 있다.
가우디는 인텔이 2019년 20억 달러(약 2조6000억원)에 인수한 이스라엘 AI 스타트업 ‘하바나랩스’가 개발한 AI 반도체다. AI 반도체 시장에서 엔비디아에 뒤처지고 있음을 느낀 인텔은 거액을 투자해 당시 시장에서 가장 앞선 AI 반도체 기술을 보유하고 있다고 평가받은 스타트업을 인수해서 마침내 성과를 냈다.
인텔에 따르면 가우디2가 우수한 성능을 낼 수 있는 비결은 데이터 병목 현상을 최소화한 것에 있다. 데이터 병목 현상은 AI 반도체가 처리한 데이터를 CPU에 전달한 후 추가 데이터를 기다리는 동안 할 일이 없어 잠시나마 멈추는 것에서 주로 일어난다. 가우디2는 HBM(고대역메모리) D램뿐 아니라 CPU 코어마저 AI 반도체에 통합함으로써 병목현상으로 AI 반도체 코어가 노는 일이 없도록 했다. 엔비디아도 이렇게 CPU·D램을 AI 반도체로 통합한 차세대 AI 반도체 ‘GH200’을 내년 2분기 출시를 목표로 준비 중이다.
다만 업계에선 가우디2도 아직 가야 할 길이 멀다고 평가한다. 이번 벤치마크에 활용한 VL AI 모델은 여러 종류의 트랜스포머(AI 모델 핵심 기술) 모델 가운데 키워드를 이해하고 연관 이미지·동영상을 만드는 데 특화한 기술이다. △스테이블 디퓨전 △미드저니 △카카오 칼로 등 이미지 생성 AI 모델을 추론할 때는 엔비디아 제품보다 우수할 수 있지만 △챗GPT △GPT-4 △네이버 클로바X 등 언어 생성 AI 모델을 추론할 때 성능은 이번 벤치마크로 알기 어렵다. 실제로 업계에 따르면 가우디2의 언어모델(BERT-L) 추론 성능은 A100보다는 우수하지만 H100보다는 떨어지는 것으로 알려졌다. 따라서 가우디2는 이미지 생성 서비스를 개발·운영하려는 기업과 스타트업을 중심으로 수요가 확대될 전망이다.
◆엔비디아 대안 찾는 기업들···K-AI 반도체 기업에 주목
AI 반도체 수요 폭증으로 엔비디아에서 H100을 공급받으려면 최소 내년 초까지 기다려야 한다는 사실이 알려지면서 많은 기업이 엔비디아의 대안을 찾고 있다. 가장 유력한 대안은 엔비디아 제품에 근접한 성능을 내면서 쿠다 라이브러리를 대체할 수 있는 자체 AI 모델-AI 반도체 연결 소프트웨어를 보유한 인텔과 AMD다.
AMD는 올해 차세대 AI 반도체 인스팅트’ MI300A’와 ‘MI300X’를 잇따라 공개하며 탈엔비디아 전선 선봉에 섰다. MI300A는 CPU와 AI 반도체를 통합한 통합칩이고, MI300X는 AI 반도체로만 구성한 성능 우선 칩이다. AMD의 AI 반도체는 전 세계 1위 성능을 갖춘 슈퍼컴퓨터인 미국 오크리지 연구소 ‘프런티어’에 대량 탑재되며 그 성능을 입증했다. 국내에서도 KT클라우드, 스마일서브 등 클라우드 업체가 AMD의 AI 반도체를 활용한 GPU팜을 구성하며 탈엔비디아 행보에 동참한다. 두 회사는 시장 내 AMD AI 반도체 수요를 우선 확인하고 지속해서 GPU팜 규모를 확대할 계획이다.
인텔은 추론에 강점을 보이는 가우디2와 함께 학습용 AI 반도체 ‘데이터센터 GPU 맥스’를 공개한 바 있다. 데이터센터 GPU 맥스가 데뷔하는 무대는 2엑사플롭스(EFLOPS)급 성능으로 전 세계 1위 슈퍼컴퓨터 자리를 예약한 미국 아르곤 연구소 ‘오로라’가 될 전망이다. 올 하반기 오로라가 공개되면 기업·연구소에서 AI 반도체 주문이 잇따를 것으로 인텔 측은 기대하고 있다.
퓨리오사AI, 사피온, 리벨리온 등 국내 AI 반도체 업체들도 엔비디아의 대안이 될 수 있다는 인식을 확고히 하기 위해 2세대 제품 출시에 속도를 내고 있다. 삼성전자와 네이버도 최근 AI 반도체 기초 설계를 마치고 본 게임인 ASIC(전용 반도체) 설계 과정에 착수한 것으로 알려졌다.
퓨리오사AI는 차세대 AI 반도체 ‘레니게이드’ 설계를 마치고 이달 중 TSMC 5㎚ 공정에 전달하는 테이프 아웃 과정을 진행한다. 레니게이드는 국산 AI 반도체 가운데 최초로 HBM 메모리를 탑재해 초거대 언어모델 학습·추론 성능을 강화한 것이 특징이다. 기존 국산 AI 반도체는 GDDR 또는 LPDDR D램을 탑재해 한번에 처리할 수 있는 데이터 양이 적은 한계가 있었다. 따라서 일반 언어모델은 몰라도 초거대 언어모델 학습·추론에는 적합하지 않다는 평가를 받았다.
이러한 레니게이드 성능에 대한 자신감을 토대로 퓨리오사AI는 자체 초거대 AI ‘엑사원’을 개발한 LG AI연구원과 협력해 레니게이드로 엑사원 기반 생성 AI 상용 기술 검증에도 나선다. LG AI연구원의 평가와 피드백을 AI 반도체 설계·개발·양산 전 과정에 반영함으로써 기업 실무에서 바로 쓸 수 있는 AI 반도체를 만들겠다는 것이다.
사피온은 올해 11월 서울 코엑스에서 개최되는 SK 테크 서밋에서 차세대 추론용 AI 반도체 'X330'을 공개하고 내년부터 본격적으로 기업 고객에 공급할 계획이다. TSMC 7㎚ 공정에서 생산하는 X330은 데이터센터뿐 아니라 자율주행차와 지능형 CCTV에 맞게 세분화된다. 사피온은 올 상반기 엔비디아 출신 마이클 셰바노 박사를 최고기술책임자(CTO)로 영입하고 학습·추론용 AI 반도체 ‘X400’ 시리즈 개발에도 나섰다. X400 시리즈는 삼성전자 5㎚ 미만 공정에서 생산될 것으로 알려졌다.
리벨리온은 올해 초 공개한 AI 반도체 ‘아톰’ 뒤를 잇는 차세대 AI 반도체 ‘아톰2(가칭)’ 개발도 마무리 단계를 밟고 있다. 아톰은 AI 반도체 성능을 평가하는 MLPerf 기준 시각지능(컴퓨터비전) 추론 성능에서 국내 AI 반도체 가운데 유일하게 엔비디아 제품(A100)을 넘어서는 성과를 내며 K-AI 반도체의 가능성을 보여줬다는 평가를 받았다. 리벨리온은 KT클라우드와 협력해 AI 반도체팜도 구성하고 이를 토대로 하는 AI 서비스 실증에도 본격적으로 나서고 있다.
삼성전자와 함께 하이퍼클로바X에 특화한 AI 반도체 개발에 나선 네이버·네이버클라우드도 복병이다. 삼성전자와 네이버는 최근 하이퍼클로바X 모델을 FPGA(용도 변경 가능한 반도체)에서 추론하는 과정을 마치고 이를 토대로 차세대 AI 반도체 설계에 나섰다. 두 회사가 만드는 차세대 AI 반도체는 경량화가 끝난 AI 모델을 저렴한 비용으로 추론하는 데 강점이 있는 것으로 알려졌다.
한편 엔비디아·인텔·AMD를 필두로 국내 기업도 2세대 AI 반도체 개발·양산에 속도를 냄에 따라 HBM 또는 GDDR D램을 공급하는 삼성전자와 SK하이닉스의 수익성도 크게 개선될 전망이다. 업계에 따르면 엔비디아 H100 원가는 3320달러(약 440만원)이며 이 가운데 SK하이닉스가 공급하는 HBM3 D램 원가는 약 400달러(약 53만원)로 추산된다. H100 한 장이 팔릴 때마다 SK하이닉스 매출이 53만원씩 늘어나는 것이다. 이러한 HBM D램의 높은 수익성에 삼성전자도 인텔·AMD뿐 아니라 엔비디아로 HBM D램 공급처를 확대하고 있다. 저가 AI 반도체에는 HBM 대신 GDDR D램이 탑재되는 만큼 최근 업계 최초로 GDDR7 D램을 개발한 삼성전자가 큰 수혜를 입을 전망이다.
10일 탐스하드웨어 등 외신에 따르면 인텔이 최근 출시한 AI 반도체 ‘가우디2(Gaudi 2)’가 AI 모델 플랫폼 ‘허깅페이스’의 브리지트타워 벤치마크 기준 ‘VL(Vision-Language·이미지 생성) AI 모델’ 추론(실행) 성능이 엔비디아 ‘A100’보다 2.5배, ‘H100’보다 1.4배 우수한 것으로 나타났다. 인텔 최신 AI 반도체의 처리 능력이 엔비디아 최신 AI 반도체보다 1.4배, 이전 세대 AI 반도체보다 2.5배 빠르다는 것이다.
인텔·AMD를 포함해 전 세계 많은 반도체 기업과 스타트업이 엔비디아의 독주를 견제하기 위해 다양한 AI 반도체를 선보였지만 지금까지 같은 세대 엔비디아 제품 성능을 넘어섰다는 평가를 받은 AI 반도체는 하나도 없었다. 하지만 가우디2가 H100을 넘어서는 벤치마크 결과를 내놓음에 따라 마침내 이 공식이 깨지게 됐다. 기업 실무에서 엔비디아 제품 대신 활용할 수 있는 성능을 입증한 것이다.
학계·언론 등에서는 엔비디아가 AI 반도체 업계에서 독주하는 이유로 AI 모델과 AI 반도체를 연결하는 ‘쿠다’ 라이브러리 경쟁력을 꼽지만 기업에선 조금 다르게 본다. 현재 시중에 나와 있는 대부분 AI 반도체가 엔비디아와 비교해 AI 모델 학습·추론 성능이 떨어져 현업에 활용하기 어렵다는 것이다.
네이버클라우드에서 AI 모델 최적화와 AI 반도체 디자인을 맡고 있는 이동수 이사는 “AI 반도체는 사실 개발자 친화적이지 않아도 된다. AI 모델 학습·추론을 위한 성능만 나오면 쓰고 싶어하는 회사는 네이버를 포함해 많이 있다”며 “기업이 원하는 것은 우수한 성능을 가진 AI 반도체다. (기업 실무에 활용하려면) 최소 A100 이상으로 성능이 나와야 한다”고 강조했다. 엔비디아 외에 다른 AI 반도체 업체들이 시장에서 고전하는 이유를 설명한 것이다. 네이버는 초거대 AI ‘하이퍼클로바X’ 상용화를 위해 2년 반 동안 약 5000억원을 엔비디아 AI 반도체 구매에 투자한 바 있다.
가우디는 인텔이 2019년 20억 달러(약 2조6000억원)에 인수한 이스라엘 AI 스타트업 ‘하바나랩스’가 개발한 AI 반도체다. AI 반도체 시장에서 엔비디아에 뒤처지고 있음을 느낀 인텔은 거액을 투자해 당시 시장에서 가장 앞선 AI 반도체 기술을 보유하고 있다고 평가받은 스타트업을 인수해서 마침내 성과를 냈다.
인텔에 따르면 가우디2가 우수한 성능을 낼 수 있는 비결은 데이터 병목 현상을 최소화한 것에 있다. 데이터 병목 현상은 AI 반도체가 처리한 데이터를 CPU에 전달한 후 추가 데이터를 기다리는 동안 할 일이 없어 잠시나마 멈추는 것에서 주로 일어난다. 가우디2는 HBM(고대역메모리) D램뿐 아니라 CPU 코어마저 AI 반도체에 통합함으로써 병목현상으로 AI 반도체 코어가 노는 일이 없도록 했다. 엔비디아도 이렇게 CPU·D램을 AI 반도체로 통합한 차세대 AI 반도체 ‘GH200’을 내년 2분기 출시를 목표로 준비 중이다.
다만 업계에선 가우디2도 아직 가야 할 길이 멀다고 평가한다. 이번 벤치마크에 활용한 VL AI 모델은 여러 종류의 트랜스포머(AI 모델 핵심 기술) 모델 가운데 키워드를 이해하고 연관 이미지·동영상을 만드는 데 특화한 기술이다. △스테이블 디퓨전 △미드저니 △카카오 칼로 등 이미지 생성 AI 모델을 추론할 때는 엔비디아 제품보다 우수할 수 있지만 △챗GPT △GPT-4 △네이버 클로바X 등 언어 생성 AI 모델을 추론할 때 성능은 이번 벤치마크로 알기 어렵다. 실제로 업계에 따르면 가우디2의 언어모델(BERT-L) 추론 성능은 A100보다는 우수하지만 H100보다는 떨어지는 것으로 알려졌다. 따라서 가우디2는 이미지 생성 서비스를 개발·운영하려는 기업과 스타트업을 중심으로 수요가 확대될 전망이다.
AI 반도체 수요 폭증으로 엔비디아에서 H100을 공급받으려면 최소 내년 초까지 기다려야 한다는 사실이 알려지면서 많은 기업이 엔비디아의 대안을 찾고 있다. 가장 유력한 대안은 엔비디아 제품에 근접한 성능을 내면서 쿠다 라이브러리를 대체할 수 있는 자체 AI 모델-AI 반도체 연결 소프트웨어를 보유한 인텔과 AMD다.
AMD는 올해 차세대 AI 반도체 인스팅트’ MI300A’와 ‘MI300X’를 잇따라 공개하며 탈엔비디아 전선 선봉에 섰다. MI300A는 CPU와 AI 반도체를 통합한 통합칩이고, MI300X는 AI 반도체로만 구성한 성능 우선 칩이다. AMD의 AI 반도체는 전 세계 1위 성능을 갖춘 슈퍼컴퓨터인 미국 오크리지 연구소 ‘프런티어’에 대량 탑재되며 그 성능을 입증했다. 국내에서도 KT클라우드, 스마일서브 등 클라우드 업체가 AMD의 AI 반도체를 활용한 GPU팜을 구성하며 탈엔비디아 행보에 동참한다. 두 회사는 시장 내 AMD AI 반도체 수요를 우선 확인하고 지속해서 GPU팜 규모를 확대할 계획이다.
인텔은 추론에 강점을 보이는 가우디2와 함께 학습용 AI 반도체 ‘데이터센터 GPU 맥스’를 공개한 바 있다. 데이터센터 GPU 맥스가 데뷔하는 무대는 2엑사플롭스(EFLOPS)급 성능으로 전 세계 1위 슈퍼컴퓨터 자리를 예약한 미국 아르곤 연구소 ‘오로라’가 될 전망이다. 올 하반기 오로라가 공개되면 기업·연구소에서 AI 반도체 주문이 잇따를 것으로 인텔 측은 기대하고 있다.
퓨리오사AI, 사피온, 리벨리온 등 국내 AI 반도체 업체들도 엔비디아의 대안이 될 수 있다는 인식을 확고히 하기 위해 2세대 제품 출시에 속도를 내고 있다. 삼성전자와 네이버도 최근 AI 반도체 기초 설계를 마치고 본 게임인 ASIC(전용 반도체) 설계 과정에 착수한 것으로 알려졌다.
퓨리오사AI는 차세대 AI 반도체 ‘레니게이드’ 설계를 마치고 이달 중 TSMC 5㎚ 공정에 전달하는 테이프 아웃 과정을 진행한다. 레니게이드는 국산 AI 반도체 가운데 최초로 HBM 메모리를 탑재해 초거대 언어모델 학습·추론 성능을 강화한 것이 특징이다. 기존 국산 AI 반도체는 GDDR 또는 LPDDR D램을 탑재해 한번에 처리할 수 있는 데이터 양이 적은 한계가 있었다. 따라서 일반 언어모델은 몰라도 초거대 언어모델 학습·추론에는 적합하지 않다는 평가를 받았다.
이러한 레니게이드 성능에 대한 자신감을 토대로 퓨리오사AI는 자체 초거대 AI ‘엑사원’을 개발한 LG AI연구원과 협력해 레니게이드로 엑사원 기반 생성 AI 상용 기술 검증에도 나선다. LG AI연구원의 평가와 피드백을 AI 반도체 설계·개발·양산 전 과정에 반영함으로써 기업 실무에서 바로 쓸 수 있는 AI 반도체를 만들겠다는 것이다.
사피온은 올해 11월 서울 코엑스에서 개최되는 SK 테크 서밋에서 차세대 추론용 AI 반도체 'X330'을 공개하고 내년부터 본격적으로 기업 고객에 공급할 계획이다. TSMC 7㎚ 공정에서 생산하는 X330은 데이터센터뿐 아니라 자율주행차와 지능형 CCTV에 맞게 세분화된다. 사피온은 올 상반기 엔비디아 출신 마이클 셰바노 박사를 최고기술책임자(CTO)로 영입하고 학습·추론용 AI 반도체 ‘X400’ 시리즈 개발에도 나섰다. X400 시리즈는 삼성전자 5㎚ 미만 공정에서 생산될 것으로 알려졌다.
리벨리온은 올해 초 공개한 AI 반도체 ‘아톰’ 뒤를 잇는 차세대 AI 반도체 ‘아톰2(가칭)’ 개발도 마무리 단계를 밟고 있다. 아톰은 AI 반도체 성능을 평가하는 MLPerf 기준 시각지능(컴퓨터비전) 추론 성능에서 국내 AI 반도체 가운데 유일하게 엔비디아 제품(A100)을 넘어서는 성과를 내며 K-AI 반도체의 가능성을 보여줬다는 평가를 받았다. 리벨리온은 KT클라우드와 협력해 AI 반도체팜도 구성하고 이를 토대로 하는 AI 서비스 실증에도 본격적으로 나서고 있다.
삼성전자와 함께 하이퍼클로바X에 특화한 AI 반도체 개발에 나선 네이버·네이버클라우드도 복병이다. 삼성전자와 네이버는 최근 하이퍼클로바X 모델을 FPGA(용도 변경 가능한 반도체)에서 추론하는 과정을 마치고 이를 토대로 차세대 AI 반도체 설계에 나섰다. 두 회사가 만드는 차세대 AI 반도체는 경량화가 끝난 AI 모델을 저렴한 비용으로 추론하는 데 강점이 있는 것으로 알려졌다.
한편 엔비디아·인텔·AMD를 필두로 국내 기업도 2세대 AI 반도체 개발·양산에 속도를 냄에 따라 HBM 또는 GDDR D램을 공급하는 삼성전자와 SK하이닉스의 수익성도 크게 개선될 전망이다. 업계에 따르면 엔비디아 H100 원가는 3320달러(약 440만원)이며 이 가운데 SK하이닉스가 공급하는 HBM3 D램 원가는 약 400달러(약 53만원)로 추산된다. H100 한 장이 팔릴 때마다 SK하이닉스 매출이 53만원씩 늘어나는 것이다. 이러한 HBM D램의 높은 수익성에 삼성전자도 인텔·AMD뿐 아니라 엔비디아로 HBM D램 공급처를 확대하고 있다. 저가 AI 반도체에는 HBM 대신 GDDR D램이 탑재되는 만큼 최근 업계 최초로 GDDR7 D램을 개발한 삼성전자가 큰 수혜를 입을 전망이다.