SK하이닉스 박경 "AI 메모리는 언제나 부족…CXL이 해법"
2024-08-27 18:01
최종현학술원 'AI 반도체' 특별 강연
CXL 튜닝… 시스템 아키텍처 적용 목표
CXL 튜닝… 시스템 아키텍처 적용 목표
27일 오후 서울 강남구 역삼동 한국고등교육재단 빌딩에서 열린 최종현학술원 'AI 반도체' 특별강연에서 박경 SK하이닉스 시스템아키텍처 담당 부사장이 강연하고 있다. [사진=김민우 기자]
SK하이닉스가 차세대 메모리 융합 기술인 컴퓨트익스프레스링크(CXL) 로드맵을 밝혔다.
박경 SK하이닉스 시스템아키텍처 담당 부사장은 27일 오후 서울 강남구 한국고등교육재단빌딩에서 열린 최종현학술원 과학혁신 특별강연에서 "인공지능(AI) 메모리는 그래픽처리장치(GPU) 메모리다"며 "고대역폭 메모리(HBM)가 메모리 양이 그리 크지 않아 항상 메모리가 헝그리(부족) 할 수 밖에 없다"고 설명했다.
박 담당은 "(이렇듯) 메모리 헝그리한 XPU(이종 컴퓨팅 플랫폼)에 CXL 메모리를 붙여 해결 할 수 없을까 고민하고 있다"며 "CXL 메모리를 AI 방향으로 튜닝하고 있다"고 밝혔다.
이어 "CXL을 거대언어모델(LLM)또는 AI들이 운영하는 데 있어 필요한 캐퍼시티 기준으로 차근차근 준비해 시스템 아키텍처에 적용하는게 목표다"고 말했다.
SK하이닉스는 올해 하반기 상용화를 목표로 DDR5 기반 96GB·128GB CXL 2.0 메모리 솔루션 제품을 개발 중이다.
CXL은 고성능 컴퓨팅 시스템에서 중앙처리장치(CPU), GPU, 메모리 등을 효율적으로 연결하는 인터커넥트 기술이다. HBM이 대역폭을 늘리는 기술이라면 CXL은 용량을 확대하는 기술로 대용량·고대역폭 AI 메모리 시장에서 주목받고 있다.
또 박 부사장은 CPU가 시스템 성능을 주도한 기존 시스템과 달리 AI 시스템은 메모리가 시스템 성능을 주도한다고 강조했다.
그는 "과거 D램은 CPU에 붙어 CPU가 하는 일을 도와주는 메모리였는데, AI LLM은 메모리가 칩 옆에 가까이 붙어 최대한 데이터를 많이 '펌핑'해줘야 한다"고 설명했다.
이어 "이런 형태로 시스템 구조가 바뀌고, 반도체부터 애플리케이션까지 한꺼번에 바뀌어야 문제가 해결된다"고 덧붙였다.
박경 SK하이닉스 시스템아키텍처 담당 부사장은 27일 오후 서울 강남구 한국고등교육재단빌딩에서 열린 최종현학술원 과학혁신 특별강연에서 "인공지능(AI) 메모리는 그래픽처리장치(GPU) 메모리다"며 "고대역폭 메모리(HBM)가 메모리 양이 그리 크지 않아 항상 메모리가 헝그리(부족) 할 수 밖에 없다"고 설명했다.
박 담당은 "(이렇듯) 메모리 헝그리한 XPU(이종 컴퓨팅 플랫폼)에 CXL 메모리를 붙여 해결 할 수 없을까 고민하고 있다"며 "CXL 메모리를 AI 방향으로 튜닝하고 있다"고 밝혔다.
이어 "CXL을 거대언어모델(LLM)또는 AI들이 운영하는 데 있어 필요한 캐퍼시티 기준으로 차근차근 준비해 시스템 아키텍처에 적용하는게 목표다"고 말했다.
SK하이닉스는 올해 하반기 상용화를 목표로 DDR5 기반 96GB·128GB CXL 2.0 메모리 솔루션 제품을 개발 중이다.
CXL은 고성능 컴퓨팅 시스템에서 중앙처리장치(CPU), GPU, 메모리 등을 효율적으로 연결하는 인터커넥트 기술이다. HBM이 대역폭을 늘리는 기술이라면 CXL은 용량을 확대하는 기술로 대용량·고대역폭 AI 메모리 시장에서 주목받고 있다.
또 박 부사장은 CPU가 시스템 성능을 주도한 기존 시스템과 달리 AI 시스템은 메모리가 시스템 성능을 주도한다고 강조했다.
그는 "과거 D램은 CPU에 붙어 CPU가 하는 일을 도와주는 메모리였는데, AI LLM은 메모리가 칩 옆에 가까이 붙어 최대한 데이터를 많이 '펌핑'해줘야 한다"고 설명했다.
이어 "이런 형태로 시스템 구조가 바뀌고, 반도체부터 애플리케이션까지 한꺼번에 바뀌어야 문제가 해결된다"고 덧붙였다.