고대역폭 메모리(HBM)는 AI 훈련, 고성능 컴퓨팅, 고급 그래픽 애플리케이션의 끝없는 수요에 힘입어 빠른 속도로 계속 발전하고 있습니다. 삼성과 SK하이닉스가 HBM 혁신을 주도하고 있으며, 두 회사 모두 스택당 1.5 TB/s를 초과하는 대역폭과 48GB 이상의 용량을 갖춘 HBM4 및 HBM3E+ 제품을 개발하고 있습니다.
현재 양산 중인 HBM3E는 HBM3에 비해 상당한 도약을 나타냅니다. 핀당 최대 9.6 Gbps의 증가된 데이터 레이트와 개선된 전력 전달을 통해 스택당 1.15 TB/s를 초과하는 대역폭으로, HBM3E는 NVIDIA, AMD, Intel의 최신 AI 가속기가 대규모 데이터셋을 효율적으로 처리할 수 있게 합니다. 8개의 GPU에 각각 6개의 HBM3E 스택이 장착된 일반적인 AI 훈련 시스템은 55 TB/s를 초과하는 총 메모리 대역폭을 달성할 수 있습니다—정말 놀라운 성능입니다.
| 세대 | 스택당 대역폭 | 스택당 용량 | 상태 | 주요 애플리케이션 |
|---|---|---|---|---|
| HBM3 | 819 GB/s | 24 GB | 양산 | AI 훈련, 데이터센터 GPU |
| HBM3E | 1152 GB/s | 36 GB | 양산 | 대규모 언어 모델, HPC |
| HBM3E+ | 1.5 TB/s | 48 GB | 개발 중 | 차세대 AI 가속기 |
| HBM4 | 2+ TB/s | 64+ GB | 연구 | 미래 AI, 양자 시스템 |
미래 HBM 세대는 상당한 기술적 과제에 직면해 있습니다. 2+ TB/s 대역폭을 달성하려면 TSV 밀도, 초고속 신호 무결성, 고밀도 3D 스택의 열 관리, 수백 암페어를 공급할 수 있는 전력 전달 네트워크에서 극적인 개선이 필요합니다. 삼성은 TSV 형성을 위한 고급 EUV 리소그래피와 더 미세한 피치 인터커넥트를 위한 하이브리드 본딩을 포함한 새로운 재료와 제조 기술을 탐구하고 있습니다.
CXL(Compute Express Link)은 메모리 확장 장치 및 여러 서버 간 리소스 풀링에 대한 캐시 일관성 있는 접근을 가능하게 함으로써 데이터센터 메모리 아키텍처를 혁신하고 있습니다. CXL은 PCIe 물리 계층 위에 구축되지만 메모리 시맨틱, 캐시 일관성, 동적 용량 관리를 위한 프로토콜을 추가합니다. 이를 통해 기존 DIMM 기반 아키텍처로는 불가능한 유연한 메모리 구성이 가능해집니다.
SK하이닉스는 2022년에 최초의 CXL-DRAM 모듈을 시연했으며, 삼성은 2023년에 대용량 CXL 메모리 제품을 출시했습니다. 이러한 CXL 메모리 확장기는 PCIe 슬롯을 통해 연결되어 프로세서에 로컬 DRAM으로 보이는 수백 기가바이트 또는 테라바이트의 추가 메모리를 제공합니다. CXL 메모리는 직접 연결된 DDR5보다 높은 레이턴시를 가지지만(수십 나노초 대비 수백 나노초), 기가바이트당 더 낮은 비용으로 훨씬 더 큰 메모리 풀을 가능하게 합니다.
| 특징 | 기존 DIMM | CXL 메모리 | 이점 |
|---|---|---|---|
| 서버당 용량 | DIMM 슬롯으로 제한 (일반적으로 2-4TB) | CXL 장치당 여러 테라바이트 | 10배 이상 용량 증가 |
| 핫 플러그 기능 | 지원되지 않음 | 핫 플러그 및 핫 스왑 | 온라인 용량 업그레이드 |
| 리소스 풀링 | 불가능 | 여러 호스트 간 공유 | 향상된 활용도 |
| GB당 비용 | 더 높음 (DRAM 가격) | 더 낮음 (다양한 메모리 유형) | TCO 감소 |
CXL은 다양한 성능과 비용 특성을 가진 서로 다른 메모리 유형을 혼합하는 이종 메모리 아키텍처를 가능하게 합니다. 핫 데이터를 위한 빠르지만 비싼 HBM, 웜 데이터를 위한 중간 수준의 DDR5, 콜드 데이터를 위한 느리지만 대용량 CXL—모두 통합된 주소 공간으로 나타납니다. 소프트웨어가 데이터 배치를 관리하거나, 하드웨어가 접근 패턴에 따라 자동으로 계층 간 데이터를 마이그레이션할 수 있습니다. 이러한 계층화된 메모리 접근 방식은 대부분의 워크로드에서 성능을 유지하면서 데이터센터 비용을 크게 줄일 것으로 약속됩니다.
전통적인 폰 노이만 컴퓨터 아키텍처는 병목 현상을 만듭니다: 데이터가 물리적으로 분리된 메모리와 프로세서 사이를 이동해야 하며, 에너지와 시간을 소비합니다. PIM(Processing-in-Memory)과 Near-Memory Computing은 데이터를 계산으로 가져오는 대신 계산을 데이터로 가져와 이 문제를 해결합니다. 이는 처리는 단순하지만 데이터 양이 방대한 데이터 집약적 작업에 특히 유리합니다—정확히 많은 AI 워크로드의 특성입니다.
삼성의 HBM-PIM은 HBM 스택에 계산 기능이 있는 로직 다이를 추가합니다. 이 로직은 데이터를 메인 프로세서로 전송하지 않고 HBM 자체 내에서 벡터 덧셈, 곱셈 또는 행렬 연산과 같은 작업을 수행할 수 있습니다. 대역폭 제한적인 AI 훈련의 경우, 이는 전력 소비를 줄이면서 성능을 크게 향상시킵니다. SK하이닉스도 메모리 내 계산을 위한 유사한 AiM(Accelerator in Memory) 제품을 개발하고 있습니다.
PIM 애플리케이션은 AI를 넘어 데이터베이스(메모리 내 조인 및 집계), 과학 계산(희소 행렬 연산), 데이터 분석(필터링 및 변환)으로 확장됩니다. 과제는 프로그래밍 모델입니다: PIM은 메모리 내 처리를 효과적으로 활용하기 위한 새로운 소프트웨어 인터페이스와 컴파일러 지원이 필요합니다. CXL 및 SNIA를 포함한 업계 컨소시엄이 더 넓은 채택을 위해 PIM 프로그래밍 모델을 표준화하는 작업을 하고 있습니다.
생물학적 신경망에서 영감을 받은 뉴로모픽 컴퓨팅은 기존 폰 노이만 설계와 근본적으로 다른 메모리 아키텍처가 필요합니다. 생물학적 시냅스는 계산(가중치 업데이트)과 메모리(가중치 저장)를 단일 요소에서 결합하여 메모리 병목 현상을 제거합니다. 뉴로모픽 시스템은 프로세서와 메모리 모두의 역할을 하는 장치를 통해 이를 복제하는 것을 목표로 합니다.
RRAM, PCM, MRAM과 같은 신흥 메모리 기술은 뉴로모픽 애플리케이션에 특히 유망합니다. 이러한 장치는 생물학적 학습과 유사하게 전기 펄스를 통해 업데이트되는 시냅스 가중치를 구현할 수 있습니다. 멤리스티브 장치의 크로스바 어레이는 대규모 병렬 연산을 가능하게 합니다: 행에 적용된 단일 전압 펄스가 수천 개의 시냅스를 동시에 업데이트할 수 있으며, 기존 아키텍처로는 불가능한 처리량과 에너지 효율을 달성합니다.
삼성과 SK하이닉스 모두 뉴로모픽 메모리 연구에 투자하고 있으며, 시냅스 가중치 저장을 위한 RRAM 및 PCM 어레이를 탐구하고 있습니다. 과제에는 장치 변동성(생물학적 시스템은 불완전함을 허용하지만 디지털 시스템은 그렇지 않음), 제한된 정밀도(아날로그 가중치 대 디지털 정밀도), 프로그래밍 복잡성이 포함됩니다. 그러나 패턴 인식, 감각 처리, 특정 AI 워크로드와 같은 특정 애플리케이션의 경우 뉴로모픽 시스템은 에너지 효율에서 수 자릿수 수준의 이점을 제공할 수 있습니다.
양자 컴퓨팅은 양자 상태(큐비트)를 저장하고 조작할 수 있는 특화된 메모리 시스템이 필요합니다. 0 또는 1인 클래식 비트와 달리 큐비트는 두 상태의 중첩으로 존재하여 양자 병렬성을 가능하게 합니다. 그러나 양자 상태는 극도로 취약하여 디코히런스를 통해 마이크로초 만에 저하됩니다. 양자 메모리는 빠른 읽기/쓰기 접근을 제공하면서 유용한 계산을 위해 충분히 오래 일관성을 유지해야 합니다.
양자 메모리에 대한 여러 접근 방식이 탐구되고 있습니다. IBM과 Google이 사용하는 초전도 큐비트는 밀리켈빈 온도에서 작동하는 조셉슨 접합을 사용합니다. IonQ 등의 이온 트랩 시스템은 개별 원자를 큐비트로 사용하며, 양자 상태는 전자 또는 핵 스핀에 저장됩니다. 광자 양자 컴퓨터는 광자를 큐비트로 사용하며, 양자 메모리는 광 공동 또는 원자 앙상블을 통해 구현됩니다.
클래식-양자 하이브리드 시스템은 클래식 메모리(DDR, HBM)와 양자 시스템 간의 고속 인터페이스가 필요합니다. 빠른 판독 및 피드백—양자 측정을 처리하고 마이크로초 내에 제어 펄스를 생성—에는 특화된 메모리와 제어 전자장치가 필요합니다. 한국 반도체 기업들은 특히 극저온 전자장치와 고속 제어 시스템에서 양자 컴퓨팅 공급망의 기회를 탐색하고 있습니다.
엣지 AI—클라우드가 아닌 기기에서 인공지능을 실행—는 데이터센터 AI와 다른 메모리 요구사항을 가집니다. 전력 소비가 가장 중요하고(배터리 구동 장치), 대역폭은 중간 수준이며(대규모 데이터셋 대신 센서 데이터 처리), 비용은 낮아야 합니다(소비자 및 산업용 IoT). 이러한 제약은 데이터센터 HBM 및 DDR5와 다른 메모리 솔루션을 선호합니다.
삼성과 SK하이닉스는 엣지 AI에 최적화된 특화된 LPDDR5X 및 임베디드 DRAM을 제공합니다. 1.01V에서 작동하고 적극적인 전력 게이팅을 사용하는 이러한 메모리는 최소한의 전력 소비(1W 미만)로 합리적인 대역폭(6-8 GB/s)을 제공합니다. 스마트폰 AI, 스마트 카메라, 자율 로봇과 같은 애플리케이션에 이 균형은 이상적입니다. 일부 엣지 AI 시스템은 초저전력 동작을 위해 외부 DRAM을 완전히 제거하고 온칩 SRAM만 사용합니다.
| AI 도메인 | 메모리 유형 | 용량 | 주요 제약 |
|---|---|---|---|
| 데이터센터 훈련 | HBM3E, DDR5 | 수백 GB | 대역폭 |
| 엣지 추론 | LPDDR5X, 임베디드 DRAM | 4-16 GB | 전력 |
| TinyML/MCU | SRAM, Flash | 수백 KB ~ MB | 비용, 크기 |
| 자동차 | LPDDR4/5, 자동차용 DDR4 | 8-32 GB | 신뢰성, 온도 |
신흥 NVM(비휘발성 메모리) 기술은 엣지 AI에 고유한 이점을 제공합니다. MRAM의 비휘발성, 빠른 접근, 내구성의 조합은 자주 업데이트되는 AI 모델 파라미터에 이상적입니다. ReRAM의 메모리 내 계산 잠재력은 전력 효율적인 추론에 대한 엣지 AI의 요구와 잘 맞습니다. 이러한 기술이 성숙하고 비용이 감소함에 따라 많은 엣지 애플리케이션에서 기존 SRAM 및 DRAM을 대체할 수 있습니다.
메모리 제조 및 운영은 엄청난 양의 에너지와 물을 소비합니다. 현대 팹은 매일 수백만 갤런의 초순수 물과 수백 메가와트의 전력을 사용합니다. 데이터센터 메모리는 총 서버 전력 소비의 10-20%를 차지합니다. 환경 문제가 심화되고 에너지 비용이 상승함에 따라 지속 가능한 메모리 기술은 윤리적 의무이자 경제적 필요성이 됩니다.
삼성과 SK하이닉스는 2040-2050년까지 운영에서 탄소 중립을 약속했습니다—제조 공정, 에너지원, 제품 설계에서 대규모 변화가 필요합니다. 전략에는 재생 에너지 채택(태양광, 풍력), 공정 효율 개선(물 및 화학물질 사용 감소), 제품의 고급 전력 관리, 재활용 가능한 설계가 포함됩니다. DDR5의 DDR4 대비 20% 에너지 효율 개선은 이 방향의 진전을 예시합니다.
미래 메모리 기술은 처음부터 환경 영향을 고려해야 합니다. 지속 가능한 재료, 폐쇄 루프 물 시스템, 폐열 회수, 수명 종료 재활용은 나중에 추가하는 것이 아니라 제품 설계에 통합되어야 합니다. WIA-MEMORY-SEMICONDUCTOR 표준은 弘益人間 철학에 부합하는 지속 가능성 가이드라인을 통합하여 메모리 기술의 발전이 미래 세대를 위해 환경을 보존하면서 인류에게 이익이 되도록 보장합니다.