AI 칩의 핵심, HBM 메모리는 어떻게 작동할까요? 알기 쉬운 설명
현재 AI 가속기 한 개에 들어가는 HBM 메모리의 대역폭은 초당 수 테라바이트에 달합니다. 이 숫자가 실감나지 않는다면 이렇게 생각해보세요. 일반 DDR5 메모리가 초당 약 50~80GB를 처리하는 동안, HBM은 그보다 수십 배 많은 데이터를 동시에 쏟아냅니다. AI 모델이 수천억 개의 파라미터를 실시간으로 다루려면 이 속도가 절대적으로 필요합니다. HBM이 없었다면 지금 우리가 쓰는 대형 언어 모델은 현실적으로 구동하기 어려웠을 겁니다.
HBM이란 무엇인가요? 쉽게 풀어보는 정의
이름부터 이해하기
HBM은 'High Bandwidth Memory'의 약자입니다. 직역하면 '고대역폭 메모리'인데, 핵심 단어는 '대역폭'입니다. 대역폭이란 단위 시간당 얼마나 많은 데이터를 주고받을 수 있는지를 나타내는 지표입니다. 도로로 비유하면 차선 수와 같습니다. 차선이 많을수록 동시에 더 많은 차가 달릴 수 있죠.
기존 DRAM은 칩과 메모리 사이를 잇는 '데이터 버스'의 폭이 좁았습니다. 아무리 빠른 프로세서를 만들어도 메모리에서 데이터를 가져오는 통로가 좁으면 병목이 생깁니다. 이 문제를 업계에서는 '메모리 월(Memory Wall)'이라고 불렀고, HBM은 그 벽을 허물기 위해 설계된 기술입니다.
기존 메모리와 무엇이 다른가요?
일반 GDDR 메모리는 GPU 옆에 납작하게 붙어있는 형태입니다. 반면 HBM은 메모리 다이(die)를 여러 장 수직으로 쌓아 올린 뒤, 그 묶음을 GPU나 AI 칩 바로 옆에 실리콘 인터포저(interposer)라는 기판 위에 나란히 놓습니다. 물리적 거리가 극도로 짧아지고, 데이터가 오가는 통로의 수가 수천 개로 늘어납니다. 결과적으로 대역폭이 폭발적으로 증가합니다.
HBM은 어떻게 작동하나요? 핵심 기술 세 가지
TSV: 수직으로 뚫린 고속도로
HBM의 핵심 공정은 TSV(Through-Silicon Via)입니다. 실리콘 웨이퍼를 수직으로 관통하는 미세한 구멍을 뚫고 그 안에 구리를 채워 전기 신호가 위아래로 흐르게 만드는 기술입니다. 쉽게 말하면 여러 층의 메모리 칩을 수직으로 연결하는 '엘리베이터 통로'입니다. 이 구멍의 지름은 수 마이크로미터 수준으로, 머리카락 굵기의 수십 분의 일에 불과합니다.
TSV 덕분에 메모리 다이를 4개, 8개, 심지어 12개까지 쌓아도 신호가 빠르게 전달됩니다. 층이 늘어날수록 같은 면적에서 저장 용량과 대역폭이 함께 증가합니다. 이것이 HBM 세대가 거듭될수록 용량과 속도가 동시에 올라가는 이유입니다.
실리콘 인터포저: 칩들의 공용 플랫폼
HBM 스택은 단독으로 존재하지 않습니다. GPU나 AI 가속기 칩과 함께 실리콘 인터포저라는 얇은 기판 위에 나란히 올라갑니다. 이 구조 전체를 '2.5D 패키징'이라고 부릅니다. 인터포저에는 수천 개의 미세한 배선이 새겨져 있어, HBM과 프로세서 사이에 매우 넓은 데이터 통로를 제공합니다.
인터포저 없이 HBM을 일반 PCB 기판에 연결하면 배선 밀도의 한계 때문에 대역폭을 제대로 활용할 수 없습니다. 실리콘 인터포저는 비용이 상당히 높지만, 그만큼 성능 차이가 극적입니다. AI 칩 한 개의 가격이 수천만 원에 달하는 이유 중 하나가 바로 이 패키징 공정입니다.
HBM의 진짜 혁신은 메모리 자체보다 '어떻게 연결하느냐'에 있습니다. 수천 개의 TSV와 실리콘 인터포저가 없다면 아무리 빠른 메모리도 그 속도를 발휘할 수 없습니다.
HBM 세대별 진화: HBM1부터 HBM3E까지
HBM은 2013년 SK하이닉스가 처음 개발하고 2015년 AMD의 그래픽카드에 처음 상용화됐습니다. 이후 HBM2, HBM2E, HBM3, HBM3E로 세대가 이어지며 대역폭과 용량이 꾸준히 늘었습니다. HBM3E 기준으로 단일 스택의 대역폭은 초당 1TB를 넘어섰습니다. AI 가속기 하나에 여러 개의 HBM 스택이 들어가니 실제 시스템 대역폭은 그 몇 배에 달합니다.
AI 칩에서 HBM이 왜 필수가 됐나요?
트랜스포머 모델과 메모리 대역폭의 관계
GPT 계열 모델처럼 트랜스포머 구조를 쓰는 AI는 '어텐션(attention)' 연산을 반복합니다. 이 연산은 모델의 모든 파라미터를 수시로 읽고 써야 합니다. 파라미터 수가 수백억 개를 넘어가면 이 데이터를 얼마나 빨리 메모리에서 꺼내오느냐가 전체 추론 속도를 결정합니다. 연산 자체보다 메모리 접근이 병목이 되는 상황입니다.
이것을 '메모리 바운드(memory-bound)' 문제라고 합니다. 아무리 연산 코어를 늘려도 데이터 공급이 따라오지 못하면 코어들이 놀게 됩니다. HBM은 이 공급 속도를 극적으로 높여 코어 활용률을 끌어올립니다. AI 칩 설계자들이 HBM을 선택하는 이유는 단순히 '빠르기 때문'이 아니라, 다른 선택지가 없기 때문입니다.
전력 효율도 HBM이 유리한 이유
놀랍게도 HBM은 같은 대역폭을 GDDR로 구현하는 것보다 전력 소비가 낮습니다. 데이터가 이동하는 거리가 짧고 전압이 낮기 때문입니다. 데이터센터 운영자 입장에서 전력 비용은 하드웨어 구매 비용만큼이나 중요합니다. 냉각 비용까지 포함하면 전력 효율은 곧 운영 비용과 직결됩니다.
같은 대역폭을 GDDR로 구현하려면 훨씬 많은 칩과 전력이 필요합니다. HBM은 '더 빠르게'와 '더 적게 쓰게'를 동시에 달성한 드문 사례입니다.
HBM 시장은 누가 만들고 있나요?
SK하이닉스, 삼성, 마이크론의 경쟁
HBM 시장은 사실상 세 회사가 나눠 갖고 있습니다. SK하이닉스, 삼성전자, 그리고 미국의 마이크론입니다. 이 중 SK하이닉스가 HBM3E 공급에서 가장 앞서 있다는 평가를 받고 있으며, 주요 AI 가속기 제조사에 핵심 공급사로 자리잡았습니다. 삼성은 생산 규모에서 강점이 있고, 마이크론은 후발주자지만 빠르게 기술 격차를 좁히고 있습니다.
HBM 생산은 일반 DRAM보다 훨씬 복잡합니다. TSV 공정과 웨이퍼 본딩 기술이 추가되기 때문에 수율(정상 제품 비율)을 높이는 것이 매우 어렵습니다. 업계 관계자들에 따르면 초기 HBM3 양산 단계에서 수율 확보가 예상보다 오래 걸렸다는 이야기가 공공연히 알려져 있습니다. 이 기술 장벽이 신규 진입자를 막는 가장 큰 요인입니다.
공급 부족이 AI 산업 전체를 흔드는 이유
HBM은 만들기 어렵고 시간도 오래 걸립니다. 일반 DRAM 생산 라인을 HBM 라인으로 전환하는 데만 상당한 시간이 필요하고, 장비 투자도 별도로 필요합니다. AI 수요가 급격히 늘면서 HBM 공급이 수요를 따라가지 못하는 상황이 반복됐습니다. AI 가속기를 만들고 싶어도 HBM을 확보하지 못해 출하가 지연되는 사례가 실제로 있었습니다.
(Opinion: HBM 공급망은 AI 산업의 숨겨진 병목입니다. 반도체 설계 경쟁이 화려하게 조명받는 동안, 실제로 AI 인프라 확장을 제한하는 요소는 종종 이처럼 조용하고 기술적인 제조 문제입니다. 앞으로 몇 년간 HBM 생산 능력을 얼마나 빠르게 늘릴 수 있느냐가 AI 산업의 성장 속도를 결정할 가능성이 높습니다.)
FAQ
HBM과 일반 RAM의 차이는 무엇인가요?
일반 RAM(DDR5 등)은 CPU와 함께 쓰이는 시스템 메모리로, 상대적으로 넓은 면적에 분산 배치됩니다. HBM은 GPU나 AI 가속기 전용으로 설계된 메모리로, 칩 바로 옆에 수직으로 쌓아 올려 대역폭을 극대화합니다. 용도와 물리적 구조, 가격대가 완전히 다릅니다.
HBM은 일반 소비자용 제품에도 들어가나요?
현재는 거의 없습니다. HBM은 제조 비용이 매우 높아 데이터센터용 AI 가속기, 고성능 컴퓨팅(HPC) 시스템, 일부 전문가용 그래픽 카드에만 탑재됩니다. 일반 게이밍 GPU나 노트북에는 여전히 GDDR이나 LPDDR 계열 메모리가 사용됩니다.
HBM 다음에는 어떤 메모리 기술이 올까요?
업계에서는 HBM4, HBM4E를 개발 중이며, 더 나아가 메모리를 프로세서 다이 위에 직접 적층하는 '3D 패키징' 기술도 연구되고 있습니다. 일부 연구자들은 광(光) 인터커넥트를 활용해 대역폭 한계를 돌파하는 방향도 탐색하고 있습니다. 다만 상용화 시점은 기술적 난이도 때문에 예측하기 어렵습니다.
HBM은 AI 붐의 화려한 겉면 뒤에 조용히 자리잡은 핵심 인프라입니다. 수십 나노미터 구멍을 실리콘에 뚫고 구리를 채워 넣는 공정 하나가 현재 AI 산업의 속도를 결정하고 있다는 사실은, 기술 혁신이 얼마나 예상치 못한 곳에서 제약을 받는지를 잘 보여줍니다. AI 모델이 더 커지고 더 빨라질수록 HBM의 공급 능력이 그 한계를 정의하게 될 것입니다.
댓글
댓글 쓰기