AI 칩의 핵심, HBM 메모리는 어떻게 작동할까요? 알기 쉬운 설명
현재 AI 가속기 한 개에 들어가는 HBM 메모리의 대역폭은 초당 수 테라바이트에 달합니다. 이 숫자가 실감나지 않는다면 이렇게 생각해보세요. 일반 DDR5 메모리가 초당 약 50~80GB를 처리하는 동안, HBM은 그보다 수십 배 많은 데이터를 동시에 쏟아냅니다. AI 모델이 수천억 개의 파라미터를 실시간으로 다루려면 이 속도가 절대적으로 필요합니다. HBM이 없었다면 지금 우리가 쓰는 대형 언어 모델은 현실적으로 구동하기 어려웠을 겁니다. Photo by Laurel and Michael Evans on Unsplash HBM이란 무엇인가요? 쉽게 풀어보는 정의 이름부터 이해하기 HBM은 'High Bandwidth Memory'의 약자입니다. 직역하면 '고대역폭 메모리'인데, 핵심 단어는 '대역폭'입니다. 대역폭이란 단위 시간당 얼마나 많은 데이터를 주고받을 수 있는지를 나타내는 지표입니다. 도로로 비유하면 차선 수와 같습니다. 차선이 많을수록 동시에 더 많은 차가 달릴 수 있죠. 기존 DRAM은 칩과 메모리 사이를 잇는 '데이터 버스'의 폭이 좁았습니다. 아무리 빠른 프로세서를 만들어도 메모리에서 데이터를 가져오는 통로가 좁으면 병목이 생깁니다. 이 문제를 업계에서는 '메모리 월(Memory Wall)'이라고 불렀고, HBM은 그 벽을 허물기 위해 설계된 기술입니다. 기존 메모리와 무엇이 다른가요? 일반 GDDR 메모리는 GPU 옆에 납작하게 붙어있는 형태입니다. 반면 HBM은 메모리 다이(die)를 여러 장 수직으로 쌓아 올린 뒤, 그 묶음을 GPU나 AI 칩 바로 옆에 실리콘 인터포저(interposer)라는 기판 위에 나란히 놓습니다. 물리적 거리가 극도로 짧아지고, 데이터가 오가는 통로의 수가 수천 개로 늘어납니다. 결과적으로 대역폭이 폭발적으로 증가합니다. AI Generated · Google ...