AI 칩은 어떻게 작동할까? 인공지능 시대의 핵심 기술
스마트폰 하나에 들어 있는 AI 칩은 1초에 수조 번의 연산을 처리한다. 그런데 그 칩이 일반 CPU와 근본적으로 다른 방식으로 설계됐다는 사실을 아는 사람은 많지 않다. AI 칩은 단순히 '더 빠른 프로세서'가 아니다. 연산의 종류 자체가 다르고, 그에 맞게 하드웨어 구조도 완전히 다르게 설계된다.
AI 칩이란 무엇인가? 일반 CPU와 무엇이 다른가
CPU가 못하는 것
일반 CPU는 '범용 프로세서'다. 문서 작성, 웹 브라우징, 게임 — 뭐든 처리할 수 있도록 설계됐다. 하지만 그 유연성의 대가로, 한 번에 처리할 수 있는 연산의 수가 제한된다. 고급 CPU도 보통 수십 개의 코어를 가지는 데 그친다.
AI 학습에 필요한 연산은 성격이 완전히 다르다. 수백만 개의 숫자를 동시에 곱하고 더하는 '행렬 연산'이 핵심이다. 이 작업은 순서대로 처리할 필요가 없다. 동시에, 병렬로 처리하면 된다. CPU는 이 구조에 맞지 않는다.
GPU가 먼저였다
흥미롭게도 AI 칩의 역사는 게임에서 시작됐다. 그래픽 처리를 위해 설계된 GPU는 수천 개의 작은 코어를 가지고 있어 병렬 연산에 강했다. 2012년 딥러닝 연구자들이 GPU로 이미지 인식 모델을 훈련시키면서 성능이 폭발적으로 향상됐고, 그게 현재 AI 붐의 기술적 출발점이 됐다. 당시 연구자들이 게임용 그래픽 카드로 AI를 돌렸다는 사실은 지금 돌아보면 꽤 아이러니하다.
GPU가 AI를 구한 게 아니라, AI가 GPU의 진짜 용도를 발견한 것이다. 병렬 연산이라는 구조적 특성이 두 분야를 연결했다.
AI 칩은 어떻게 작동하는가? 핵심 구조 설명
텐서 코어와 행렬 연산
현대 AI 칩의 핵심은 '텐서 코어(Tensor Core)'라고 불리는 연산 유닛이다. 텐서는 쉽게 말해 다차원 숫자 배열이다. 이미지 하나도, 문장 하나도, AI 모델 내부의 가중치도 모두 텐서로 표현된다. 텐서 코어는 이 배열들을 한꺼번에 곱하고 더하는 연산에 특화된 회로다.
일반 연산과 비교하면 차이가 극명하다. CPU가 숫자를 하나씩 계산하는 계산기라면, 텐서 코어는 수천 개의 계산기가 동시에 돌아가는 공장이다. 최신 AI 칩 하나에는 이런 텐서 코어가 수백에서 수천 개 탑재된다.
메모리 대역폭 — 자주 간과되는 병목
연산 속도만큼 중요한 게 메모리 대역폭이다. 아무리 빠른 연산 유닛이 있어도, 데이터를 빠르게 공급하지 못하면 칩이 놀게 된다. 이 문제를 해결하기 위해 AI 칩은 HBM(High Bandwidth Memory)이라는 특수 메모리를 칩 바로 옆에 적층 방식으로 붙인다. 일반 DRAM보다 데이터 전송 속도가 수배 이상 빠르다.
실제로 대형 언어 모델을 구동할 때 병목은 연산이 아니라 메모리 대역폭인 경우가 많다. 모델의 파라미터 수십억 개를 계속 읽어들여야 하기 때문이다. 엔지니어들이 칩 설계에서 메모리 배치에 집착하는 이유가 여기 있다.
AI 칩의 종류 — GPU, TPU, NPU는 무엇이 다른가
GPU: 범용 AI 연산의 표준
엔비디아의 H100, B200 같은 GPU는 현재 AI 데이터센터의 표준이다. 범용성이 높아서 연구용 실험부터 대규모 모델 훈련까지 모두 처리할 수 있다. 단점은 전력 소비가 크고, 가격이 매우 비싸다는 것이다. 고성능 AI GPU 하나의 가격은 수만 달러에 달한다.
TPU: 구글이 만든 전용 칩
구글은 자사 AI 워크로드에 최적화된 TPU(Tensor Processing Unit)를 자체 개발했다. TPU는 GPU보다 유연성은 낮지만, 특정 딥러닝 연산에서는 에너지 효율이 훨씬 높다. 구글이 TPU를 처음 내부적으로 사용하기 시작한 건 2015년경으로 알려져 있으며, 외부에 공개하기 전까지 수년간 내부 인프라를 조용히 바꿔놨다.
NPU: 스마트폰 속의 AI 엔진
스마트폰에서 사진을 찍을 때 실시간으로 피사체를 인식하고 화질을 보정하는 기능 — 이걸 처리하는 게 NPU(Neural Processing Unit)다. 애플의 Neural Engine, 퀄컴의 Hexagon DSP 같은 칩이 여기 해당한다. 데이터센터 GPU와 달리 저전력으로 동작해야 하기 때문에 설계 방향이 완전히 다르다.
AI 칩은 하나의 카테고리가 아니다. 데이터센터용, 엣지용, 추론용, 학습용 — 목적마다 설계 철학이 근본적으로 갈린다.
AI 칩이 왜 중요한가 — 기술을 넘어선 지정학적 문제
칩이 곧 AI 능력이다
AI 모델의 성능은 결국 얼마나 많은 데이터를, 얼마나 빠르게 처리할 수 있느냐에 달려 있다. 그리고 그 처리 능력은 칩이 결정한다. 더 좋은 칩을 더 많이 가진 쪽이 더 강력한 AI를 만들 수 있다. 이건 단순한 기술 경쟁이 아니라 국가 간 전략 자산 경쟁이 됐다.
미국이 첨단 AI 칩의 특정 국가 수출을 제한하는 정책을 시행한 것도 이 맥락이다. 칩 하나가 군사 AI, 감시 시스템, 경제 예측 모델의 핵심 부품이 될 수 있기 때문이다. 반도체 공급망이 외교 의제에 오르는 시대가 됐다.
제조의 벽 — TSMC와 EUV 리소그래피
AI 칩 설계는 여러 나라에서 할 수 있다. 하지만 실제로 만드는 건 다른 문제다. 최첨단 AI 칩은 현재 대부분 TSMC(대만 반도체 제조회사)에서 생산된다. 3나노, 2나노 공정을 구현하려면 EUV(극자외선) 리소그래피 장비가 필요한데, 이 장비를 만드는 회사는 네덜란드의 ASML 단 한 곳이다. 전 세계 AI 칩 공급망이 사실상 한 회사의 장비에 의존하고 있다는 사실은 놀랍도록 취약한 구조다.
(Opinion: AI 칩 경쟁은 이미 순수한 기술 경쟁을 넘어섰다. 어떤 나라가 첨단 칩을 설계하고 제조할 수 있느냐는 향후 10년간 AI 패권을 결정하는 핵심 변수가 될 것이다. 그런데 아이러니하게도, 가장 중요한 제조 장비는 중립적인 작은 나라의 한 회사가 독점하고 있다.)
자주 묻는 질문
AI 칩과 일반 CPU는 같은 회사에서 만드나요?
설계와 제조는 다른 영역이다. 엔비디아는 GPU를 설계하지만 직접 제조하지 않는다. 실제 생산은 TSMC 같은 파운드리(위탁 제조사)가 담당한다. 인텔은 예외적으로 설계와 제조를 모두 하는 회사 중 하나다. AI 칩 시장에서는 설계 역량과 제조 역량이 분리된 구조가 일반적이다.
AI 칩은 왜 이렇게 전력을 많이 소비하나요?
수천 개의 연산 유닛이 동시에 작동하기 때문이다. 엔비디아의 고성능 AI GPU 하나는 최대 700와트 이상의 전력을 소비하는 경우도 있다. 대형 AI 데이터센터는 이런 칩을 수만 개 운영하기 때문에 전력 소비와 냉각이 핵심 인프라 문제가 된다. 일부 데이터센터는 냉각에만 전체 전력의 상당 부분을 쓴다.
스마트폰 AI 칩으로도 ChatGPT 같은 대형 모델을 실행할 수 있나요?
현재로서는 대형 모델 전체를 스마트폰에서 실행하기는 어렵다. 모델의 파라미터 수십억 개를 저장할 메모리가 부족하고, 처리 속도도 데이터센터 GPU에 비해 크게 느리다. 다만 경량화된 소형 모델은 이미 스마트폰에서 실행되고 있으며, 기술 발전에 따라 온디바이스 AI의 범위는 계속 넓어지고 있다.
AI 칩 경쟁이 흥미로운 이유는 기술의 문제가 곧 지리의 문제가 됐기 때문이다. 어디서 만들어지느냐, 누가 장비를 가지고 있느냐, 어느 나라가 공급망을 통제하느냐 — 이 질문들이 AI의 미래를 결정한다. 실리콘 위에 새겨진 회로 하나가 국제 정치의 무게를 지게 된 시대다.
댓글
댓글 쓰기