AI 시대의 숨은 비용: 데이터센터는 왜 '전기 먹는 하마'가 되었나?
ChatGPT에 질문 하나를 던질 때마다 구글 검색보다 약 10배 많은 전력이 소모된다는 추정치가 있다. 검색 한 번이 전구 하나를 잠깐 켜는 수준이라면, AI 추론 요청 하나는 그 전구를 몇 분 동안 켜두는 것과 비슷하다. 개별 요청으로 보면 미미해 보이지만, 하루에 수억 건의 요청이 쌓이면 이야기가 완전히 달라진다. AI Generated · Google Imagen AI 데이터센터가 '전기 먹는 하마'가 된 진짜 이유 GPU가 CPU와 근본적으로 다른 이유 일반 서버는 CPU를 중심으로 돌아간다. CPU는 복잡한 명령을 순차적으로 처리하는 데 최적화되어 있고, 코어 수가 수십 개 수준이다. 반면 AI 훈련과 추론에 쓰이는 고성능 GPU는 수천 개의 코어가 병렬로 작동한다. 이 병렬 연산 능력이 AI를 가능하게 하지만, 동시에 전력 소비를 폭발적으로 끌어올린다. 현재 AI 가속기 중 일부는 단일 칩 기준으로 소비 전력이 700W를 넘는다. 일반 가정용 전자레인지가 약 1,000W 수준이니, 칩 하나가 전자레인지에 맞먹는 전력을 24시간 내내 소비하는 셈이다. 대형 AI 클러스터는 이런 칩을 수만 개씩 묶어 운영한다. 그리고 칩이 열을 내면 냉각이 필요하다. 냉각 시스템은 또 다른 전력을 먹는다. 전문가들은 데이터센터 전체 전력 소비 중 냉각에 들어가는 비중이 30~40%에 달한다고 추정한다. 훈련과 추론, 어느 쪽이 더 많이 먹나 AI 모델을 처음 만드는 '훈련' 단계는 전력 소비의 극단적인 예다. 대형 언어 모델 하나를 훈련하는 데 수백만 달러의 전기료가 들 수 있다는 추정이 여러 연구자들 사이에서 나온다. 하지만 훈련은 한 번으로 끝난다. 진짜 문제는 '추론'이다. 이미 만들어진 모델이 사용자 요청에 응답하는 과정이 추론인데, 이게 매 순간 전 세계에서 동시다발로 일어난다. 서비스가 성장할수록 추론에 드는 누적 전력이 훈련 ...