AI 데이터센터는 왜 이렇게 추울까: GPU 셧다운 막는 냉각 기준

GPU 수천 대가 돌아가는 서버실의 온도를 23도로 유지하는 이유는 쾌적함이 아니라 열 때문에 GPU 성능이 떨어지는 것을 막기 위해서입니다. 칩 온도가 임계치에 가까워지면 GPU는 클럭을 낮춰 스스로 성능을 제한합니다.

이 글은 데이터센터 냉각 기준과 냉각 방식의 진화, 폭염과 비용의 관계를 정리하고, 효율 지표인 PUE를 계산하는 방법과 GPU 온도 점검 명령을 소개합니다.

데이터센터 냉각 기준, 왜 23도일까

고성능 GPU 표면 온도는 공랭 환경에서 50~70도까지 오른다.

“ASHRAE는 데이터센터 IT 장비의 흡기 온도를 18~27℃ 범위로 유지하도록 권장한다.”
— ASHRAE TC 9.9, 데이터센터 열 가이드라인 (요약 인용)

70도를 넘으면 장비 손상을 막기 위해 GPU 스스로 연산량을 줄인다.

이른바 ‘스로틀링’이 걸리면서 성능이 뚝 떨어지는 것이다.

이를 막기 위해 서버실 자체 온도를 23도 안팎으로 관리하는 것이 업계 표준이다.

GPU가 뜨거워지면 생기는 문제

과열된 GPU와 서버는 최악의 경우 멈춰 설 수 있다.

# GPU 온도와 열 제한(스로틀) 상태 확인
nvidia-smi --query-gpu=temperature.gpu,power.draw,clocks.sm --format=csv
nvidia-smi -q -d PERFORMANCE | grep -i -A8 "Clocks Event Reasons"

첫 명령은 GPU 온도와 소비전력, 현재 SM 클럭을 보여 주고, 두 번째는 성능이 제한되는 이유(열, 전력 한도 등)를 보여 줍니다. 온도가 오를수록 클럭이 낮아지고 처리량이 줄어드는 패턴이 보이면 냉각이 병목이라는 뜻이며, 서버실 온도를 낮추거나 기류를 개선하는 것이 연산 성능을 직접 회복시킵니다. 출력 항목 이름은 드라이버 버전에 따라 조금 다를 수 있습니다.

AI 모델 학습이나 추론 작업 중 셧다운이 발생하면 손실이 크다.

그래서 온도 30도를 넘기지 않도록 정밀하게 관리하는 것이 필수다.

데이터센터 냉각 방식의 진화: 공랭에서 액체 냉각까지

기존에는 에어컨을 이용한 공랭식 냉각이 일반적이었다.

최근에는 GPU를 특수 액체에 담그는 ‘액침 냉각’ 기술이 확산되고 있다.

국내 기업들도 일부라도 수랭 방식으로 전환해야 한다는 목소리가 커지고 있다.

해외에서는 이미 상업용 수중 데이터센터를 구축해 운영하는 사례도 있다.

폭염과 데이터센터 냉각 비용의 관계: 외기 온도와 PUE

외부 기온이 오를수록 실내 23도를 유지하는 데 드는 냉각 비용도 늘어난다.

# PUE = 총 시설 전력 / IT 장비 전력
it_kw, cooling_kw, other_kw = 1000, 300, 80
pue = (it_kw + cooling_kw + other_kw) / it_kw
print(f'PUE = {pue:.2f}')   # 1.38

# 폭염으로 냉각 전력이 20% 늘어난 경우
pue_hot = (it_kw + cooling_kw * 1.2 + other_kw) / it_kw
print(f'PUE(폭염) = {pue_hot:.2f}')   # 1.44

PUE는 시설 전체 전력을 IT 장비 전력으로 나눈 값으로 1에 가까울수록 효율적입니다. 외기 온도가 오르면 냉각 전력이 늘어 PUE가 올라가고, IT 전력이 그대로여도 전기요금은 증가합니다. 같은 IT 부하에서 PUE가 0.06 오르면 1MW급 시설에서 약 60kW의 추가 전력이 필요하다는 계산이 나옵니다.

AI 수요가 늘면서 GPU 밀집도가 높아진 것도 냉각 부담을 키우는 요인이다.

결국 냉각 효율은 데이터센터 운영 비용을 좌우하는 핵심 변수가 됐다.

데이터센터 냉각 관련 심화 질문

함께 보면 좋은 글

• HBM4 시장 점유율 전망, 삼성전자 SK하이닉스 엔비디아 공급 경쟁 총정리
• 엔비디아 AI PC 시대 본격화: RTX Spark가 노트북과 데스크톱을 바꾸는 이유
• D램 가격 폭등, 지금 PC·노트북 사도 될까? 2026년 메모리 대란 총정리

참고자료 및 공식 정보 안내

• MBC뉴스 – 수천 대 GPU 돌아가도 서버실은 ’23도’‥AI 데이터센터를 식혀라
• ZDNet Korea – 열 때문에 GPU 성능 반토막…”일부라도 수랭 전환해야”