AI 반도체 액체 냉각이 차세대 AI 데이터센터의 핵심 기술로 떠오르고 있다.
AI 반도체 경쟁을 이야기할 때 우리는 주로 GPU의 연산 성능을 본다.
몇 개의 GPU를 연결했는지, HBM을 얼마나 탑재했는지, 메모리 대역폭이 얼마나 넓어졌는지가 새로운 제품의 성능을 설명하는 핵심 숫자로 사용된다.
그런데 AI GPU의 성능이 빠르게 높아지면서 이전에는 상대적으로 주목받지 않았던 문제가 새로운 병목으로 떠오르고 있다.
열이다.
칩에 더 많은 트랜지스터를 넣고, 더 많은 HBM을 연결하고, 하나의 랙에 더 많은 AI 가속기를 집어넣을수록 같은 공간에서 처리해야 하는 전력과 열도 증가한다.
결국 아무리 빠른 GPU를 만들어도 발생한 열을 충분히 제거하지 못하면 높은 성능을 안정적으로 유지하기 어렵다.
그래서 최근 AI 데이터센터에서는 기존 공랭 중심의 냉각에서 벗어나 액체를 칩 가까이 보내 열을 직접 제거하는 방식의 중요성이 커지고 있다.
AI 반도체 경쟁의 새로운 질문은 단순하다.
칩에 얼마나 많은 전기를 넣을 수 있는가가 아니라, 그 결과 발생한 열을 얼마나 효율적으로 빼낼 수 있는가.
AI GPU는 왜 점점 뜨거워질까
반도체의 성능을 높이는 전통적인 방법은 트랜지스터를 더 작게 만드는 것이었다.
더 작은 공간에 더 많은 트랜지스터를 넣으면 같은 면적에서 더 많은 연산을 처리할 수 있다.
하지만 AI 반도체에서는 이것만으로 충분하지 않다.
AI 모델의 규모가 커지면서 하나의 GPU가 처리해야 하는 연산량이 증가했고, 여러 GPU와 HBM을 하나의 시스템으로 연결하는 구조가 일반화됐다.
그 결과 AI 시스템의 전력 밀도도 빠르게 높아지고 있다.
TSMC는 2025년 11월 AI 컴퓨팅의 에너지 효율을 설명하면서 AI 가속기 한 패키지의 전력 소비가 지난 5년 동안 약 3배 증가했다고 밝혔다.
TSMC가 지적한 핵심도 단순히 전력 공급에 그치지 않는다.
대규모 AI 컴퓨팅 확장이 전력을 공급하는 능력과 그 결과 발생하는 열을 처리하는 능력에 의해 제약받기 시작했다는 것이다.
최근 AI 가속기는 단순한 칩 하나로 볼 수도 없다.
GPU 또는 XPU 옆에는 여러 개의 HBM이 배치되고, 인터포저와 패키지기판, 전력 공급 구조, 고속 인터커넥트까지 하나의 시스템 안에 밀집한다.
앞서 살펴본 AI 반도체 유리기판이 중요해지는 것도 이런 변화와 연결된다.
연산 성능을 높이기 위해 하나의 패키지에 더 많은 기능을 집적할수록 전력 공급뿐 아니라 열을 밖으로 빼내는 구조도 함께 설계해야 한다.
공기로 식히는 방식은 왜 어려워지고 있을까
전통적인 데이터센터는 서버 내부의 팬을 이용해 차가운 공기를 부품 주변으로 보내고 뜨거워진 공기를 밖으로 배출한다.
데이터센터 내부에서도 차가운 통로와 뜨거운 통로를 분리해 열을 관리한다.
오랫동안 효과적으로 사용된 방식이다.
하지만 AI 서버의 전력 밀도가 높아지면서 상황이 달라지고 있다.
공기는 액체보다 열을 운반하는 능력이 제한적이다.
처리해야 하는 열이 증가하면 더 많은 공기를 이동시켜야 하고, 이를 위해 더 큰 냉각 설비와 팬이 필요하다.
냉각을 위해 다시 전력을 소비하는 구조다.
그래서 냉각 기술의 방향이 달라지고 있다.
서버실 전체에 차가운 공기를 보내는 것에서 한 단계 더 나아가 열이 발생하는 칩 가까이에서 직접 열을 가져오는 방식이 중요해지고 있다.
직접 액체 냉각은 무엇이 다른가
대표적인 방식이 Direct-to-Chip Liquid Cooling이다.
기본 원리는 비교적 간단하다.
GPU나 CPU 위에 냉각판인 콜드 플레이트(Cold Plate)를 설치하고 내부로 냉각수를 순환시킨다.
칩에서 발생한 열은 콜드 플레이트를 통해 냉각수로 전달된다.
뜨거워진 냉각수는 CDU(Coolant Distribution Unit) 등을 거쳐 열을 외부 냉각 계통으로 전달하고 다시 순환한다.
기존 공랭 방식이 주로
칩 → 공기 → 냉각 시스템
이라는 경로로 열을 이동시켰다면 직접 액체 냉각에서는
칩 → 액체 → 냉각 시스템
으로 열을 이동시키는 경로가 중심이 된다.
핵심은 단순히 물을 사용하는 것이 아니다.
열이 발생한 위치와 냉각 매체 사이의 거리를 줄이는 것이다.
NVIDIA Rubin은 왜 최대 45°C 냉각수를 사용할까
흥미로운 변화는 NVIDIA의 Rubin 세대 AI 인프라에서 확인할 수 있다.
NVIDIA는 2026년 6월 Rubin 세대가 시스템의 모든 칩과 네트워킹 구성요소를 액체로 냉각하는 100% 액체 냉각 구조를 사용한다고 설명했다.
더 흥미로운 숫자는 냉각수 온도다.
최대 45°C다.
냉각이라고 하면 가능한 한 차가운 물을 사용해야 할 것 같지만 반드시 그렇지는 않다.
냉각수 온도를 지나치게 낮추려면 기계식 칠러를 이용해 물의 온도를 낮춰야 하고, 이 과정에서도 에너지가 소비된다.
반대로 서버가 비교적 높은 온도의 냉각수에서도 안정적으로 작동할 수 있다면 외부 환경이 적합한 지역에서는 기계식 칠러 의존도를 낮출 수 있다.
NVIDIA에 따르면 Rubin 인프라에서는 물 75%, 프로필렌글리콜 25%의 냉각액이 콜드 플레이트를 통해 열을 가져가는 구조를 사용하며, 최대 45°C의 냉각액을 사용할 수 있도록 설계됐다.
적절한 기후에서는 외부의 Dry Cooler를 이용해 열을 방출하는 것도 가능하다.
여기서 중요한 것은 물을 무조건 차갑게 만드는 것이 아니다.
칩의 허용 온도를 유지하면서 열을 최소한의 추가 에너지로 외부에 전달하는 것이다.
냉각은 이제 GPU 성능과 분리해서 보기 어렵다
반도체에는 안정적으로 동작할 수 있는 온도 범위가 있다.
열을 충분히 제거하지 못해 온도가 지나치게 높아지면 시스템은 부품을 보호하기 위해 클록이나 전력을 조절할 수 있다.
따라서 AI 가속기가 낼 수 있는 최대 성능과 실제 데이터센터에서 장시간 유지할 수 있는 성능은 항상 같은 개념이 아니다.
냉각 능력이 부족하면 높은 연산 성능을 가진 GPU를 설치하더라도 그 성능을 안정적으로 활용하기 어려울 수 있다.
반대로 열을 안정적으로 제거할 수 있다면 높은 부하를 더 지속적으로 처리할 수 있다.
결국 AI 시대에는 냉각 시스템도 지속 가능한 연산 성능을 결정하는 시스템 설계 요소가 된다.
문제는 GPU 한 개가 아니라 랙 전체다
AI 데이터센터의 열 문제를 볼 때 개별 GPU만 봐서는 안 된다.
더 중요한 것은 랙 단위다.
하나의 랙 안에 GPU와 CPU, HBM, 네트워크 장비가 밀집하면서 랙 자체가 하나의 거대한 컴퓨팅 시스템처럼 변하고 있기 때문이다.
NVIDIA의 DGX SuperPOD GB200 레퍼런스 아키텍처는 각 랙에서 발생하는 열을 처리하기 위해 직접 액체 냉각과 공랭을 함께 사용하는 하이브리드 냉각 구조를 설명한다.
NVIDIA 자료에 따르면 GB200 SuperPOD의 하나의 Scalable Unit은 8개의 DGX GB200 랙 시스템으로 구성되며 TDP 기준 약 1.2MW를 요구한다.
이 정도 규모가 되면 냉각은 서버를 설치한 다음 추가하는 부가 설비가 아니다.
전력 공급과 함께 데이터센터 설계 초기부터 고려해야 하는 핵심 인프라가 된다.
AI 시스템이 세대별로 더 많은 연산 장치를 같은 공간에 배치할수록 이 문제는 더욱 중요해질 수 있다.
앞서 살펴본 엔비디아 데이터센터 전략에서 GPU 기업의 경쟁이 데이터센터 부지와 전력 인프라까지 확장되는 흐름을 살펴본 이유와도 연결된다.
AI 인프라의 병목은 GPU에서 끝나지 않는다.
GPU를 설치할 공간이 필요하고,
전력을 공급해야 하며,
그 전력으로 발생한 열까지 다시 제거해야 한다.
액체 냉각 다음에는 칩 가까이 냉각수가 들어갈까
현재 AI 서버에서 주목받는 방식 가운데 하나는 칩 표면의 콜드 플레이트를 이용하는 직접 액체 냉각이다.
하지만 연구 단계에서는 냉각 시스템을 반도체에 더 가까이 가져가는 방법도 개발되고 있다.
대표적인 기술이 마이크로플루이딕 냉각(Microfluidic Cooling)이다.
반도체 가까이에 매우 작은 유로를 만들고 그 안으로 냉각액을 흐르게 해 열을 제거하는 방식이다.
유럽 반도체 연구기관 imec은 실리콘 기반 마이크로채널을 이용한 소형 냉각 기술을 공개한 바 있다.
imec이 공개한 연구에서는 약 32μm 폭, 260μm 이상의 깊이를 가진 실리콘 마이크로채널을 사용했다.
연구 결과 이 구조는 600W/cm²가 넘는 열유속을 처리하면서 부품 온도를 100°C 아래로 유지할 수 있었다.
다만 이 수치를 현재 상용 AI GPU에 그대로 적용해서 해석해서는 안 된다.
2019년 공개된 연구용 냉각 구조의 실험 결과이기 때문이다.
중요한 것은 숫자 자체보다 방향이다.
냉각 기술이 데이터센터 공간 전체에서 랙으로, 랙에서 칩 표면으로 이동하고 있으며 앞으로는 반도체 패키지와 실리콘에 더 가까운 영역까지 들어갈 가능성이 있다는 것이다.
3D 적층이 늘어나면 열 문제는 더 복잡해진다
냉각 문제는 앞으로 더 중요해질 가능성이 있다.
반도체 산업이 2.5D와 3D 적층으로 이동하고 있기 때문이다.
여러 개의 다이를 수직 또는 수평으로 가까이 배치하면 연결 거리를 줄이고 대역폭을 높이는 데 유리하다.
하지만 여러 발열원이 좁은 공간에 밀집하면 열을 밖으로 빼내는 문제는 더 복잡해진다.
HBM도 마찬가지다.
D램을 더 높게 적층할수록 각 다이에서 발생하는 열을 패키지 밖으로 전달해야 한다.
Keconowise에서 앞서 살펴본 하이브리드 본딩에서도 적층 수가 증가하면서 연결 피치뿐 아니라 열 관리가 중요한 과제로 등장했다.
결국 미래의 3D 반도체 경쟁에서는 단순히
얼마나 많은 다이를 쌓을 수 있는가
만 중요한 것이 아니다.
쌓아 놓은 다이에서 발생하는 열을 어떻게 제거할 것인가도 제품 설계의 핵심 조건이 된다.
전력을 넣는 길과 열을 빼는 길
최근 AI 반도체 기술을 보면 서로 다른 기술들이 동시에 등장하고 있다.
후면전력공급은 트랜지스터에 전력을 더 효율적으로 전달하기 위해 전력 배선 구조를 바꾸려는 기술이다.
HBM은 GPU가 필요한 데이터를 더 넓은 대역폭으로 공급한다.
CPO는 AI 시스템의 데이터 이동에서 발생하는 전력과 연결 병목을 줄이는 방향으로 발전하고 있다.
칩렛과 UCIe는 여러 개의 다이를 하나의 시스템처럼 연결하려 한다.
그리고 액체 냉각은 이 모든 고성능 컴퓨팅 과정에서 발생하는 열을 밖으로 전달한다.
겉으로 보면 각각 다른 문제를 해결하는 기술이다.
하지만 시스템 관점에서는 하나의 질문으로 연결된다.
제한된 전력으로 얼마나 많은 연산을 수행하고, 그 과정에서 발생하는 열을 얼마나 효율적으로 처리할 수 있는가.
AI 반도체 경쟁의 단위가 개별 트랜지스터와 칩에서 패키지, 랙, 데이터센터 전체로 확장되고 있다는 의미다.
Keconowise View|AI 반도체의 다음 병목은 ‘열을 빼는 능력’이다
AI 반도체 산업을 따라가다 보면 반복되는 패턴이 있다.
하나의 병목을 해결하면 다음 병목이 나타난다.
GPU의 연산 성능이 빠르게 높아지자 메모리가 데이터를 충분히 공급하지 못하는 문제가 커졌고 HBM이 중요해졌다.
메모리 대역폭이 넓어지자 수많은 GPU 사이에서 데이터를 이동시키는 네트워크와 인터커넥트가 중요해졌다.
하나의 거대한 칩을 계속 만드는 것이 어려워지자 칩렛과 첨단 패키징이 등장했다.
그리고 AI 데이터센터가 거대해지면서 충분한 전력을 확보하는 것 자체가 중요한 문제가 되고 있다.
하지만 전력을 확보한다고 문제가 끝나는 것은 아니다.
칩에 공급된 전력은 결국 상당 부분 열로 전환되고, 그 열을 제거해야 높은 연산 성능을 지속할 수 있다.
그래서 AI 반도체 액체 냉각은 단순한 데이터센터 설비 기술로만 보기 어렵다.
GPU의 지속 성능, 랙의 집적도, 데이터센터의 전력 효율과 인프라 설계까지 연결되는 시스템 기술이 되고 있다.
앞으로 AI GPU 신제품을 볼 때 FLOPS나 HBM 용량만 확인해서는 전체 변화를 읽기 어려울 수 있다.
GPU와 랙이 얼마나 많은 전력을 사용하는가.
그 전력을 안정적으로 공급할 수 있는가.
발생한 열을 어떤 방식으로 제거하는가.
냉각 자체에는 다시 얼마나 많은 에너지가 필요한가.
그리고 3D 적층이 확대될 때 패키지 내부의 열을 어떻게 밖으로 빼낼 것인가.
이 질문들이 함께 중요해질 것이다.
AI 반도체 경쟁은 트랜지스터를 더 작게 만드는 싸움에서 시작했다.
이제는 데이터를 얼마나 빠르게 옮기는지, 전기를 얼마나 효율적으로 공급하는지를 넘어 발생한 열을 얼마나 효율적으로 밖으로 빼낼 수 있는지까지 경쟁 영역에 들어오고 있다.
AI 시대의 반도체 병목은 칩 안에서 끝나지 않는다.
전기를 넣는 길만큼 열을 빼는 길도 중요해지고 있다.
참고 자료
- NVIDIA — Hotter Than a Hot Tub: The 45°C Breakthrough to Cool AI’s Biggest Machines
- NVIDIA — DGX SuperPOD GB200 Reference Architecture
- TSMC — A Shared Commitment to Energy-Efficient AI
- imec — A Miniature Microfluidics Heat Sink for High-Performance Chip Cooling
이 글은 반도체 및 AI 인프라 기술 동향을 설명하기 위한 정보성 콘텐츠입니다. 기업이 공개한 성능·전력·냉각 관련 수치는 해당 기업 또는 연구기관이 제시한 특정 시스템과 조건을 기준으로 하며 실제 데이터센터 환경과 구성에 따라 달라질 수 있습니다.