침지를 버리고 온수를 택한 엔비디아의 냉각수 전략
온탕의 온도는 보통 38~40°C입니다. 대부분의 사람이 15분 이상 몸을 담그기 어려운 정도의 열기죠. 그런데 엔비디아가 최근 공개한 차세대 AI 서버 루빈 세대는, 그 핫텁보다 뜨거운 45°C의 냉각수로 칩을 식힙니다. 상식적으로는 뜨거운 물로 뜨거운 칩을 식힌다는 게 앞뒤가 맞지 않아 보이지만 이러한 역설이 7월부터 하이퍼스케일러에 배치되기 시작한 엔비디아 루빈에게 기대 이상의 에너지 효율 도약을 안겨주었습니다.
이유는 단순합니다. 냉각수 온도를 높일수록, 그 물을 다시 식히는 데 드는 에너지가 줄어들기 때문입니다. 냉각수가 45°C까지 견딜 수 있으면, 상당수 기후에서는 별도의 칠러(chiller) 없이 바깥 공기와 드라이쿨러만으로 열을 버릴 수 있습니다.
엔비디아의 데이터센터 냉각·인프라 담당 디렉터 알리 헤이다리(Ali Heydari)의 표현을 빌리면, 엔비디아 DSX 레퍼런스 디자인은 물 소비가 사실상 제로이고, 대개 1년 중 1% 정도의 극한 기간에만 칠러를 돌리면 되는 자기 완결성 시스템입니다.
몇 년 전만 해도 액체냉각은 슈퍼컴퓨터나 초고밀도 HPC 클러스터에서나 쓰던 특수 기술이었습니다. 지금은 가장 앞선 AI 서버 설계의 기본값이 되어 있습니다. 그리고 그 변화의 한복판에서, 한때 액체냉각의 미래로 불리던 침지냉각(immersion cooling)의 자리가 오히려 애매해지는 흥미로운 역전이 벌어지고 있습니다. 이번 호는 그 변화의 전모를 따라가 봅니다.
서밋에서 루빈까지, 8년의 성숙 곡선
이야기는 2018년 오크리지 국립연구소의 슈퍼컴퓨터 서밋(Summit)에서 출발합니다. 콜드플레이트인 냉판을 통해 물이나 글리콜을 순환시켜 칩을 직접 식히는 Direct Liquid Cooling (DLC)은 이 무렵부터 이미 HPC 세계의 표준이었습니다.
서밋과 그 뒤를 이은 프론티어(Frontier) 같은 엑사스케일 머신들은 모두 수랭식 랙 위에서 돌아갔습니다. 반면 서버 전체를 비전도성 유체에 통째로 담그는 침지냉각은 한참 뒤처져 있었습니다. 2021년 ASHRAE가 액체냉각 백서에서 누액 위험과 표준 부재를 경고할 때만 해도, 침지냉각은 금융권 서버나 통신 장비처럼 틈새 시장에 머물러 있었습니다.