Teploty a proudění vzduchu v sestavách serverů s více grafickými kartami a umělou inteligencí

Server s více grafickými kartami a umělou inteligencí je z tepelného hlediska průmyslový ohřívač, který si občas počítá. Šasi se 4× RTX 5090 při trvalém zatížení nepřetržitě vydává 2.4 kW tepla; 8× 5090 vydává 5 kW. Nic z toho samo o sobě nikam nevede – dopadne na čip GPU, napájecí zdroje (VRM), paměťové moduly a odtud do jakéhokoli vzduchu, který šasi dokáže vytlačit ven. Pokud proudění vzduchu neodpovídá výkonu, křemík ho omezí a omezení na inferenčním serveru zdvojnásobí latenci tokenu a tiše sníží propustnost na polovinu. Většina příběhů o tom, jak se „server s GPU zpomalil“, se týká tepla, nikoli softwaru. Toto je stránka sestavy týkající se proudění vzduchu, ve spojení s W04 ohledně napájení.

Teplo je jen síla, přeformulováno

Každý watt spotřebovaný do GPU se uvolňuje jako teplo – karta nevykonává žádnou mechanickou práci, takže neexistuje žádný faktor účinnosti. Hodnoty TDP, které dimenzujeme:

Dvě poznámky, které jsou důležité pro rozhodnutí o sestavení. NVIDIA zvýšila prahovou hodnotu pro edge throttle u 5090 na ~90 °C (oproti 83 °C u 4090) – čip si při stejném proudění vzduchu udrží plné frekvence déle, ale křemík se více zahřívá, což je důležité pro nepřetržité nasazení. Karty pro pracovní stanice a datová centra (Pro 6000, L40, L4) si pevně drží své jmenovité TDP – nepřekračují limit. Spotřebitelské karty prudce rostou. Řadu pracovních stanic je snazší chladit předvídatelně; u spotřebitelské řady je snazší nechtěně překročit povolený limit.

Prahové hodnoty škrticí klapky a jejich cena

Škrticí páčka je gradient, ne přepínač. Na křemíku třídy Blackwell:

Inferenční zátěž 5090 při studeném výkonu 590 W klesne na ~510 W, když okrajový senzor překročí 90 °C – 15% ztráta tokenů za sekundu u zátěže vLLM 70B, což je rozdíl mezi dosažením SLO a nedosažením. Čerstvě zapnutá karta dosáhne svého prvního bodu škrticí klapky za 60–120 s po zahájení trvalého zatížení; benchmarky kratší než 5 minut nadhodnocují trvalou propustnost o 10–20 %, což je jeden z nejčastějších způsobů, jak se publikovaná čísla odchylují od reality v produkčním prostředí.

Průtok vzduchu v racku zepředu dozadu – jediná rozumná architektura pro nepřetržitý provoz 24 hodin denně, 7 dní v týdnu

Topologie chladičů GPU se dělí na otevřené / axiální věžové (herní karty pro spotřebitele, výfuk do vnitřku šasi), ventilátory / radiální (referenční karty, výfuk ven z I/O držáku) a pasivní karty pro datová centra (L4, L40 – bez ventilátoru, ventilátory šasi ženou vzduch skrz žebra). U sestavy se 4 nebo 8 GPU, která běží nepřetržitě, fungují v hustém šasi pouze topologie s ventilátorem a pasivní topologie . V rozvaděči 4U s kartami naskládanými svisle odvádí otevřené provedení teplo do sání karty nad ním; horní karta je umístěna ve vzduchu o teplotě 50–60 °C a během několika minut se ztlumí.

Šasi Kentino 4U a 8U využívají průmyslové proudění vzduchu zepředu dozadu se 120mm ventilátory, které vyvíjejí vysoký statický tlak na grafické karty. Karty jsou typu ventilátoru, pasivní nebo aktivně přesměrované potrubím ve šasi. Chladič tvoří samotné šasi.

Proudění vzduchu zepředu dozadu v racku: přívod vzduchu do studené uličky → grafické karty ve sloupci proudění vzduchu → odvod vzduchu do horké uličky. To udržuje 5090 pod 85 °C při přívodu vzduchu 22 °C.

Statický tlak vs. proudění vzduchu CFM

V datových listech ventilátorů je uveden průtok vzduchu (CFM) a statický tlak (mm H2O). U otevřené skříně dominuje CFM; u 4U skříně s hustými chladiči, rozšiřujícími deskami, kabelovými svazky a pasivními žebry GPU v dráze dominuje statický tlak . Typický 120mm ventilátor pro spotřebitelskou skříň dosahuje průtoku 70 CFM při 1.2 mm H2O; 120mm ventilátor pro průmyslové servery (Delta, Sanyo Denki, Nidec, San Ace) dosahuje 110 CFM při 8–12 mm H2O. Mezera CFM je 60 %; mezera statického tlaku je 7–10×. V skříni s hustou roztečí žeber dosahuje ventilátor skříně skutečného průtoku vzduchu přibližně 20 CFM; průmyslový ventilátor dosahuje 80–90. Proto je skříň Kentino AI hlučná (55–62 dBA u racku) a je umístěna ve racku nebo skříni, nikoli na stole.

Pravidla: průtok skrz šasi ~40–50 CFM na kW tepla GPU; statický tlak na sání ≥ 5 mm H2O; chladič CPU musí být ve věžovém provedení s předozadním vedením, nikoli s horním průtokem.

Tlak, filtry a správa kabelů

Tlak v šasi se udává jako v CFM sání a CFM výfuku. Pozitivní tlak (větší sání) uniká vzduch každou mezerou a zachycuje prach u předního filtru; záporný tlak nasává nefiltrovaný vzduch každou spárou. Kentino 4U je konstrukčně mírně pozitivní – tři sání, jeden zadní výfuk a jeden výfuk z napájecího zdroje. Na filtrech záleží: 50% ucpaný sací filtr snižuje průtok vzduchu v šasi o 30–40 %. V kanceláři kontrolujte každých 90 dní, v laboratoři každých 30 dní. Většina hlášení „server se po šesti měsících zahřál více“ se týká problémů s filtrem, nikoli degradace křemíku.

Kabely v předozadní vzduchové cloně jsou nejvíce podceňovaným tepelným problémem u sestav s více grafickými kartami. 24pinový ATX svazek přehozený přes stranu sání GPU 4 snižuje efektivní proudění vzduchu této karty o 25–40 % a zvyšuje teplotu o 5–8 °C oproti jejím sourozencům. Napájení a EPS veďte za přihrádku základní desky, nikdy ne přes vzduchovou clonu; žádný kabel neveďte před střed GPU. W04 se zabývá tím, proč rozdělené napájení dvěma zdroji PSU to u sestavy se 4 grafickými kartami fyzicky usnadňuje – hmotnost kabelů na každé straně je poloviční. Volba dvou zdrojů PSU je stejně tepelná jako elektrická.

Rozteč U racku a horký výfuk

Jednotka 4U s výkonem 2.4 kW dosahuje teploty výfukových plynů 35–45 °C při průměru 100 CFM a více; jednotka 8U s výkonem 5 kW dosahuje teploty 40–50 °C při průměru 200 CFM. Zaslepovací panely v nepoužívaných slotech U jsou povinné v každém uzavřeném racku – bez nich se horký výfuk vrací zpět do studené uličky. Uzavřené skříně přitlačené ke zdi jsou nejhorším případem: horní jednotky jsou o 8–12 °C teplejší než spodní. Jedna prázdná jednotka U nad a pod každým serverem s více grafickými kartami v neuzavřených raccích zajišťuje 5–8 °C prostoru pro nasávání vzduchu. Uzavření horké uličky má smysl u čtyř racků, což je pro jeden rackový systém zbytečné.

Reálná měření — 4 a 8 grafických karet při trvalém zatížení

Interní testy Kentino, inference vLLM 70B Q4, 30minutový ustálený stav, pokojová teplota 22 °C ± 1 °C.

Cílem návrhu je 4× 5090 – rozložení teploty 8 °C napříč celým procesorem, boost udržovaný v nominálním rozmezí 30 MHz. 8× 5090 se nachází blíže k limitu; GPU 8 s 86 °C je na hranici, kde začíná boost cap. V místnostech teplejších než 24 °C začíná sestava s 8× 5090 ztrácet boost na nejzadnějších kartách – konfigurace s 8 GPU je ta, kde se teplota v instalační místnosti stává prvotřídním parametrem sestavy. Pracovní stanice 4× Pro 6000 běží chladněji při stejném odběru ze zásuvky, protože pevný 600W cap a dvojitě průtokový chladič poskytují předvídatelnější pracovní obálku než spotřebitelský design 5090 s přechodovými špičkami.

Hotspoty za hranicemi grafického procesoru

Číslo nvidia-smi Uvádí se, že se jedná o senzor okraje – okraj paměti GDDR nebo křemíkový okraj, v závislosti na kartě. Není to nejteplejší část šasi. Důležité jsou další tři místa:

VRM Při trvalém zatížení se obvykle zahřívají o 10–20 °C více než čip, s maximální teplotou okolo 110 °C. U karty 5090 s výkonem 575 W ukazuje telemetrie desky teploty napájecího zdroje (VRM) v rozmezí 85–95 °C. Karty se slabým chlazením VRM omezují teplotu VRM před křemíkem – neviditelné pro nvidia-smi --query-gpu=temperature.gpu, viditelné pouze jako nevysvětlitelná ztráta taktu. Pokud se karta na senzoru GPU chladí, ale ztrácí napájecí napětí, podezřejte VRM.

Paměť GDDR7 na grafické kartě 5090 se přehřívá. Dlouhodobá inference s velkým aktivačním provozem zvyšuje teplotu paměťových spojů na 95–100 °C. Karta nejprve snižuje frekvenci paměti (ztráta šířky pásma 3–5 %) a poté frekvenci GPU. U úloh vázaných na paměť je úzkým hrdlem teplota paměti, nikoli teplota jádra.

NVMe SSD disky jsou tichým zabijákem. Disk PCIe 5.0, který provádí trvalé čtení (načítání vah 70B, streamování datových sad), dosáhne bez aktivního chlazení 70–80 °C během několika sekund. Nad ~75 °C se řadič zpomalí a šířka pásma čtení se zpoloviní. Načtení modelu, které „by mělo trvat 8 sekund“, trvá 16 sekund a nikdo neví proč. Každá sestava Kentino AI je dodávána s NVMe s chladiči v dráze proudění vzduchu v šasi.

Pro sledování všeho, co je ve výrobě důležité:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

Pro NVMe, nvme smart-log /dev/nvme0 hlásí teploty řídicí jednotky a kompozitního materiálu; alarm při 70 °C kompozitního materiálu. Teplota VRM je zobrazena na kartách Pro 6000 prostřednictvím DCGM (dcgm-exporter pro Prometheus); na spotřebitelských kartách je specifický pro konkrétního dodavatele základní desky a často se objevuje pouze v utilitách systému Windows – jeden z několika důvodů, proč v dlouhodobě produkčních aplikacích preferujeme karty pro pracovní stanice.

Teplota okolního prostředí a obálka ASHRAE

Norma ASHRAE TC9.9 definuje teplotní limity, kterými se návrh datových center řídí. Třída A1 (kolokace 1. úrovně) doporučuje vstupní teplotu 18–27 °C; třída A2 (všeobecný podnik) rozšiřuje povolenou teplotu na 10–35 °C. Řada Kentino AI je navržena podle A2, ale teplotní limit bez škrticí klapky pro šasi 4× nebo 8× 5090 se nachází uvnitř A1: 22 °C vstupní teploty je návrhový bod, 26 °C je praktický strop před začátkem ztráty plnicího tlaku. Důležitá je i vlhkost: ASHRAE doporučuje 20–80 % bez kondenzace. Celoročně se snažte o relativní vlhkost 40–60 %.

Čísla L40 a L4 jsou důvodem, proč tyto karty zůstávají zajímavé pro kancelářské nasazení: snášejí běžné kancelářské vytápění, větrání a klimatizaci. Sestava s 8 grafickými kartami 5090 potřebuje serverovnu nebo skříň se samostatným chlazením, tečka.

Dimenzování HVAC v jednom odstavci

Chlazení místnosti se rovná trvalému odběru energie ze stěny: 1 kW = 3 412 BTU/hod. Server s výkonem 2.4 kW a 4 GPU má ~8 200 BTU/hod; server s výkonem 4.5 kW a 8 GPU má ~15 400 BTU/hod. Dimenzujte klimatizační jednotku na 1.3× ustálené zatížení – stejné pravidlo pro rezervu jako u napájecích zdrojů. Dělicí jednotka s výkonem 12 000 BTU na serveru s výkonem 2.4 kW běží na 100% zatížení a vypne kompresor za 18–30 měsíců; jednotka s výkonem 24 000 BTU při stejném zatížení běží na 50% zatížení a vydrží 8–10 let. Nad 10 kW se stává relevantní přesné chlazení (CRAC); pod touto hodnotou stačí správně dimenzovaná dělicí jednotka.

Provedení: 4U rack, 8U rack, tower

Řada Kentino AI využívá tři varianty: 4U rack pro sestavy se 4 GPU (3× 120 mm sání, 1× zadní, duální ATX, 19palcový rack), 8U rack pro sestavy s 8 GPU (ventilátory pro průmyslové servery, napájení CRPS, základní deska se dvěma CPU, zhruba dvojnásobná tepelná hustota oproti 4U) a tower pracovní stanici pro vývojové boxy s 1 a 2 GPU (PWM ventilátory, vhodné do kanceláře). Pro šasi s více než 2 GPU nedodáváme towery – vertikální šasi se 4 GPU dosáhne na horní grafické kartě hranice 90 °C během 20 minut trvalého zatížení. Stejný hardware ve 4U racku zůstává pod 85 °C po neurčito.

Kapalinové chlazení – kdy a proč

Vzduch zvládne ~600 W na GPU v dobře navrženém 4U; nad tuto hodnotu je řešením kapalina. Víceúčelové zařízení (AIO) na kartu snižuje teplotu GPU o 15–25 °C, ale přidává řádově větší složitost, s novými poruchovými režimy, jako je selhání čerpadla a tiché odpařování chladicí kapaliny. Přímé připojení k čipu s výměníkem tepla v zadní části racku napojeným na chlazenou vodu v zařízení je pro 16+ GPU na cluster správným řešením. Ponoření do dielektrické kapaliny je efektivní, drahé a zcela mění model provozuschopnosti.

Pro současnou řadu Kentino – vzduchem chlazené šasi s výkonem až 600 W na kartu – je vzduch správnou odpovědí . Sestava se 4 procesory 5090 běží na hranici 78–84 °C s nulovým plynem, 24 hodin denně, 7 dní v týdnu, ve studené uličce s teplotou 22 °C. Kapalina by tuto teplotu zvýšila na 55–65 °C a získala by o několik procent vyšší taktovací frekvenci; rozdíl kapitálových výdajů a složitosti to v tomto měřítku neodůvodňuje.

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy vítány na adrese info@kentino.com.