Dimenzování PSU a konfigurace duálních PSU pro servery s umělou inteligencí a více GPU

Napájení je jediná věc, kterou většina sestav s více grafickými kartami dělá chybu hned napoprvé. Je to také poruchový režim, jehož oprava je později nejdražší: pokud je zdroj poddimenzovaný, systém se při zátěži náhodně restartuje, pokud je předimenzovaný, vyhodíte 400 eur za jednotku s 30% účinností. Otázka dvou zdrojů se zhoršuje, protože většina toho, co se online píše o „redundanci“, je v kontextu 4U pracovní stanice nebo serverového šasi se spotřebitelskými grafickými kartami špatně.

Tento článek nabízí matematiku, realitu provedení a poctivý rámec pro sestavení 4 a 8 grafických karet na hardwaru, který skutečně dodáváme: RTX 5090, 4090, RTX Pro 6000 Blackwell (Workstation a Max-Q), L40 a L4 na hostitelských platformách EPYC.

Výpočet celkového výkonu

Číslo, které vás zajímá, je trvalé kreslení stěny při realistickém zatížení, plus dostatečný prostor pro přetížení, aby přechodné špičky nespustily ochranu zdroje proti nadproudu. Vzorec je jednoduchý:

P_total  =  (GPU_TDP × N_gpu)  +  CPU_TDP  +  drives  +  fans  +  motherboard
P_psu    =  P_total / efficiency_at_load  ×  1.30  (30% headroom)

30% rezerva není libovolná. Zahrnuje tři věci najednou: krátkodobé špičky GPU, pokles účinnosti při překročení ~70 % jmenovitého výkonu zdroje a skutečnost, že TDP GPU je marketingové číslo, které reálné pracovní zatížení občas překročí.

Referenční TDP, které používáme pro dimenzování:

Vzorec: karty pro pracovní stanice (Pro 6000, L40, L4) si striktně drží jmenovitou spotřebu energie (TDP), protože jejich firmware má energetické limity navržené pro trvalé zatížení datových center. Spotřebitelské karty (5090, 4090) zaznamenávají prudký nárůst. Během přechodu mezi pracovními zátěžemi bude procesor 5090 odebírat 600 W nebo více po dobu desítek milisekund. Vynásobte to čtyřmi kartami, které vzájemně vykreslují přechodové jevy mimo fázi, a váš zdroj zaznamená krátkodobé výkyvy vysoko nad průměrem ustáleného stavu.

Proto je „matematika říká 1500 W, koupím si 1500W zdroj“ nejčastějším způsobem, jak se sestava se 4× 5090 při zátěži restartuje.

Přechodné špičky – proč je prostor nad hlavou skutečný

Přechodové chování spotřebitelských GPU třídy Blackwell je dobře zdokumentováno. 5090 běžící na volnoběhu s výkonem ~30 W může během jediné milisekundy vyskočit na 600 W, když se jádro CUDA spustí proti prázdné frontě. Vlastní VRM karty část této spotřeby vyhladí, ale na zdroje se dostane zpět nepatrná část. 4090 dělá totéž při špičkách ~500 W.

Dva důsledky:

1. Nadproudová ochrana (OCP) zdroje je kritickým bodem selhání., nikoli průměrná kapacita sběrnice. 1500W zdroj s agresivním OCP nastaveným na ~130 % jmenovitého napětí se vypne, když se u čtyř 5090 shodně objeví špičkové napětí. Restart je tichý – žádný protokol událostí, žádné varování, systém se prostě znovu spustí. Diagnostika bez přístrojového vybavení trvá dny.
2. Doba odezvy zdroje je důležitější než maximální zatížení. Serverové a špičkové zdroje ATX mají kapacitní výdrž, která dokáže absorbovat přechodové jevy v řádu milisekund, aniž by přetížila sběrnici. Levné nebo starší modely to nedokážou. Proto je cenový rozdíl mezi 2kW průmyslovým zdrojem a 2kW spotřebitelským „herním“ zdrojem skutečný – není to jen konstrukční záležitost.

Praktické pravidlo, které používáme: cíl 70 % jmenovitého výkonu zdroje jako ustálené zatížení, ponechte 30 % na přechodové jevy a křivku účinnosti. Sestava 4× 5090 s trvalým výkonem ~2.3 kW vyžaduje 3kW zdroj, což v praxi znamená dva 1500W ATX zdroje rozdělené podle zátěže.

Více než 80 hodnocení – co to vlastně znamená

Certifikační úrovně 80+ popisují účinnost při zatížení 20 %, 50 % a 100 %, a to buď při vstupním napětí 115 V nebo 230 V. Relevantní čísla pro server s více grafickými procesory a umělou inteligencí (který je většinu času zatížen téměř 50 %) při evropském napájení 230 V:

Při 50% zatížení je rozdíl mezi Gold a Titanium čtyři procentní body. U systému s výkonem 2 kW běžícího 24 hodin denně, 7 dní v týdnu, jsou čtyři body zhruba 80 W nepřetržitě, neboli ~700 kWh ročně. Při ceně 0.20 €/kWh to je 140 €/rok na zdroj. Titanium se zaplatí během dvou let na serveru, který skutečně běží v pracovním cyklu, pro který je vyroben; Gold je správnou odpovědí, pokud je systém polovinu času nečinný.

Na produktových stránkách Kentina netvrdíme, že máme certifikát 80+ Platinum nebo Titanium, pokud nemáme certifikaci v evidenci. Velká většina 2kW ATX zdrojů, které dodáváme, má certifikát Gold. Zákazníci, kteří potřebují Platinum nebo Titanium konkrétně pro nepřetržité nasazení v kolonádách, si je mohou vyžádat jako možnost sestavení – my je zajistíme a zajistíme cenovou nabídku.

ATX vs. serverové zdroje s možností výměny za provozu

Otázka tvarového faktoru se jasně rozděluje:

ATX (jeden zdroj, až ~2 kW)

• Standardní šasi pracovních stanic 4U pojme jeden nebo dva zdroje ATX.
• Maximální praktický výkon na jednotku ATX je ~2 kW (limit jednofázového obvodu 240 V při 16 A je celkem 3.6 kW).
• Kabely jsou uživatelsky vyměnitelné, modulární a rozložení pinů konektorů je standardní.
• Žádná výměna za provozu. Porucha zdroje znamená nutnost opětovné sestavení po vypnutí napájení.
• Cena: 200–500 € za seriózní 2kW ATX jednotku (Corsair AX, Seasonic PRIME, EVGA SuperNOVA G+, Super Flower Leadex).

CRPS (Common Redundant Power Supply, serverový formát)

• Standardní modul serverového zdroje, ~73.5 mm × 185 mm × 40 mm.
• Používá se v serverových šasi Supermicro, Tyan, Gigabyte a Bone64c.
• Skutečná výměna za provozu při spárování s redundantní základní deskou (1+1 nebo 2+2).
• Typické jmenovité výkony: 1200 W, 1600 W, 2000 W, 2400 W, 3000 W na modul.
• Cena: 350–700 EUR za modul plus základní deska.

Poctivý rám pro stavby Kentina:

• Servery K-AI se 4 grafickými kartami se dodávají v šasi pro pracovní stanice/servery o výšce 4U s duálními zdroji ATX – konkrétně duálními 1500 W nebo duálními 2000 W v závislosti na kombinaci grafických karet.
• Servery K-AI s 8 GPU se dodávají v serverových šasi s duálními nebo čtyřmi moduly CRPS s výkonem 2000–2400 W každý. V těchto konfiguracích se skutečná redundance 1+1 stává smysluplnou volbou, protože ji podporuje i propojovací deska šasi.

Poctivost duálního zdroje napájení – rozdělené dodání, ne N+1

Toto je nejzkreslenější specifikace na trhu s více grafickými kartami a tuto chybu nebudeme opakovat.

V šasi pracovní stanice 4U se dvěma zdroji ATX:

Tyto dva zdroje nejsou redundantní. Napájejí různé zátěže. Typické zapojení je:

Dvě oddělené skupiny zátěže pro dva ATX zdroje. Žádné sdílení lišt, žádné záložní napájení.

V této topologii nedochází k žádnému „automatickému přepnutí na záložní systém“ mezi dvěma zdroji ATX. Zdroje ATX nesdílejí lišty. 12V výstup zdroje A není elektricky propojen s 12V výstupem zdroje B. Pokud byste je zapojili dohromady, vytvořili byste proudovou smyčku a poškodili byste jednu nebo obě jednotky.

Důvod, proč používáme duální zdroj v sestavách se 4 grafickými kartami a větších, je... rozdělené napájeníJedna 2kW ATX jednotka při 70% zátěži je na papíře v pořádku, ale samotný svazek kabelů – čtyři PCIe porty pro grafické karty plus základní deska plus EPS – je fyzicky nepraktické vést z jednoho zdroje. Rozdělení na dvě jednotky o výkonu 1500 W nebo 2000 W snižuje hmotnost kabelů na straně na polovinu, tepelné zatížení na jednotku na polovinu a poskytuje elegantní záložní řešení pro 2 grafické karty, pokud se zdroj uprostřed práce odpojí, spíše než tvrdou smrt systému.

CRPS v serverovém šasi je jiný. Základní deska 2+2 CRPS se čtyřmi 2kW moduly a 1+1 redundantními páry je skutečně hot-swappable a jeden modul může selhat, aniž by to vyřadilo systém z provozu. Toto je konfigurace serveru s 8 GPU a na stránce produktu explicitně uvádíme, kdy je sestava dodávána s touto základní deskou. Je to také konfigurace, která ospravedlňuje tvrzení o „redundantním zdroji“. Toto tvrzení neuvádíme u sestav ATX se 4 GPU, protože by to bylo nesprávné.

Vyvážení kolejnic a proudové limity na kolejnici

Moderní špičkové zdroje ATX jsou standardně navrženy s jednou lištou 12 V, což věci zjednodušuje – celý 12V výstup je jeden velký pool a jediným omezením je celkový výkon zdroje. Jednolijová jednotka s výkonem 2000 W napájená z 230 V dokáže při 12 V dodat ~166 A, což je pro jakoukoli jednu grafickou kartu více než dost.

Některé starší nebo průmyslové zdroje jsou vícekolejné (12V1, 12V2, 12V3, 12V4), každý s kapacitou OCP na lištu obvykle 20–40 A. To je důležité ve dvou případech:

1. Zařízení 5090 s jeho zástrčkou 12V-2x6 (nástupce 12VHPWR) připojíte k jedné 12V sběrnici. Zařízení 5090 s výkonem 600 W odebírá při přechodové špičce 50 A při 12 V. Vícekolejnicový OCP s proudem 40 A se vypne.
2. Dvě grafické karty připojíte ke stejné skupině portů s více kolejnicemi. Stejný problém, dvojnásobný.

Praktické řešení: pro sestavy s více grafickými kartami používejte 12V zdroje s jednou lištou. Více linek je pozůstatkem z doby, kdy byl 12V OCP bezpečnostním prvkem u herních systémů s jednou grafickou kartou. V šasi se 4× 5090 je aktivně neužitečný.

Betonová sestava s 4 GPU 5090

Čísla z reprezentativní sestavy K-AI 96 Turin se 4× RTX 5090:

Component                       Sustained        Peak
---------                       ---------        ----
4× RTX 5090                     4 × 500 W = 2000 W   4 × 600 W = 2400 W (transient)
EPYC 9354 (32-core, 280 W)      ~ 250 W              350 W
Motherboard + 8× 64 GB DDR5     ~ 100 W              150 W
2× NVMe SSD                     ~ 20 W               30 W
4× 120 mm industrial fans       ~ 30 W               40 W
                                --------             --------
Total system                    ~ 2.4 kW             ~ 3.0 kW transient

Dimenzování zdroje: 3.0 kW přechodný výkon / 0.92 (Gold při 50% zatížení) = rozpočet zdroje 3.26 kW. Zaokrouhleno nahoru na 2× 1500W ATX nebo 2× 2000W ATX, jednokolejnicový, Gold-or-better, rozděleno jako:

• PSU A (2000 W): základní deska, CPU, mechaniky, ventilátory, GPU 1, GPU 2
• Zdroj B (1500 W): GPU 3, GPU 4

Varianta 2× 2000 W je nabídkou pro zákazníky, kteří chtějí ranvej pro pozdější upgrade na karty RTX Pro 6000 Workstation (600 W na každou, tvrdší limit pro přechodné režimy, ale v obou případech trvalý strop 2.4 kW).

Betonová sestava s 8 GPU 5090

Čísla pro K-AI 256 Turin Dual s 8× RTX 5090:

Component                       Sustained        Peak
---------                       ---------        ----
8× RTX 5090                     8 × 500 W = 4000 W   8 × 600 W = 4800 W (transient)
2× EPYC 9554 (64-core, 360 W)   ~ 650 W              800 W
Motherboard + 16× 64 GB DDR5    ~ 180 W              250 W
4× NVMe SSD                     ~ 40 W               60 W
8× industrial server fans       ~ 80 W               120 W
                                --------             --------
Total system                    ~ 5.0 kW             ~ 6.0 kW transient

Dimenzování zdroje: 6.0 kW přechodné / 0.94 (Platinum CRPS při 50% zátěži) = rozpočet zdroje 6.4 kW. Standardní konfigurace je duální 2000W CRPS moduly přinejmenším častěji 2+2 CRPS s výkonem 2000–2400 W každý s redundantní základní deskou.

Toto je konfigurace, kde je opodstatněné tvrzení o skutečné redundanci 1+1. Rozdíl kapitálových nákladů u neredundantního serveru se dvěma zdroji je přibližně 800–1 200 EUR na sestavení.

Zde záleží na vstupu 240 V. Systém 8 GPU 5090 na jednofázovém obvodu 230 V s proudem 16 A odebírá 73 % trvalého jmenovitého proudu jističe, což je horní hranice povoleného trvalého odběru ve většině jurisdikcí. Pro jakékoli nasazení s 8 GPU doporučujeme obvod 32 A nebo třífázovou rackovou PDU s 230 V na každou větev.

Dimenzování UPS

Pokud instalujete 4-GPU nebo 8-GPU server s umělou inteligencí na UPS – což byste měli udělat, alespoň pro bezproblémové vypnutí – matematika je:

• Sestavení se 4 grafickými procesory: trvalý výkon 2.4 kW. Online UPS s výkonem 3 kVA / 2.4 kW poskytuje plné pokrytí, ale minimální dobu provozu (cca 5 minut při plném zatížení). Pro plynulé vypnutí to stačí.
• Sestavení s 8 grafickými kartami: trvalý výkon 5 kW. Minimum je online UPS s výkonem 6 kVA. Pro skutečných 10 minut provozu při zátěži je potřeba 10 kVA nebo paralelní pár.

UPS, který není dostatečně dimenzován pro přechodnou špičku, se v okamžiku, kdy dojde k prudkému nárůstu výkonu grafických karet (GPU), přepne do bypassu nebo se vypne. Jmenovitý výkon UPS musí pokrývat přechodnou špičku, nikoli trvalý průměr. Online dvojitá konverze je správná topologie pro výpočetní techniku ​​s využitím umělé inteligence. Line-interactive jednotky mají přenosovou dobu 4–10 ms, která občas způsobí selhání inferenčních úloh při přechodu. Čistý sinusový výstup, nikoli modifikovaný sinus – moderní zdroje ATX a CRPS netolerují modifikovaný sinusový výstup při vysokém zatížení.

Souhrnná tabulka – Doporučení pro zdroje podle třídy sestavení

Čísla L40 a L4 jsou důvodem, proč tyto karty zůstávají zajímavé: inferenční server 8× L4 běží na jednom 1200W ATX zdroji s dostatečným prostorem a vejde se do jakéhokoli kancelářského obvodu. Ne každé pracovní zatížení potřebuje Blackwell.

---

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy jsou vítány na adrese info@kentino.com.