Dimenzování jističů a zapínací proud pro servery s umělou inteligencí

Stížnost, kterou nejčastěji slýcháme po instalaci serveru s umělou inteligencí, je nějaká varianta „jistič se stále vypíná“. Zhruba v polovině případů je rack v pořádku – grafické karty běží, BMC zůstává zapnutý, grafy SNMP vypadají rozumně – a přesto se v nepředvídatelných okamžicích panel převrátí a místnost se potemní. Méně často je spouštěčem proudový chránič (RCD), což je ještě frustrující, protože zátěž vypadá vyváženě a zařízení vypadá v pořádku.

Z našich zkušeností vyplývá, že ani jeden z těchto příznaků obvykle nepředstavuje přetížení. Asi v polovině případů se jedná o nesprávnou vypínací křivku jističe – obvykle o jistič s B-křivkou instalovaný elektrikářem, který předpokládal, že se výpočetní technika umělé inteligence chová jako kancelářská IT. Asi v 30 % případů se jedná o nesprávný typ proudového chrániče , kdy je zařízení typu AC nebo typu A požádáno o rozlišení úniku stejnosměrné složky ze sady serverových zdrojů s korigovanou účiníkem. Zbývajících 20 % představuje skutečné přetížení, téměř vždy v okamžiku, kdy několik zdrojů synchronně startuje za studena a obálka zapínacího proudu krátce překročí cokoli, co by průměrný odběr předpovídal.

Tento článek je doplněk k článku W04 (dimenzování PSU) a P02 (typy PDU) z elektrické stránky . Zabývá se skutečným významem vypínacích křivek podle normy IEC 60898, skutečným chováním námi dodávaných PSU při zapínání, případy, kdy dochází k 80% snížení výkonu při trvalém zatížení, a který typ proudového chrániče (RCD) specifikovat pro rack s přepínanými zdroji AI pro servery. Na konci jsou uvedeny praktické příklady pro sestavu 5090 se 4 GPU a sestavu s 8 GPU.

Co jistič skutečně měří – dva vypínací mechanismy v jednom zařízení

Každý miniaturní jistič podle IEC 60898 má dva ochranné mechanismy zabalené ve stejném pouzdře.

Tepelný prvek je bimetalický pásek, který se zahřívá proudem po dobu mnoha sekund. Modeluje profil I²t, který určuje, zda se kabel přehřívá. Podle normy IEC 60898 jsou konvenční tepelné body: při 1.13 × jmenovitý proud jističe (In) nesmí jistič vypnout v konvenční době (obvykle > 1 hodina pro jmenovité proudy ≤ 63 A) a při 1.45 × In musí vypnout v konvenční době. Jedná se o součástku, která chrání vodič před trvalým přetížením.

Magnetický prvek je elektromagnetická cívka, která rozpojí kontakty během zlomku půlcyklu, když proud překročí pevnou prahovou hodnotu. Jedná se o část, která chrání před zkraty – a část, která rozhoduje, zda je zapínací proud vašeho serveru s umělou inteligencí „v pořádku, krátký přepětí“ nebo „vypnutí, uvidíme se zítra“.

Písmeno vypínací křivky (B, C, D) označuje pásmo magnetického prahu. Tepelná charakteristika je napříč křivkami při stejném In stejná; liší se pouze magnetický bod.

Pro jistič 16 A jsou magnetické prahové hodnoty zhruba následující: B16 vybaví při proudu nad 48–80 A; C16 vybaví při proudu nad 80–160 A; D16 vybaví při proudu nad 160–320 A. Přesný bod uvnitř každého pásma závisí na výrobci a teplotě.

Většina obytných a malých komerčních budov v EU je standardně dodávána s jističi s křivkou B. Tato volba je správná pro kancelářské zásuvky, osvětlení a odporové zátěže. Pro obvod serveru s umělou inteligencí je to z důvodů, které si právě probereme, nesprávná výchozí volba.

Skutečné chování zdroje při zapnutí – datové listy součástek podceňují

Když je serverový zdroj zapojen do zásuvky a zapnut za studena, prvním úkolem vstupního stupně je nabití objemových kondenzátorů na straně stejnosměrného proudu. Ty mají obvykle kapacitu 470 µF až 2200 µF s jmenovitým napětím 400 V nebo 450 V a jsou umístěny za můstkovým usměrňovačem. Z nulového začátku vypadají po dobu několika set mikrosekund jako téměř zkrat k střídavému vedení, dokud se napětí na kondenzátoru nedosáhne špičkového síťového napětí.

Mechanismus ve většině slušných napájecích zdrojů spočívá v zapojení termistoru s NTC (záporný teplotní koeficient) sériově se vstupem. Za studena má odpor 5–20 Ω; spínací proud ho během milisekund sám zahřeje, odpor klesne na několik procent hodnoty za studena a termistor se pro ustálený provoz stává prakticky transparentním. Nevýhodou je, že NTC se po zapnutí a vypnutí musí znovu ochladit – napájecí zdroj, který právě běžel a byl na deset sekund vypnut, se může zapínat téměř tak, jako by žádný omezovač nebyl, protože termistor je stále horký a má nízký odpor.

Moduly CRPS serverové úrovně často přidávají aktivní omezovač zapínacího proudu : relé nebo MOSFET, který po nabití kondenzátorů obchází omezovací odpor. To kombinuje ochranu proti studenému startu, kterou zajišťuje NTC, s nezávislostí ochlazování na základě hardwarového spínače. Moduly CRPS v rozsahu 1.6–3 kW se obvykle chovají lépe při zapínacím proudu než jednotky ATX se stejným výkonem, částečně proto, že aktivní obvod je standardní, částečně proto, že předpoklad impedance zdroje (datové centrum 230 V) je přesnější.

Dva důsledky pro návrh racku s umělou inteligencí:

1. Špička zapínacího proudu uvedená v datovém listu je při jmenovitém napětí a „typické“ impedanci zdroje. Při 245 V (horní hranice tolerance EU) na krátkém napájení s nízkou impedancí z blízkého rozvaděče může být špička 1.5–2× vyšší než typové číslo. Naměřili jsme špičky 180 A na 1500W ATX jednotce, která byla specifikována na 100 A.
2. Více zdrojů, které se spouštějí současně, sčítají své zapínací špičky. Síťový cyklus je pro všechny stejný; pokud jsou čtyři zdroje zapojeny do stejného obvodu a všechny sepnou své vstupní spínače ve stejném okamžiku, jistič zaznamená zhruba 4násobek špičky na zdroj. Server 4× 5090 se dvěma 2kW zdroji ATX (špička ~150 A každý v nejhorším případě) začíná krátkodobě se špičkou ~300 A. Jistič B16 (magnetický práh 48–80 A) se vypne. Jistič C16 (80–160 A) se vypne v nejhorším případě. Jistič C32 (160–320 A) zůstává v chodu.

Toto je mechanismus, který stojí za nejčastější stížností typu „můj nový server s umělou inteligencí stále vypíná jistič“. Trvalé zatížení je v pořádku. Vypíná se při zapínacím proudu při studeném startu.

Snižování výkonu při neustálém zatížení – pravidlo 80 %, které zachycuje úlohy umělé inteligence

Praxe EU (a v duchu normy IEC 60364) spočívá ve snížení jmenovitého trvalého proudu jističe na zhruba 80 % jmenovitého proudu u zátěží, které odebírají trvalý proud déle než tři hodiny. Severní Amerika to kodifikuje v normě NEC 210.20(A); Evropa to uplatňuje spíše jako osvědčený postup než jako jedno pevné pravidlo, ale základní fyzika – ohřev bimetalu v jističi, ohřev vodiče v kabelu – je identická.

Inference a trénování AI jsou explicitně kontinuální zátěže. Koncový bod vLLM obsluhující 70B model při stabilním zatížení požadavky spotřebovává 80–95 % jmenovitého TDP GPU po dobu několika hodin. Trénovací běh je ještě jednotnější. 80% snížení rychlosti se uplatňuje v plné výši – pro úlohy AI neexistuje žádná výjimka pro „přerušované zatížení“, protože zátěž je přesně ten druh trvalého odběru, proti kterému má snížení rychlosti chránit.

Server 4× 5090 s trvalým výkonem 2.4 kW má 81 % trvalého jmenovitého proudu jističe B/C 16 A, což je přesně na hranici limitu. S jističem s křivkou B je vedení v průměru v pořádku a vypíná se při nárazovém proudu. S jističem s křivkou C je vedení v průměru v pořádku a občas se vypíná při shodných přechodových špičkách napříč čtyřmi grafickými procesory. S jističem C 20 A nebo C 25 A má vedení skutečnou rezervu a nikdy se nevypne. Proto je naším výchozím doporučením pro sestavu 4 GPU 5090 vyhrazený obvod C 20 A nebo C 25 A , nikoli obvod 16 A, na který „sedí“ matematika.

Výběr křivky chodu pro řadu Kentino AI

Dvě poznámky k této tabulce:

• D-křivka je zřídka správná odpověď. D 10–20× In je určeno pro nárazový proud pro napájení transformátoru a spouštění motoru, který může trvat stovky milisekund. Náběhový proud napájecího zdroje je událost v řádu milisekund až několika milisekund. Jistič s D-křivkou nárazový proud snáší jen minimálně, ale ztrácí citlivost pro ochranu proti zkratu na konci zátěže dlouhého kabelu. Pokud k tomu nemáte konkrétní důvod, držte se C.
• Zvýšení jističe o jednu velikost je téměř vždy levnější než zvýšení o jednu křivku. Výměna součástky za AC 20 A na kabelu správně dimenzované velikosti je za 15 eur, tedy za C 16 A. Přechod z B na C se stejným jmenovitým proudem je také výměnou součástky, ale je v rozporu s původní konstrukční volbou elektrikáře. Oba přístupy fungují; obvykle děláme oba – zvýšení na C-křivku a zvýšení o jednu jmenovitou velikost – abychom uvolnili místo pro druhý zdroj, který nakonec přidáte.

Proč datové listy dodavatelů o záběru podhodnocují skutečná čísla

Tři důvody, proč je údaj o zapínacím proudu v datovém listu spodní hranicí, nikoliv stropem:

1. Měření dodavatele jsou pro jmenovité napětí 230 V AC. V některých oblastech a v hodinách nízkého zatížení může mít síťové napětí 245 V nebo vyšší. Špička zapínacího proudu se lineárně škáluje s napětím sítě nad napětím částečně nabitého kondenzátoru. Zapínací proud 100 A při 230 V je 107 A při 245 V – malý efekt, ale sčítá se s ostatními.
2. Impedance zdroje uvedená v datovém listu je „typický“ laboratorní zdroj, často několik stovek miliohmů. Reálná instalace s rozvaděčem ve stejné místnosti jako rozvaděč a krátkým napájecím vedením může dosáhnout impedance zdroje pod 100 mΩ. Nižší impedance zdroje znamená menší pokles napětí během nárazového proudu, což znamená vyšší špičkový proud. Viděli jsme stejný zdroj odebírat špičkový proud 80 A na dlouhém kabelu a špičkový proud 140 A na krátkém.
3. Stav přednabití stejnosměrné sběrnice je důležitý při rychlém cyklu zapnutí/vypnutí. Zdroj vypnutý na několik sekund a znovu zapnutý může zaznamenat teplé kondenzátory se zbytkovým nabitím – obvykle to pomůže, menší nárazový proud. Ale zdroj vypnutý na několik sekund s... studený NTC, který se neresetoval a částečně vybitý Kondenzátory mohou způsobit zvláštní náběhový proud při druhém zásahu, který překročí hodnotu pro studený start. To je vzácné, ale objevuje se to v raccích, kde někdo během ladění zapíná a vypíná napájení přes přepínaný PDU.

Praktickou odpovědí je předpokládat, že nejhorší možný vrchol je při dimenzování křivky jističe zhruba 2× větší než hodnota uvedená v datovém listu. To je důvod, proč výše uvedená tabulka uvádí C 20–25 A pro sestavy se 4 grafickými kartami a C 32 A nebo třífázový proud pro sestavy s 8 grafickými kartami, i když by matematika pro ustálený stav odpovídala i menším jističům.

Diferenciální ochrana: typ RCD pro serverové rozvaděče s umělou inteligencí

Proudový chránič (RCD) chrání před zemním proudem, který překročí bezpečnou prahovou hodnotu – obvykle 30 mA pro obvody osobní ochrany. Mechanismus je proudový transformátor, který sčítá fázové a nulové proudy; za normálního provozu je součet nulový a jakákoli nerovnováha (proud směřující někam do země) se projeví jako reziduální proud, který zařízení vypne nad prahovou hodnotu.

Dva způsoby, jakými rack serveru s umělou inteligencí mate proudový chránič:

Ustálený svodový proud přes Y-kondenzátor. Každý spínaný zdroj má ve svém vstupním filtru EMC kondenzátory Y, které se nacházejí mezi fází a zemí a nulovým vodičem a zemí. Tyto kondenzátory odvádějí vysokofrekvenční spínací šum do země. Jako vedlejší efekt také propouštějí do země malý proud o frekvenci 50 Hz – obvykle 0.5–1 mA na zdroj u spotřebitelských ATX jednotek, 1–3 mA na zdroj u serverových jednotek CRPS s náročnější filtrací. Norma IEC/EN 60950-1 a její nástupce IEC 62368-1 z bezpečnostních důvodů omezují tento proud na 3.5 mA na IT zařízení. Stojan se 4 zdroji proto může před vznikem poruchy vykazovat 4–12 mA uzemňovacího svodového proudu v ustáleném stavu. U proudového chrániče 30 mA je to „na papíře v pořádku“, ale spotřebuje to téměř polovinu vypínacího prahu.

Únik stejnosměrné složky z aktivní korekce účiníku (PFC). Moderní serverové zdroje používají aktivní korekci účiníku (PFC) – zvyšující měnič na vstupu, který odebírá proud úměrný tvaru vlny síťového napětí a dosahuje PF > 0.95. Stupeň PFC produkuje malou, ale nenulovou stejnosměrnou složku v jakémkoli zemním úniku, ke kterému dojde (většinou za poruchových podmínek). Proudové chrániče typu AC reagují pouze na čistý sinusový střídavý zbytkový proud – nedetekují poruchy stejnosměrné složky. Proudové chrániče typu A detekují střídavý a pulzující stejnosměrný proud, což pokrývá většinu jednofázových elektronických zátěží. Proudové chrániče typu B detekují také hladké stejnosměrné zbytkové proudy , což dokáže produkovat aktivní korekce účiníku a jakýkoli třífázový usměrňovač v zátěži.

Proudové chrániče typu B jsou 3–5krát dražší než typ A. Pro jeden server s umělou inteligencí se 4 grafickými procesory v existujícím kancelářském okruhu je typ A obvykle v pořádku – únik je dominantně ovlivněn střídavým proudem z kondenzátoru Y, stejnosměrná složka je malá a náklady na modernizaci typu B na celém panelu je těžké odůvodnit. Pro specializovanou laboratoř umělé inteligence s více servery je typ B na vstupu do sítě správnou odpovědí , s proudovými chrániči typu A s proudovým proudem 30 mA na úrovni zásuvek pro osobní ochranu při čištění zásuvek a podobně.

Selektivita: proudový odpařovač před/za proudem

Jeden nepříjemný způsob selhání v laboratořích, které přišroubovávají další proudové chrániče na stávající rozvaděč: 30mA proudový chránič před dalším 30mA proudovým chráničem neposkytuje žádnou selektivní diskriminaci. Kterýkoli ze zařízení může při poruše vypnout jako první a jakmile jeden vypne, může ho následovat druhý, protože se únik přerozdělí vlastními cestami mechanismu spouště. Výsledkem je, že celý rozvaděč ztmavne při poruše, která by měla být lokalizovanou poruchou jednoho obvodu.

Správná topologie pro laboratoř umělé inteligence:

Správná topologie selektivity proudových chráničů: 100 mA selektivní typ B před obvody AI, 30 mA pouze typ A na pomocných a kancelářských zásuvkách.

Označení „S“ neboli „selektivní“ na proudovém chrániči (RCD) předřazeném proti proudu přidává k vypínacímu mechanismu záměrné časové zpoždění 40–200 ms, což zajišťuje, že zařízení s proudovým proudem 30 mA zařazená proti proudu mají čas nejprve odstranit poruchu. Bez časového zpoždění by dva proudové chrániče zapojené v sérii se stejnou prahovou hodnotou soupeřily. Topologie, která skutečně funguje pro víceserverový rack s umělou inteligencí, je selektivní 100 mA typu B zařazený proti proudu, 30 mA typu A zařazený po proudu pouze na pomocných zásuvkách a žádný proudový chránič na vyhrazeném serverovém obvodu (spoléhající se na 100 mA zařazený proti proudu pro odstranění poruchy).

Zpracovaný příklad 1 — 4-GPU 5090 Kentino AI server

Nastavení: jedna grafická karta Kentino AI 96 Turin se 4× RTX 5090, 2× 1500W ATX zdroje (rozdělené napájení na W04), v malé laboratoři na nově instalovaném dedikovaném obvodu.

Trvalé zatížení: ~2.4 kW při 230 V = 10.4 A trvale. Při 80% snížení výkonu je nejmenší jistič, který je legálně vhodný, 13 A; další standardní velikost je 16 A.

Špičkový náběhový proud (nejhorší případ): 2× 150 A = 300 A dohromady, trvající < 5 ms. Jistič AB 16 A (magnetický 48–80 A) se v tomto případě vypne. Jistič AC 16 A (magnetický 80–160 A) se vypne na horní hranici nejhoršího případu. Jistič AC 20 A (magnetický 100–200 A) drží.

Proudový chránič: jeden pár napájecího zdroje, odhadovaný svod proudu přes Y je ~3–5 mA v kombinovaném ustáleném stavu. Proudový chránič typu A s proudovým proudem 30 mA má rezervu ~25 mA – v pořádku. Pokud je v budově pouze proudový chránič typu AC, nahraďte předřazené zařízení proudovým chráničem typu A nebo typu B; neinstalujte na sebe druhé 30 mA zařízení.

Specifikace předaná elektrikáři:

• Vyhrazený jednofázový obvod 230 V, Jistič C 20 A (nebo B 20 A, pokud dodavatel v daném hodnocení neuvádí křivku C; preferuje se C).
• Proudový chránič typu A 30 mA minimálně typ B, pokud se budova stejně vylepšuje.
• Zásuvka Schuko (nebo místní jednofázový 16A konektor) v rozvaděči. Kabel C19/C20 ze zásuvky do PDU.
• Žádné další zátěže na stejném obvodu.

Tento obvod udrží server 5090 se 4 grafickými kartami během studených startů, trvalého tréninku a občasného vypnutí a zapnutí napájení bez rušivých vypnutí.

Zpracovaný příklad 2 — 8-GPU 5090 Kentino AI server

Nastavení: jedna karta Kentino AI 256 Turin Dual s 8× RTX 5090, 2+2 moduly CRPS po 2 kW, určená pro trvalé školení v malé serverovně.

Trvalé zatížení: ~4.5 kW při 230 V = 19.6 A trvale. Při 80% snížení výkonu je potřeba jistič alespoň 25 A; další standardní velikost je 32 A.

Špičkový náběhový proud (nejhorší případ): 4× 80 A = 320 A kombinovaně pro moduly CRPS, < 5 ms. Jistič AC 32 A (magnetický 160–320 A) je na hraně. Jistič AC 40 A (200–400 A) drží s rezervou.

Proudový chránič: 4× CRPS s PFC, odhadovaný svod proudu ve tvaru Y je ~8–15 mA v kombinovaném ustáleném stavu plus nenulová stejnosměrná složka. Proudový chránič typu A s proudem 30 mA v tomto případě nakonec způsobí rušivé vypnutí a nemusí správně detekovat stejnosměrný poruchový proud. Správnou specifikací je selektivní chránič typu B se 100 mA.

Možnosti specifikace:

• Varianta A – jednofázová: Jistič C 32 A nebo C 40 A na vyhrazeném obvodu 230 V, selektivní proudový chránič typu B 100 mA předřazený. Modrá zásuvka CEE 32 A (jednofázová dle IEC 60309) ve stojanu. Funguje to, ale je to na horní hranici jednofázového rozvodu; kabeláž je vystavena značnému proudu.
• Varianta B – třífázová (preferovaná): Třífázová zásuvka CEE 400 V, červená, 16 A, v rozvaděči, se čtyřmi moduly CRPS rozloženými mezi fázemi na PDU (na P02/P03). Každá fáze nese trvalý proud ~6.5 A, což je v rámci limitu jakéhokoli jističe C 16 A, proudového chrániče RCD na větev nebo sdíleného selektivního proudu 100 mA typu B na třífázovém napájení. Toto je čistší řešení pro jakoukoli sestavu s 8 grafickými procesory, která má k dispozici třífázové napájení.

Příklad 3 – plánování laboratoře se čtyřmi stojany

Nastavení: plánování laboratoře robotiky a umělé inteligence se čtyřmi racky, z nichž každý bude obsahovat 2× 8GPU servery Kentino s umělou inteligencí, 2× 4GPU servery, síťové připojení a nabíjení humanoidů. Přibližný trvalý výkon na rack: 2× 4.5 + 2× 2.4 = 13.8 kW; se síťovým připojením, přepínači a nabíječkami zaokrouhleno na 15 kW na rack, celkem 60 kW.

Jednofázová distribuce je zde po příchodu mrtvá – trvalý počet na stojan již vyžaduje třífázovou. Plán:

• Budování zdroje: Třífázové napětí 400 V, minimálně 100 A na fázi. Stávající budovy často vyžadují modernizaci inženýrských sítí; před podpisem nájemní smlouvy zkontrolujte rozvaděč.
• Laboratorní dílčí panel: Třífázové napětí 400 V, napájené z hlavní sítě po vodičích 4× 63 A nebo 4× 100 A na kabelový úsek.
• Na stojan: Třífázové napájení 400 V 32 A CEE, červený vodič z dílčího rozvaděče (~22 kW teoreticky, 17.6 kW trvale – odpovídá 15 kW na rozvaděč s 17% rezervou). Třípólový jistič C 32 A před každým napájením rozvaděče.
• Strategie pro zajištěné vnější zdroje (RCD): 100 mA selektivní typ B na napájení rozvaděče, 300 mA selektivní typ B na hlavním rozvaděči jako protipožární ochrana. Proudové chrániče 30 mA typu A pro ochranu osob pouze na pomocných zásuvkách v laboratoři (pracovní stoly, zásuvky pro úklid), nikoli na napájení serverů.
• Fázové vyvážení: za P03Fázově pruhovaná PDU s měřením zásuvek na stojan s dokumentovaným mapováním zásuvek a fází.
• Postupné spuštění: viz. níže.

Past rozloženého startu

Specifický scénář, který poprvé postihne laboratoře: výpadek proudu vypne jistič na předřazeném zdroji, síťové napájení se vrátí a každý server v racku se pokusí o studený start ve stejném okamžiku. Celkový nárazový proud je N × špičkový proud na zdroj napříč všemi servery v racku. U racku se čtyřmi servery může krátkodobě dosáhnout 1000–2000 A na jednom zdroji.

Nadřazený jistič MCB to zaznamená a vypne. Místnost se znovu potemní. Správce systému vypne a zapne panel. Opakuje se totéž.

Dvě řešení, která obě standardně nasazujeme na multiserverových sestaveních Kentina:

1. Přepínaná PDU s postupným spouštěním (za P02). Zásuvky PDU jsou konfigurovány tak, aby se zapínaly postupně s 2–5sekundovým zpožděním mezi jednotlivými zásuvkami. Celková doba pro zapnutí čtyř serverů je 8–20 sekund; události zapnutí se nepřekrývají.
2. „Opožděný start“ nebo „měkký start“ napájecího zdroje v BIOSu / IPMI. Mnoho serverových platforem má konfigurovatelné zpoždění obnovení napájení z elektrické sítě, které náhodně nebo postupně rozkládá čas spuštění v rámci malého okna. V kombinaci s rozložením PDU to poskytuje druhou vrstvu dekorelace.

Bez jednoho z nich by se 8serverový rack na jediném jističi vypnul při každé události obnovení napájení. Viděli jsme to; je to spolehlivě reprodukovatelné; nemá to nic společného s průměrným zatížením.

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy vítány na adrese info@kentino.com.