Typy PDU pro serverové racky s umělou inteligencí: základní, měřené, přepínané, ATS

Napájecí distribuční jednotka (PDU) je nejnudnější věc v racku a kus, kterého litujete jako první. Server s 4 grafickými procesory s umělou inteligencí má trvalý příkon 1.8–2.4 kW; uzel s 8 grafickými procesory má spotřebu 3.5–4.5 kW. Při těchto číslech už PDU není „věc, do které se server zapojuje“ – je to měřič, mapa jističů, tlačítko pro vzdálený reset a ve špatný den jediná věc, která vám říká, která zásuvka se taví.

Tento článek vás provede celým procesem PDU od jednoduchého napájecího kabelu až po inteligentní duální jednotku. Uvede poctivé ceny, co každá úroveň nabízí a kde se křivka nákladů a problémů láme v oblasti výpočetní techniky s využitím umělé inteligence. Nezávislý na značce.

Úrovně v jedné tabulce

Správná odpověď pro jakýkoli AI rack se dvěma nebo více výpočetními uzly je přepínaný + zásuvkově měřený. To obhájíme níže.

Základní PDU – hloupý proužek

Prodlužovací kabel montovatelný do racku. Fáze, nula, uzemnění, řada zásuvek, někdy jistič na každou řadu. Žádný displej, žádný síťový port, žádná logika. Jeden vstup (zásuvka C20 nebo pevně zapojená zástrčka), šest až dvacet čtyři zásuvek v kombinaci C13 a C19, LED dioda napájení, pokud máte štěstí.

Co nezískáte: žádný přehled o tom, kolik proudu odebírá kterákoli jednotlivá zásuvka – nebo samotná jednotka. Žádné vzdálené vypnutí a vypnutí. Žádnou integraci monitorování. Pokud se server zasekne a vy jste 200 km daleko, zavoláte někomu s klíčem od racku.

Základní verze je v pořádku pro laboratorní stůl pod stolem nebo jeden vývojový uzel v malé kanceláři, odkud uvidíte světla a dosáhnete na zásuvku. Je to špatná odpověď pro jakýkoli produkční server s umělou inteligencí, jakýkoli rack, na který se nedostanete za 30 minut, a jakýkoli rack s více než dvěma výpočetními uzly. Rozdíl mezi základní verzí (100 EUR) a měřenou verzí (400 EUR) je v porovnání s jednou grafickou kartou malý; kupte si minimálně měřenou verzi.

Měřená PDU – souhrnný přehled, žádné podrobnosti o jednotlivých zásuvkách

Měřená PDU přidává lokální displej zobrazující vstupní proud, napětí a obvykle výkon (kW) a energii (kWh). U třífázových jednotek zobrazuje hodnoty pro jednotlivé fáze. Lepší jednotky zobrazují stejná data přes SNMP, Modbus TCP nebo HTTP.

Co stále nedostáváte: proud na zásuvku. Vidíte, že stojan odebírá 18 A. Nevidíte, zda je zásuvka 4 9 A a zásuvka 5 0.5 A, nebo zda obě mají 4.75 A. U heterogenního stojanu s umělou inteligencí na tom záleží. Také nemáte žádnou kontrolu nad zásuvkami – zásuvky jsou vždy zapnuté, dokud je jednotka pod napětím.

Tato úroveň nabízí poctivou hodnotu pro jednonájemní rack s jedním nebo dvěma GPU servery a přepínačem, kde je zátěž předvídatelná a stačí se zeptat jen „jsme blízko k vypnutí jističe“. Pokud máte více než dva GPU uzly, povinnost storna nebo profil zátěže, který se mezi trénováním a inferencí na stejné zásuvce výrazně liší, přeskočte ji a přejděte na měření zásuvek.

PDU s měřením podle zásuvek – měření na zásuvku, základní úroveň AI

Proud, napětí, výkon a energie na zásuvku. Malý proudový transformátor nebo bočník na každé zásuvce, dotazovaný mnohokrát za sekundu. Stejná expozice SNMP / Modbus / HTTP jako u měření, s OID na zásuvce.

Pro výpočet s využitím umělé inteligence je to první úroveň, která vám poskytuje data, která skutečně potřebujete. Vidíte, který GPU server co odebírá – když tým přidá trénovací běh a vstupní proud racku se zvýší z 24 A na 30 A, okamžitě víte, že se jednalo o uzel 8× 5090. Účiník na zásuvku odhalí stárnoucí nebo poddimenzovaný zdroj dříve, než selže. Akumulátory kWh na zásuvku poskytují poctivý způsob zpětného nabíjení. Alarmy na zásuvku (např. 12 A na C13, 80 % jmenovitého proudu) zachytí zvýšení proudu dříve, než vypne jistič před ním.

Co stále nemůžete udělat: vzdáleně vypnout a zapnout zaseknutý server. Zásuvka je sice měřená, ale vždy pod napětím.

Jednotky s měřením spotřeby v zásuvkách se pohybují v cenovém rozpětí 700–1200 EUR – mezi jednotkami s měřením spotřeby (400 EUR) a jednotkami s přepínaným měřením spotřeby (1500 EUR a více). Pokud jste se rozhodli, že nikdy nebudete potřebovat dálkové ovládání zásuvek, je to obhajitelné rozhodnutí. V praxi většina rozvaděčů s umělou inteligencí vyžaduje obojí.

Spínaná PDU — dálkové ovládání zásuvek

Přepínaná PDU přidává za každou zásuvku relé (mechanické nebo polovodičové). Zásuvku můžete zapínat, vypínat nebo cyklicky zapínat (vypínat na N sekund a poté zapínat) přes HTTP, SNMP nebo aplikaci dodavatele. Agregované měření je stejné jako u měřené PDU; neprovádí se měření pro každou zásuvku.

Skvělou funkcí je restart bez nutnosti nastartovat. Počet případů, kdy úloha pro školení umělé inteligence zablokovala server natolik, že i IPMI přestalo reagovat, není nulový. Přepínaný PDU je poslední způsob, jak restartovat zařízení bez nutnosti zasahovat člověkem. Sekundární využití: programovatelné spouštěcí pořadí po události UPS (aby se všechny servery nespustily ve stejný okamžik) a plánované zapnutí/vypnutí laboratorního vybavení.

Co bez upgradu na měření zásuvek nezískáte: žádný způsob, jak ověřit, zda je zásuvka po zapnutí skutečně zatížena. PDU vám oznámí, že relé je sepnuté; neoznámí vám, že server odebírá proud. Pro spolehlivý vzdálený restart skutečně potřebujete oba stavy.

Spínané + zásuvkové měřiče – ideální řešení pro AI operace

Měření a dálkové ovládání jednotlivých zásuvek v jedné jednotce. Toto je správné řešení pro jakýkoli výrobní rozvaděč s umělou inteligencí:

1. Odběr na zásuvku ve vašem monitorovacím zásobníku vedle výkonu GPU, pokojové teploty, napájecích obvodů. Anomálie se objevují na jednom dashboardu.
2. Vzdálený restart v uzavřené smyčce. Vypněte relé, sledujte, jak proud klesne na nulu, počkejte pět sekund, zapněte relé, sledujte, jak se proud vrátí na očekávanou hodnotu volnoběhu.
3. Včasné tepelné varování. Pokud zásuvka 4 začne odebírat 2.6 kW, když normálně běží na volnoběh na 1.7 kW, spustí se alarm dříve, než se klimatizace v místnosti vypne.
4. Skutečné vrácení peněz s kWh s časovým razítkem NTP na zásuvku.

Cena: 1500–3000 EUR za vertikální 0U s 24 zásuvkami. Méně než cena jedné RTX 5090. V racku s grafickými kartami v hodnotě přes 30 000 EUR se nejedná o položku, na které by se dalo šetřit.

Pokud se k racku fyzicky nemůžete dostat – kolokace, vzdálená kancelář, budova s ​​omezeným přístupem – POTŘEBUJETE přejít. Jeden vyhnutý příjezd kamionu po pracovní době pokryje rozdíl.

ATS PDU — záložní přepnutí mezi dvěma zdroji napájení

Jednotka PDU s automatickým přepínáním (ATS) má dva vstupní kabely ze dvou různých zdrojů a napájí jednu řadu zásuvek z toho vstupu, který je v pořádku. Když dojde k poklesu nebo poklesu napětí na primárním vinutí, ATS se během 8–16 ms přepne na sekundární vinutí. Následné zařízení zaznamená pouze krátkodobé rušení.

Jednotky ATS PDU jsou určeny pro zařízení s jedním kabelem, která potřebují redundanci zdroje. Moderní servery s duálními zdroji PSU nepotřebují ATS – každý zdroj se zapojí do samostatného PDU na samostatném zdroji a server se postará o záložní režim nativně. Po ATS sáhnete, když má rack zařízení s jedním kabelem – většina síťových přepínačů, KVM, menších úložných zařízení – a nemůžete tolerovat výpadek zdroje.

ATS vám nekoupí záložní baterii; pokud selžou oba zdroje, selže s nimi i ATS. Stále chcete mít UPS před alespoň jedním zdrojem. Také nechrání před zkraty za zdrojem – vadná zásuvka stejně vypne jistič.

Vyplatí se to pro smíšený rack s několika servery se dvěma zdroji a několika zařízeními s jedním zdrojem. Přehnané pro rack, kde je vše již se dvěma zdroji (stačí použít dva nezávislé PDU), nebo pro laboratoř, kde je krátký výpadek nepříjemný, ale ne katastrofální.

3fázový rozvod PDU

Jakmile stojan překročí trvalý výkon přibližně 5 kW, jednofázový proud 16 A (3.7 kW) zmizí a 32 A (7.4 kW) se zdá být těsné. Standardní odpovědí je třífázová napájecí jednotka (PDU) s 3P+N+E zástrčkou dle IEC 60309 32 A (červená, 400 V mezi vodiči / 230 V mezi vodiči).

P_max = √3 × V_LL × I × PF
      = 1.732 × 400 V × 32 A × 1.0
      ≈ 22.2 kVA  (about 22 kW at unity PF)

Předpisy EU snižují trvalé zatížení na 80 % jističe, takže použitelný trvalý výkon se blíží 17–18 kW. To pohodlně stačí pro čtyři uzly se 4 grafickými kartami a síť.

Interně jsou tři fáze (L1, L2, L3) rozděleny mezi vývody jedním ze dvou způsobů. Fáze na skupinu (zásuvky 1–8 na L1, 9–16 na L2, 17–24 na L3) je to jednoduché, ale hrozí vám nerovnováha, pokud veškeré vaše vysoce zatěžované vybavení přistane na stejné skupině. Fázově pruhované (zásuvky 1/4/7 na L1, 2/5/8 na L2, 3/6/9 na L3) umisťuje sousední zásuvky na různé fáze, takže sousedně montované servery se přirozeně rozdělují napříč fázemi. Většina moderních inteligentních PDU standardně propojuje vrstvené sítě.

Příklad zapojení pro třífázovou 32A PDU napájející 4uzlový rack s umělou inteligencí:

Input: IEC 60309 32A 3P+N+E (red, 400/230V)
       L1 — 32A   L2 — 32A   L3 — 32A   N   PE

Internal: per-phase 32A hydraulic-magnetic breaker
          per-outlet relay + CT (switched + outlet-metered)
          phase-striped outlets

Outlets (24 total, 12× C19 + 12× C13, 0U vertical):

  1  (L1, C19)  Node A PSU-1   (8× 5090,  ~4.0 kW)
  2  (L2, C19)  Node A PSU-2   (same node, split delivery)
  3  (L3, C19)  Node B PSU-1   (4× Pro 6000, ~2.2 kW)
  4  (L1, C19)  Node B PSU-2
  5  (L2, C19)  Node C PSU-1   (4× 5090, ~2.0 kW)
  6  (L3, C19)  Node C PSU-2
  7  (L1, C19)  Node D PSU-1   (4× 5090, ~2.0 kW)
  8  (L2, C19)  Node D PSU-2
  9  (L3, C13)  ToR switch (~80 W)
  10 (L1, C13)  Mgmt switch (~30 W)
  11 (L2, C13)  KVM-over-IP (~20 W)
  12 (L3, C13)  Head/jump host (~150 W)
  13–24         Reserve / aux

Per-phase load (all nodes at ~80% sustained):
  L1 ≈ 4.1 kW / 17.8 A
  L2 ≈ 4.0 kW / 17.4 A
  L3 ≈ 2.4 kW / 10.4 A

Důležité jsou zde dvě věci. Zaprvé, fázové prokládání provádí většinu vyvažování automaticky. Zadruhé, uzly s dvojitým zdrojem a děleným napájením záměrně přivádějí své dva kabely na různé fáze. U jakéhokoli serveru s umělou inteligencí a dvěma zdroji v konfiguraci s děleným napájením zapojte každý zdroj do jiné fáze. — snižuje fázový proud na polovinu, zlepšuje rezervu. („Rozdělené napájení“ je náš termín pro kopírování produktu: dva zdroje, každý snáší poloviční zátěž, nikoli redundantní 1+1. Rozdíl viz W04.)

Nerovnováha L3 v daném příkladu (delta přibližně 14 A) je na hranici toho, co dodavatelé energií elegantně akceptují. P03 Zahrnuje fázové vyvažování mezi rozvaděči na úrovni budovy.

C13, C14, C19, C20 – typy zásuvek

Sudé konce jsou vstupy zařízení, liché konce jsou zástrčky kabelů/PDU.

Relevantní bod: Cokoli nad cca 1.5 kW trvalého výkonu vyžaduje C19/C20, ne C13/C14. Uzel umělé inteligence se 4 grafickými kartami a napájecím zdrojem s výkonem 2000–2400 W překračuje schválení C13. Pokus o napájení přes C13 si žádá roztavený konektor po čtyřech měsících nasazení, kdy se v důsledku tepelných cyklů zvýšil kontaktní odpor.

Správně specifikovaná AI rack PDU má dostatek zásuvek C19, ne jen dvě nebo tři. Dobré uspořádání pro 24zásuvkovou vertikální 0U je 12× C19 + 12× C13. Někteří dodavatelé dodávají „kombinované“ zásuvky, které akceptují C14 nebo C20 ve stejné fyzické zásuvce – sice, ale stojí to více. Objednejte si odpovídající kabely C19-C20 (0.9–1.2 m pro 0U PDU namontované v zadní části racku). Kupte si tři nebo čtyři náhradní – ztratí se.

Jmenovitý proud PDU vs. jmenovitý proud obvodu

Utility / panel breaker:     32 A 3-phase (C-curve)
Continuous load (80% rule):  25.6 A per phase usable
PDU rating:                  32 A per phase
Per-phase outlet sum target: ≤ 25 A

Jednotka PDU s přehledem unese 32 A na fázi, pokud to dovolíte. Předřazený jistič nakonec vypne při trvalém proudu 30 A – termomagnetické jističe integrují přetížení po mnoho minut. Počítejte s 80 % a máte rezervu pro nárazový proud a krátkodobé špičky. Druhou vrstvou jsou vlastní jističe na fázi jednotky PDU.

SNMP, Modbus, HTTP — odesílání dat

Přepínaná + zásuvkově měřená PDU má tu hodnotu, kterou z ní vidí váš monitoring.

• SNMP v2c / v3 — univerzální odpověď. Každý seriózní prodejce publikuje MIB; Prometheův snmp_exporter Ztratí to. Použijte v3 tam, kde je to podporováno, v2c na VLAN pro správu, kde je to nutné. Normálně dotazujte každých 30 s, pro rychlou detekci anomálií 10 s.
• ModBus TCP — běžné u značek s průmyslovým zaměřením. Méně standardizované než SNMP (mapy registrů se liší), ale spolehlivé. Prometheus má Modbus exportéry.
• HTTP / JSON REST — moderní inteligentní PDU dodávají REST API. Snadnější pro vlastní integrace; vzácnější než SNMP.
• Cloudové aplikace dodavatelů — užitečné pro rychlý přehled, nespoléhejte se na něj pro monitorování výroby.

Stav relé vs. ovládání je podceňovaná kontrola. Spínané relé může selhat v stavu „přivařené sepnutí“ (častější než přivařené rozpojení). Dal jste příkaz k vypnutí zásuvky 5, proud stále teče, máte zaseknuté relé a server, který nelze resetovat. Chcete to vědět.

Upřímný pohled

Pro jakýkoli serverový rack s umělou inteligencí a dvěma nebo více výpočetními uzly kupte spínaný + zásuvkový měřič. Třífázový, pokud je trvalé zatížení vyšší než 5 kW a budova má třífázové napájení. Varianta ATS pouze v případě, že máte neredundantní zařízení v racku se dvěma zdroji napájení.

Důvody k odstoupení jsou úzké: jeden uzel na laboratorním stole, kde dosáhnete na zásuvku, je v základním provedení dostačující; jeden nebo dva uzly ve vaší vlastní budově s omezeným rozpočtem se mohou zastavit u měřených zásuvek. Výpočty umělé inteligence v produkci, ke kterým se nedostanete do 15 minut: přepínané + zásuvky s měřeným záběrem, bez výjimky.

Chybou je koupit základní nebo měřený systém, abyste ušetřili 1 000 eur za stojan s grafickými kartami o objemu přes 30 000 eur. Při prvním 4hodinovém výpadku, protože nelze vzdáleně resetovat zaseknutý uzel, se upgrade PDU sám zaplatí.

Co se láme

Způsoby selhání PDU, které jsme zaznamenali, seřazené zhruba podle četnosti:

• Svařené relé na spínaných jednotkách. Zásuvka dostala příkaz k vypnutí, proud stále teče. Alarm z důvodu nesouladu stavu relé s příkazem a vyměňte jednotku – relé se neopravují.
• Posun měření na výstupu. Levnější proudové transformátory se po dvou nebo třech letech vychýlí o 5–10 %. Pokud na tom závisí vrácení peněz, provádějte každoroční kalibraci nebo kupujte přístroje s udávanou přesností na dobu životnosti (dobré přístroje uvádějí ±1 %).
• Zaseknutí ovladače. Měření a řízení se zablokují; zásuvky stále protékají, ale SNMP se vypne. Většina jednotek má watchdog, který restartuje řídicí jednotku bez přerušení napájení zásuvky – ověřte, zda to vaše jednotka má.
• Tepelná porucha jednoho vývodu. Zejména C13 trpí změnou kontaktního odporu při trvalém proudu 8–10 A. Zmírnění: nad 1.5 kW použijte C19 a čtvrtletně proveďte infračervené skenování těžkého rozvaděče.
• Fázová nerovnováha se časem plíží. Stojan je při instalaci vyvážený; o šest měsíců později někdo přidal vybavení na jedné fázi. Zaznamenávají to alarmy pro jednotlivé fáze a také čtvrtletní kontroly.
• Aktualizace firmwaru zblokuje řadič. S aktualizacemi firmwaru zacházejte jako s jakoukoli změnou produktu: období údržby, nejdříve sekundární jednotka, připraven plán vrácení zpět.

---

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy jsou vítány na adrese info@kentino.com.