Topologie přepínaných clusterů: Fat-Tree, Leaf-Spine, Dragonfly+, Tesseract

Každý diagram clusteru v balíčku dodavatelů začíná stejně: řada políček označených „uzel“, řada políček označených „přepínač“ a šipky mezi nimi. Diagramy jsou záměrně jednoduché, protože skutečná volba pod nimi – která topologie, s jakým nadměrným předplatným, s jakou rychlostí na port – je po samotných GPU největším nákladovým rozhodnutím v clusteru s umělou inteligencí.

Tento článek se zabývá topologií mezi N02 (který protokol – InfiniBand, RoCE, plain Ethernet) a N06 – N08 (jak se kabel skutečně chová po zapojení topologie). Zabývá se čtyřmi rodinami, které budou důležité v roce 2026: fat-tree / Clos / leaf-spine , dragonfly / dragonfly+ , tesseract / hypercube a rodinou torus , která přežila ve dvou specifických oblastech HPC. Končí upřímným konstatováním: zhruba devět z deseti zákazníků Kentina nic z toho nepotřebuje a článek existuje kvůli desátému.

Cílové publikum: lidé, kteří dimenzují trénovací cluster s 8 až 64 uzly a síť kolem něj. Ne kuchařka pro konfiguraci Cisco/NVIDIA – mentální model, který činí kuchařku čitelnou.

Tři různé věci, které lidé nazývají „šířka pásma“

Než nakreslíme rámečky a šipky, slovní zásoba. V literatuře o clusterovém prodeji se zaměňují tři termíny a nejedná se o stejné číslo:

32portový 400GbE přepínač má celkovou šířku pásma 12.8 Tb/s. Pokud na něj přidáte 16 uzlů s rychlostí 400 GbE každý, získáte šířku pásma bisekce 3.2 Tb/s (8 uzlů × 400 Gb/s na každé straně bisekce). Pro krok allreduce, kde každá ze 16 GPU odesílá polovinu svého gradientu napříč bisekcí, je těchto 3.2 Tb/s děleno časem kroku – nikoli 12.8.

Zkratka: šířka pásma bisekce je jediné z těchto tří čísel, které předpovídá dobu trénovacího kroku u pracovní zátěže s vazbou na všechny. Když dodavatelská brožura uvádí agregaci, v duchu vezměte nejhorší možný případ řezu a podle něj vydělte, abyste se vrátili k bisekci.

Pro 16uzlový cluster s 8 GPU v každém (celkem 128 GPU) na uzlech s jednou síťovou kartou 100 GbE:

Stejný počet uzlů, stejná rychlost drátu, různá čísla v závislosti na tom, co máte na mysli. Toto je rámování používané ve zbytku článku.

Tučný strom, Clos, listová páteř - totéž ve třech přízvukech

Charles Clos v roce 1953 dokázal, že vícestupňová síť malých přepínačů s příčnými spínači může být neblokující – jakýkoli vstup může dosáhnout jakéhokoli výstupu bez konfliktu – za zlomek ceny jednoho obrovského přepínače. Každá moderní síť datových center je nějakou variantou této myšlenky. Pojmenování se stalo zamotaným:

• A Síť Clos je matematická struktura: vstupní, střední a výstupní fáze menších přepínačů.
• A tlustý strom (Charles Leiserson, 1985) je Closova varianta, kde kmeny blíže ke kořeni postupně zesilují, takže šířka pásma půlení se škáluje s N.
• A složené Close zabalí výstupní fázi zpět do vstupní fáze. A list-páteř je dvoupatrový skládaný Clos. Třípatrový skládaný Clos s listem, páteří a superpáteří je to, co většina lidí v praxi nazývá tlustý strom.

Dvouvrstvý listový páteř: každý list se připojuje ke každému páteři. Libovolné dva uzly komunikují přesně ve dvou skokech. Úplné půlení = žádné překročení limitu na úrovni páteře.

Každý list se připojuje ke každé páteři. Provoz typu any-to-any je maximálně list → páteř → list, dva skoky. S dostatečnou šířkou pásma páteře je síťová struktura neblokující: každý uzel může současně komunikovat s každým dalším uzlem rychlostí linky.

Poměr nadměrného předplatného je faktor, který rozhoduje o ceně. Pokud má každý list 32 downlinků o rychlosti 100 GbE (3.2 Tb/s do racku) a 8 uplinků o rychlosti 100 GbE (800 Gb/s z racku), je nadměrné předplatné 4:1 – čtyřikrát větší šířku pásma do racku než z něj. Úplné rozdělení znamená 1:1: tolik uplinku jako downlinku. 2:1 je běžný poměr v datových centrech pro všeobecné použití. 1:1 (plné rozdělení) je základní hodnota pro clustery s umělou inteligencí.

Cena se zhruba zdvojnásobí z poměru 4:1 na 1:1, protože kupujete dvakrát tolik páteřních portů a dvakrát tolik optiky. Důvod, proč každý seriózní cluster umělé inteligence platí tuto prémii: nadměrné předplatné ničí propustnost allreduce. Synchronizovaný 8-tokový allreduce na nadměrně předplacené fabrice 4:1 neběží čtvrtinovou rychlostí – zhroutí se pod protitlakem PFC ( N07 ) a v praxi může ztratit 60–80 % teoretické propustnosti. Matematika říká „děleno 4“. Realita říká „děleno 5–10“.

Referenční architektura DGX SuperPOD od společnosti NVIDIA specifikuje třívrstvý fat-tree s plným rozdělením na Quantum-2 NDR InfiniBand s rychlostí 400 Gb/s na port. Trénovací klastry RoCE publikované společností Meta a řada Azure ND od společnosti Microsoft vytvářejí stejný tvar na ethernetu Spectrum-X. Průmysl se pro trénování umělé inteligence zaměřil na plně rozdělený fat-tree a vývoj v letech 2024–2026 vede k rozšíření fat-tree (400 GbE → 800 GbE na port) nebo optimalizaci pro železniční sběrnici (další část), aniž by se změnila základní topologie.

Tlustý strom optimalizovaný pro kolejnice – dialekt specifický pro umělou inteligenci

Standardní fat-tree zachází s každou síťovou kartou stejně. Trénování umělé inteligence se zaměřuje na to, která síťová karta GPU odesílá který gradient, protože vzorce provozu allreduce nejsou jednotné. Varianta optimalizovaná pro kolejnici přiřazuje každou GPU v uzlu ke specifické „kolejnici“ – vyhrazené cestě leaf-spine – a zajišťuje, že i-tá GPU na každém uzlu komunikuje pouze s i-tou GPU na každém dalším uzlu prostřednictvím i-té kolejnice.

Tlustý strom optimalizovaný pro Rail: každý slot GPU se mapuje na vyhrazenou nezávislou rovinu páteře. Kruh Allreduce na GPU 3 používá pouze Rail 3.

Osm nezávislých dvouvrstvých fat-stromů, jeden na slot GPU. Kruh Allreduce na GPU 3 napříč 16 uzly používá pouze Rail 3, nikdy nekříží do jiných railů. Výhody: nulové kolize ECMP mezi raily, jednodušší směrování, nižší radix přepínače na rovinu. Nevýhoda: úloha, která se rozprostírá přes sloty GPU (tenzorově paralelní uvnitř uzlu, datově paralelní napříč uzly), je stejně rozdělena mezi raily pomocí NCCL, takže topologie pomáhá pouze tehdy, pokud je pracovní zátěž sladěna. Pro datově paralelní a rail-aware NCCL je to jasná výhra; pro tenzorově paralelní překlenující raily se úspora vypařuje.

Vážka a Vážka+ – když si nemůžete dovolit fattree

Náklady na tlustý strom rostou zhruba jako N log N – každé zdvojnásobení počtu uzlů vyžaduje větší šířku pásma páteře a třetí vrstva zdvojnásobuje počet přepínačů na koncový bod. Pro 1024 uzlů je možné sestavit neblokující třívrstvý tlustý strom. Pro 10 000 uzlů je počet přepínačů a náklady na optiku zahlcující. Dragonfly, navržený Johnem Kimem, Williamem Dallym a kol. v roce 2008, byl navržen speciálně pro škálování za tuto hranici.

Myšlenka: seskupovat uzly do skupin . Uvnitř skupiny jsou všechny přepínače hustě propojeny (často menší Close-up). Mezi skupinami má každá skupina jedno přímé spojení s každou další skupinou. Výsledkem je síť o průměru 3 (skupinově-lokální skok, meziskupinový skok, skupinově-lokální skok), která se škáluje na enormní počet uzlů s mnohem menším počtem dálkových kabelů než fat-tree.

Dragonfly: husté vnitroskupinové uzly Clos, jeden globální odkaz na pár skupiny. Průměr 3. Škálovatelné na 1000+ uzlů s menším počtem dálkových kabelů než fat-tree.

Velkou úsporou je optická kabeláž . Dálková optika mezi racky je nejdražší částí fat-tree. Dragonfly ji nahrazuje jedním fat linkem na pár skupin, nikoli jedním na kombinaci list-páteř. Pro cluster s G skupinami po S uzlech potřebuje fat-tree zhruba G × S × log(G × S) kabelů; dragonfly potřebuje G(G − 1)/2 meziskupinových kabelů plus strukturu fabric na skupinu. Při G = 32 skupinách po 32 uzlech (celkem 1024) se počet dálkových kabelů snižuje zhruba o řád.

Dragonfly+ (Mellanox, 2017) toto vylepšuje pro InfiniBand. Vnitroskupinová struktura se stává malým dvoudílným Close-em, takže rozšiřování skupin nevyžaduje nové zapojení, a meziskupinové linky využívají adaptivní směrování, aby se vyhnuly přetíženým skupinám. Toto je topologie ve Frontieru (ORNL, exascale AMD MI250X) a El Capitanu (LLNL, MI300A) – oba jsou zapojeny s přepínači HPE Slingshot-11 v uspořádání dragonfly, maximální průměr tří skoků, 12.8 Tb/s na přepínač.

Háček spočívá v režimu selhání u malých úloh, které se rozprostírají přes skupiny . V tlustém stromu vidí dva uzly na opačných koncích clusteru stejnou šířku pásma bisekce jako dva uzly vzdálené jeden rack (modulo počet skoků). V klastru dragonfly dva uzly v různých skupinách sdílejí své meziskupinové spojení s každým dalším tokem napříč skupinami. Pokud vaše trénovací úloha s 16 GPU přistane na 8 uzlech ve skupině A a 8 ve skupině B, sdílíte jedno meziskupinové spojení se všemi ostatními, kteří se nacházejí ve stejném páru. Adaptivní směrování pomáhá; neodstraňuje soupeření.

Praktické důsledky: dragonfly funguje skvěle u problémů s hyperškálovatelnými velikostmi (1000+ uzlů, úlohy dimenzované tak, aby zaplnily skupiny) a ne tak dobře pro střední clustery s různorodými malými úlohami. Je to špatná topologie pro trénovací cluster s 16 uzly – fat-tree je v tomto měřítku levnější a rychlejší. Je to správná topologie pro superpočítač se smíšenou zátěží a 1024 uzly.

Tesseract — 4D hyperkrychle

Tesseract je 4D hyperkrychle: 16 vrcholů, každý spojený s přesně 4 sousedy, o průměru 4 (nejdelší nejkratší cesta mezi libovolnými dvěma uzly). Zobecněním na k dimenzí získáte k-krychli : 2 ^k uzlů, každý s k přímými propojeními, o průměru k. Směrování podle Hammingovy vzdálenosti – XOR zdrojové a cílové adresy, otáčení bit po bitu – je triviálně deterministické a vyvážené podle zátěže při náhodném provozu.

Tesseract (4D hyperkrychle): 16 uzlů, každý se 4 sousedy. Plné čáry = hrany 3D krychle; přerušované čáry = spojnice 4. dimenze. Průměr 4. Každé označení uzlu je 4bitová adresa; sousedé se liší přesně o jeden bit.

Topologie hyperkrychlí dominovaly masivně paralelnímu výpočtu v 80. letech 20. století. Connection Machine CM-2 (Thinking Machines, 1987) měl 65 536 uzlů zapojených do 12rozměrné hyperkrychle. Intel iPSC/2 provozoval 7D hyperkrychle. CM-5 (Thinking Machines, 1991) opustil hyperkrychle ve prospěch fat-tree, protože přístup s hyperkrychlí se neškáloval elegantně za hranici přibližně 1024 uzlů – každá nová dimenze zdvojnásobuje počet uzlů a vyžaduje překabelování každého existujícího uzlu.

V roce 2026 se termín „tesserakt“ stále objevuje na třech místech, která stojí za to rozlišovat:

1. Jako název výzkumného / DiRAC HPC systému. DiRAC Tesseract v EPCC (Edinburgh) je cluster HPE SGI 8600 s 1476 uzly na bázi Intel Omni-Path. „Tesseract“ je branding; struktura se blíží fat-tree.
2. Jako výzkumný termín „řídicí rovina SDN“ (Tesseract: 4D řídicí rovina, Yan a kol.). Nesouvisí s fyzickou topologií.
3. Jako základní topologie kompaktních nepřepínacích urychlovacích klastrů. Šestnáctizubový cluster zapojený jako doslovná 4D hyperkrychle má zajímavé vlastnosti: každý uzel má přesně 4 síťové karty, žádný centrální přepínač, deterministické směrování a průměr 4. Tomu se podrobně věnujeme v N05 (topologie bez přepínačů).

Co tesseract nabízí v roce 2026: žádná daň za přepínání, deterministické směrování pomocí Hammingovy vzdálenosti XOR a nízký průměr (log₂(N)). Co ho ztěžuje: fixní N (musí být mocninou 2), složitost kabeláže roste s dimenzí, počet síťových karet na uzel se rovná k a moderní kolektivy umělé inteligence (NCCL kruh/strom) nativně nevyužívají strukturu hyperkrychle.

Torus — přeživší ve dvou specifických rozích

k-árná n-krychle zobecňuje hyperkrychli: místo binární adresy s jedním odkazem na dimenzi použijte mřížku k x k x k s obtékáním. 3D torus má každý uzel propojený se 6 sousedy (±x, ±y, ±z). 6D torus má 12 sousedů.

IBM Blue Gene/L a /P běžely na 3D torusu, škálovatelném na stovky tisíc uzlů, přičemž každý uzel měl pouze 6 vysokorychlostních linek. Fujitsu Tofu (propojení počítače K, 2011) to zobecnil na 6D síť/torus – 158 976 uzlů na Fugaku (aktivní do roku 2026), uspořádaných 24×23×24×2×3×2.

Modul Cerebras Wafer-Scale Engine používá 2D torus na destičce: každý procesní prvek má 4 sousedy, obtáčející se, ~1 ns na skok. To funguje, protože vodiče na destičce jsou téměř volné; kabely mimo destičku by nebyly.

Proč torus prohrál všude jinde: asymetrické cesty a špatné chování pro nejednotné úlohy umělé inteligence. Moderní úlohy umělé inteligence (prstenc/strom NCCL, hierarchické algoritmy NVIDIA) předpokládají jednotnou šířku pásma odkudkoli k jakémukoli. Torus to porušuje. V roce 2026 torus přežívá na třech místech : propojení na waferu od Cerebras, Fujitsu Fugaku a jeho nástupci a uvnitř uzlů SXM prostřednictvím NVSwitch. Mimo tyto niky je každý nový cluster umělé inteligence v letech 2025–2026 uzavřen.

Srovnávací tabulka

Cluster uplink – jak se topologie setkává s vnějším světem

Přepínaná struktura (fabric) je ostrov. Musí se připojit k podnikové síti (registry modelů, úložiště datových sad, S3, telemetrie), k vývojářským pracovním stanicím (SSH, Jupyter, kopírování kontrolních bodů) a k dalším clusterům (trénování → inferenční předání). Toto připojení se nazývá uplink clusteru.

Dva modely s velmi odlišnými důsledky:

Jeden bod uplinku. Dvojice páteřních přepínačů (nebo vyhrazený uplink router) ukončuje veškerá externí připojení. Snadné firewallování, snadné omezení rychlosti, snadné monitorování. Režim selhání: dané spojení je jediným bodem selhání; jeho saturace (velké kopírování kontrolního bodu, stažení 10GB datového segmentu) ovlivňuje každý uzel současně.

Distribuovaný uplink. Každý list má samostatný uplink do kampusové sítě, často pomalejší 25 GbE nad 100 GbE fabric. Stahování datových sad a externí provoz zůstávají lokální pro list – nedochází k přetížení interní fabric. Způsob selhání: každý list představuje bezpečnostní hranici, firewall je N-krát náročnější, monitorování je obtížnější.

Pro základní případ Kentina (trénovací cluster 4–16 uzlů) je správnou odpovědí jeden uplink bod. Vnitřní fabric je pouze RDMA (RoCE nebo InfiniBand), vyladěný pro nízkou latenci a bezztrátové chování. Uplink je čistý Ethernet, TCP, normální QoS. Neumisťujte úložiště objektů datové sady na stejnou bezztrátovou fabricu jako GPU allreduce – chybně fungující klient S3 by neměl být schopen spustit zpětný tlak PFC na trénovací provoz. Dvě fabrice: datová rovina (bezztrátový RDMA) a rovina management/uplink (ztrátový TCP). N08 se zabývá praktickým nastavením.

Kentino upřímný pohled

Většina zákazníků Kentina kupuje 1 až 4 uzly. V tomto měřítku:

• 1 uzel. Žádná otázka topologie. PCIe uvnitř krabice (K07), jedna 25GbE síťová karta pro správu venku, hotovo.
• 2 uzly. Přímý kabel mezi dvěma RDMA síťovými kartami. Žádný přepínač. Žádná topologie k výběru.
• 3–4 uzly. Jeden 32portový 100GbE přepínač zvládá propojení všech sítí s plnou bisekcí za celkem 30 000–50 000 dolarů. Stále si nelze vybrat topologii.

Konverzace o topologii začíná na 8 uzlech , kdy se počet portů jednoho přepínače stává omezeným, a stává se povinnou na 16 uzlech . Pod tímto počtem je správná odpověď „jeden dobrý přepínač, plné rozdělení na každý port, ať si žije dál“. Nad tímto počtem je správná odpověď „dvouvrstvá síť typu leaf-spine, 100 nebo 200 GbE na uzel, plné rozdělení (1:1) a nikdy se nedotýkejte tlačítka pro překročení limitu, pokud vás k tomu někdo nedonutí“.

Dragonfly+ je správnou odpovědí pro problémy s hyperškálovatelnými velikostmi. Tesseract / hypercube je zajímavá jako bezspínačová možnost pro kompaktní clustery ( N05 ). Torus je volbou uzamčenou dodavatelem pro operátory HPC s úlohami zohledňujícími topologii. Pro všechny ostatní v cenovém pásmu Kentina je fat-tree výchozí volbou. Úplná bisekce, pokud si ji můžete dovolit; 2:1, pokud ne; nikdy 4:1 pro trénování AI.

---

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy vítány na adrese info@kentino.com.