Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Platforma podnikové úrovně, sestavená a testovaná v EU.
Kentino AI 288 Řím L40 2172TOPS
288 GB ECC VRAM Enterprise Server
6x NVIDIA L40 pasivní | EPYC Milan | 2 172 TOPS INT8
Publikované externí reference. Nebylo měřeno na hardwaru Kentino.
Rackový podnikový inferenční server o výšce 4U se šesti pasivními datovými kartami NVIDIA L40 Ada Lovelace (každá s 48 GB ECC) sdílenými s 288 GB ECC VRAM, jedním procesorem AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe bootovacím diskem a duálním synchronizovaným 2.5kW ATX zdrojem. Komplexní ECC, navržený pro nepřetržitý provoz v podniku, kde záleží na integritě na úrovni bitů a provozuschopných doménách selhání.
technické vybavení
| Složka | Detail |
|---|---|
| GPU | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, pasivní datové centrum, 300 W, PCIe 4.0 x16, dvouslotová, 362 INT8 TOPS/karta) |
| Pool VRAM | 288 GB agregované ECC na 6 kartách (bez NVLinku na L40 PCIe SKU) |
| Procesor (CPU) | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linek PCIe 4.0) |
| Základní deska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 sloty DIMM volné pro upgrade na 512 GB) |
| Spouštění / úložiště | 2TB NVMe M.2 (PCIe 4.0 x4) |
| napájení | 2x 2.5 kW ATX se synchronizačním kabelem pro dva zdroje (agregát 5 kW) |
| Podvozek | Montáž do racku 4U (6slotové uspořádání) |
| Chlazení | Věžový chladič SP3 (třída Arctic Freezer 4U-M) + směrované proudění vzduchu zepředu dozadu (průmyslové ventilátory) |
| Síť | Duální integrovaný 10GbE (Intel X550) |
Napájecí obálka
- Odběr energie z grafické karty: 6 x 300 W = 1 800 W
- Celkový výkon systému při plném zatížení: ~2 175 W
- Celkový výkon zdroje: 5 000 W (duální 2.5 kW synchronizovaný) — 56.5% rezerva
- Duální zdroj pro rozdělené napájení – selhání jednoho zdroje = ztráta 2 grafických karet nebo 2 grafických karet a základní desky
Topologie jízdních pruhů
ROMED8-2T nabízí 7x PCIe 4.0 x16 přímo z EPYC Milan. Šest slotů je osazeno pasivními rozšiřujícími kartami Gen4 x16 – jeden volný slot pro síťovou kartu / úložiště. Není vyžadován žádný přepínač PCIe. Nativní linka L40 je PCIe 4.0 x16 – žádná ztráta šířky pásma. Žádný NVLink; provoz mezi GPU probíhá přes PCIe peer-to-peer.
Co můžete spustit
S 288 GB sdílené paměti ECC VRAM na 6 pasivních kartách L40 tento server zvládá LLM s otevřenou váhou na hranici Q4, souběžné obsluhování více modelů, kanály videa/médií a nepřetržitou inferenci podnikové produkce. Poznámka: L40 je Ada Lovelace, nikoli Blackwell – fp8 přetypuje na bf16. Pro maximální efektivitu VRAM použijte GGUF Q4/Q5 nebo AWQ/GPTQ int4.
LLM – text / uvažování / kódování
Čínská hranice
- Qwen3-235B-A22B Q4 (~132 GB) s velmi dlouhým kontextem + štědrým rozpočtem KV (~15-20 tok/s single, publikovaná reference)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) pohodlně na 6cestném TP (~12-18 tok/s single, publikovaná reference)
- Hunyuan-velký 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B 3. čtvrtletí (~180 GB)
- Qwen3-Coder-480B-A35B Vlajkový kódovací agent Q2 (~160 GB)
- MiniMax-M1 / Text-01 Q3 (~180 GB) 1M-ctx Lightning Upozornění
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — jedna karta se 6 paralelními streamy
- DeepSeek-R2 32B řídké MoE — jedna karta na stream, 6 souběžných relací
Západní hranice
- Lama 3.3 70B bf16 (~142 GB) víceklientské prostředí (~17 tok/s pro jeden server, publikovaná reference) nebo Q4 (~43 GB se 6 souběžnými kopiemi
- Flame 4 Scout 109B/17B bf16 (cca 218 GB) nebo Q4 (cca 63 GB) pohodlně
- Mistral Malý 3 / Magistral / Devstral Malý (24B) bf16 (~40-50 tok/s jeden, publikovaná reference)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B 4. čtvrtletí (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB přes GGUF na Adě — poznámka k upozornění na upcast pro Adu)
- Příkaz Cohere R+ 104B Q4 RAG stack
Modely vizuální a jazykové komunikace
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodální; GLM-4.6V full (106B bf16); MiniCPM-o 2.6. NVENC/NVDEC v L40 je obzvláště užitečný pro vysoce propustné VLM dokumentové/video kanály.
Generování obrazu
FLUX.1 [dev] / Kontext / Nástroje pro více workerů současně (~3.5 s na obrázek 1024x1024 na jednom L40 fp8, publikovaná reference) — možná 6x ComfyUI worker farma; SD 3.5 Large; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Generování videa
Wan 2.2 T2V-A14B / I2V-A14B dual-expert bf16 (~54 GB, ~20-30 s na 4s klip při 720p, publikovaná reference); HunyuanVideo 13B bf16 oba experty; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. Hardware L40 s technologií NVENC/NVDEC zvládá titulky / moderování / překódování ve velkém měřítku a zároveň generuje data.
Zvuk / Řeč / TTS
- ASR: Whisper v3 velký / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- Překlad textu na řeč: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Reálný čas / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Vícemodelové / vícenájemnické služby
- Vícemodelová rezidenční platforma — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + embedder, vše rezidentní
- 6 souběžných úloh třídy 48 GB (jedna na kartu): 6x Qwen3-VL-32B, nebo 6x FLUX.1 workerů, nebo 6x ASR streamů
- 6cestná tenzorová paralelní analýza pro 200B+ MoE ve 4. čtvrtletí s reálným kontextem
- RAG pipelines — Command R+ / Qwen3 + reranker + embedder + analýza obrazu na stejném hostiteli
Cílové úlohy
- Nonstop produkční LLM inferenční backend – více než 100 souběžných uživatelů na více než 200 miliardách MoE ve 4. čtvrtletí, chráněno ECC
- Procesor Media-AI v podnikovém měřítku — titulky + moderování + miniatura + překódování 6 paralelních streamů přes NVENC/NVDEC
- Multitenant SaaS, kde je důležitá izolace pro jednotlivé klienty napříč fyzickými kartami
- RAG backend s plně rezidentním čtecím modulem Command R+, rerankerem, embedderem a visionem
- Dvojice zaměřená na spolehlivost nahrazující 12x L40 Legacy – dva servery Kentino AI 288 = agregát 576 GB s nezávislými doménami selhání
Publikované reference výkonu
Externí reference | Neměřeno na kování Kentino
| měřítko | Výsledek |
|---|---|
| L40 na kartu INT8 TOPS | 362 TOPS |
| Šířka pásma paměti L40 | 864 GB/s na kartu |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 TP (single) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 TP (šarže-16) | ~150-200 tok/s agregátu |
| llama.cpp — GLM-4.6 Q4 na 6x L40 (jednoduchý) | ~12-18 tok/s |
| FLUX.1 [dev] na jednom L40 fp8 | ~3.5 s na obrázek 1024x1024 |
Kentino zveřejní čísla od první strany po počátečním sestavení pro zákazníky.
Není ideální pro
- FP8-nativní inference v plné rychlosti — Ada přetypuje na bf16; použijte místo toho GGUF Q4/Q5 nebo AWQ/GPTQ int4. Pro FP8 nativní viz Kentino AI 384 Rome RTXPro6000 (Blackwell)
- Trénování velkých modelů od nuly (bez NVLinku)
- Jednouživatelská inference s nízkým rozpočtem – 4x L4 nebo 4x 5080 je pro malé úlohy podstatně levnější
- Hustota Frontier 600B+ ve 4. čtvrtletí+ (vyžaduje 576 GB+ RAM – viz 6x RTX Pro 6000)
Záruka a dodací lhůta
Sestavení zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zapálení, memtest a funkční ověření. Dodací lhůta závisí na dostupnosti komponent, která bude potvrzena při objednávce.
Doporučené doplňky
- Upgrade paměti RAM na 512 GB DDR4 (přidáním 2x 64 GB — 2 volné sloty DIMM) pro náročnější KV
- 4 TB NVMe Gen4 x4 pro přípravu knihovny modelů
- Plná 24U racková skříň se spravovaným PDU + online UPS (kritická pro nepřetržitý provoz ECC)
- Spárovaná druhá jednotka Kentino AI 288 – nahrazuje obálku 12x L40 Legacy dvěma nezávislými doménami selhání
Otázky, které nám kupující nejčastěji kladou před objednáním serveru.
Jak dlouho to trvá?
Stroje vyrobené z komponentů, které držíme v zásobě, expedujeme rychle; cokoli vyžadující specifickou generaci GPU závisí na dodávce. Před platbou vám sdělíme datum a pokud se pohne, raději vám to oznamujeme, než abyste se o tom dozvěděli.
Lze konfiguraci změnit před sestavením?
Téměř vždy. Grafické karty, paměť, úložiště a chlazení se volí pro každou objednávku a uvedená konfigurace je spíše výchozím bodem než pevně stanoveným balíčkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiný přístup k chlazení, sdělte nám to před objednáním a my vám sdělíme cenovou nabídku.
Můžu si server vyzvednout osobně?
Můžete. Náš sklad je v Praze a osobní vyzvednutí je vítáno – většina lidí, kteří přijdou, využije návštěvy k prohlídce stroje s naším technikem a k položení otázek, které jsou přes e-mail nepříjemné. U objednávek v rámci České republiky se také snažíme doručit osobně a provést vás nastavením na místě.
Můžu si promluvit s někým, kdo skutečně rozumí pracovní zátěži?
Ano. Máme inženýra, který se zabývá konkrétně systémy umělé inteligence, ne běžným prodejním oddělením. Pokud se vaše otázka týká velikostí dávek, kvantizace, propojení nebo toho, kde bude vaše úzké místo, zeptejte se – tato konverzace obvykle změní konfiguraci k lepšímu.
Který model mohu v této konfiguraci provozovat?
Ano. Každý stroj je před odesláním sestaven, otestován a porovnán s reálnými úlohami umělé inteligence. Po odeslání máme již nainstalovaný a spuštěný LLM. Zapojíte ho, připojíte k síti a začnete pracovat – zbývá už jen rozhodnutí, který projekt spustí jako první.
Jak otestujete server před odesláním?
Porovnáváme to se skutečnými zátěžemi umělé inteligence, nikoli se syntetickými skóre: propustnost inference, trvalé chování při zátěži a teploty za nepřetržitého provozu. S tímto strojem získáte výsledky benchmarků, takže výkon, který vám byl slíben, je výkon, který si můžete ověřit hned první den.
Je server připraven ke spuštění, když dorazí?
Ano. Každý stroj je před odesláním sestaven, otestován a porovnán s reálnými úlohami umělé inteligence. Po odeslání máme již nainstalovaný a spuštěný LLM. Zapojíte ho, připojíte k síti a začnete pracovat – zbývá už jen rozhodnutí, který projekt spustí jako první.
Odesíláme z našeho skladu v EU. Těžké zboží může vyžadovat přepravu – kontaktujte nás pro cenovou nabídku a dodací lhůtu. Dvouletá omezená záruka s pokročilou podporou RMA; k dispozici je prodloužená záruka.
Není to přesně to, co potřebujete?
Sdělte nám svou pracovní zátěž a my tuto platformu specifikujeme podle ní – grafické karty, paměť, úložiště a chlazení budou odpovídat tomu, co skutečně používáte.