K-AI 128 Řím 5090 6704TOPS — 4× RTX 5090 Blackwell AI server

Rackový inferenční server s výškou 4U, čtyřmi grafickými kartami GeForce RTX 5090 spojenými se 128 GB VRAM, jedním procesorem AMD EPYC 7643 Milan (48C/96T), 512 GB paměti DDR4 ECC (všech 8 slotů DIMM obsazených pro maximální šířku pásma), 2 TB NVMe bootovacím diskem a duálním synchronizovaným 2kW ATX zdrojem. Spouští vLLM, SGLang, llama.cpp, ComfyUI s nativními inferenčními jádry FP8 od Blackwell a MXFP4.

technické vybavení

Co můžete spustit

LLM – text / uvažování / kódování

Čínská hranice

• Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q3-Q4 (~112-132 GB) odpovídá 128GB poolu s 8-16k ctx — herní konfigurace; Qwen3-32B hustý bf16 (~65 GB) s masivním KV; Qwen3-Coder-30B-A3B agentický s 1M ctx; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB); QwQ-32B bf16 uvažování
• DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 fp8-native Q2 (~215 GB) s RAM rozptýlenou na 512 GB hostitele – proveditelné pro dávkové zpracování; DeepSeek-R2 32B bf16 multistream (4 souběžné, jeden na kartu)
• GLM / Z.ai: GLM-4.5-Air 106B/12B fp8 (~106 GB) nebo Q6 pohodlně; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) bez problémů s MoE offloadem
• Tencent Hunyuan: Hunyuan-A13B FP8 nativní (~80 GB) — Blackwell běží FP8 bez penalizace pro upcast; Hunyuan-Large Q2 s únikem RAM
• ByteDance Seed-OSS-36B bf16 s 512k nativní pamětí; ERNIE-4.5-424B Q2 (únik ~150 GB)

Západní hranice

• Meta láma: Llama 3.3 70B Q4 napříč 4x 5090 (~30-40 tok/s jeden proud, ~270+ tok/s dávkově-32 vLLM); Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB); Llama 4 Maverick 400B/17B Q3 (~188 GB únik)
• Mistral: Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 vícestreamový; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
• OpenAI (otevřené váhy): gpt-oss-120b MXFP4 nativní (80 GB) se skutečnými KV a dlouhým kontextem — úloha Blackwell Hero; gpt-oss-20b MXFP4
• Google Gemma 3: 27B multimodální bf16 (~54 GB) dva souběžné streamy; 12B / 4B
• Microsoft Phi-4 14B hustý bf16; destilovaná s úvahou Phi-4
• NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) těsný; Super 49B bf16 (~98 GB)
• Ostatní: Cohere Command R+ 104B Q6 (~85 GB); Molmo 72B Q6-bf16 VLM; OLMo 2 32B; IBM Granite 4.0 H-Small

Modely vizuální a jazykové komunikace

Qwen3-VL-235B-A22B Q3-Q4; Qwen3-VL-32B bf16; InternVL3.5-241B-A28B Q4 (těsně ~135 GB); InternVL3 78B bf16; Llama 3.2 90B Vision Q6 (~74 GB); Pixtral Large 124B Q6 (~88 GB); Molmo 72B Q6/bf16; Gemma 3 27B multimodální bf16; GLM-4.6V 106B fp8.

Generování obrazu

FLUX.1 [vývoj] bf16 a fp8 (~10-18 s/obraz při fp8); FLUX.1 Kontext [vývoj]; SD 3.5 Large bf16; HunyuanImage-2.1 bf16 a Q4; HunyuanImage-3.0 base (80B MoE, 13B aktivní) bf16 (~80 GB, velikost pro herní prostředí); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.

Generování videa

Wan 2.2 MoE dvouexpertní bf16 (~54 GB, plný ctx); Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 oba expertní (~60-80 GB); HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16 (~24 GB); Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.

Zvuk / Řeč / TTS

• ASR: Whisper v3 large / turbo (~50x v reálném čase); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
• Překlad textu na řeč: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
• Reálný čas / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
• Hudba / Zvukové efekty: MusicGen / AudioGen / Bark; SeamlessM4T v2

Vícemodelové / vícenájemnické služby

• 200B MoE ve 4. čtvrtletí s dávkovou inferencí (Qwen3-235B, GLM-4.5/4.6/4.7-Air) pro 8–16 souběžných uživatelů
• fp8-native frontier — rodina DeepSeek V3, Hunyuan-Large fp8 s nativními cestami Blackwell
• Smíšený rezidentní stack: gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi na rozdělené VRAM
• Vysokokapacitní 70B — tenzorově paralelní vLLM / SGLang s dávkovým agregátem více než 200 toků/s

Cílové úlohy

• Produkce MoE přes 200 miliard bloků ve 3. až 4. čtvrtletí se skutečným KV (Qwen3-235B, GLM-4.5-Air 106B)
• fp8-nativní hraniční inference (DeepSeek V3/R1 fp8, Hunyuan fp8) — Blackwell běží bez přetypování nahoru
• Vysokokapacitní 70B servírování – tenzorově paralelní dávkové zpracování pomocí vLLM nebo SGLang
• Studio pro tvorbu videa v bf16 (Wan 2.2 dual-expert, HunyuanVideo 13B, Mochi-1)
• Smíšená úloha pro více klientů — 120B MoE + generování obrazu + hlas v reálném čase, všichni rezidenti

Měřený výkon

Není ideální pro

• Frontier 400B+ ve 4. čtvrtletí (Kimi-K2, Mistral Large 3, Intern-S1-Pro — vyžadují 8 GPU nebo 6x RTX Pro 6000)
• Pracovní zátěže citlivé na linku PCIe Gen5 – pro nativní Gen5 x16 vyberte SKU Genoa
• Školení od nuly (bez NVLinku na spotřebiteli 5090)
• Citlivá produkce 24/7 s ECC – spotřebitelská verze 5090 nemá ECC; preferujte L40 nebo RTX Pro 6000 Server Edition

Záruka a dodací lhůta

Sestavení zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, záběhové testování a funkční ověření. Dodací lhůta závisí na dostupnosti komponent, která bude potvrzena při objednávce.

Doporučené doplňky

• Pro trvalý provoz v nejhorším případě upgradujte zdroj na duální 2.5 kW (FSP) – bf16 + video – doporučeno pro nepřetržitý provoz 24 hodin denně, 7 dní v týdnu
• 4 TB NVMe pro knihovnu modelů + fázování váhy MoE
• Otevřená skříň 24U pro nasazení více serverů
• Na vyžádání zvažte variantu platformy Genoa pro odkaz Gen5 x16