K-AI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB ECC VRAM)

Rackový inferenční server s výškou 4U, čtyřmi pasivními datovými kartami NVIDIA RTX Pro 6000 Blackwell Server Edition (každá s 96 GB ECC) spojenými s 384 GB ECC VRAM, jedním procesorem AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe bootovacím diskem a duálním synchronizovaným 2.5kW ATX zdrojem. Křemíkový čip Blackwell s nativní akcelerací FP8. Pasivní chlazení s prouděním vzduchu pro datová centra. Pohon DeepSeek V3 Q3, Mistral Large 3, Qwen3-Coder-480B a všemi hlavními modely Frontier s otevřenou hmotností.

technické vybavení

Co můžete spustit

LLM – text / uvažování / kódování

Čínská hranice

• DeepSeek V3 / V3-0324 / V3.1 / V3.2 / R1 / R1-0528 Q3 (~290 GB) pohodlně na kartu (~30-40 tok/s jeden tok, publikovaná reference); FP8 nativní (~670 GB s přebytečnou RAM)
• Qwen3-Coder-480B-A35B Q3 (~350 GB omezeno s únikem RAM) — SOTA open coding agent (~18-25 tok/s jeden, publikovaná reference)
• Qwen3-235B-A22B Q6/Q8 (~200-280 GB) s velmi dlouhým ctx a dávkovým zpracováním pro více uživatelů
• GLM-5 / GLM-5.1 Q3 (~317 GB) — Čínská hranice, kódování blízké Claude Opus 4.6
• Kimi-K2 1.58bitový UD (~240 GB) — agent s biliony parametrů při skutečné propustnosti
• Hunyuan-velký 389B/52B Q4 (~220 GB), nativní FP8 (~390 GB volné paměti)
• ERNIE-4.5-424B-A47B 4. čtvrtletí (~240 GB); MiniMax-M1 Q4 (~260 GB) 1M-ctx
• Lama 3.3 70B bf16 rezidentní na jedné kartě (96 GB/karta — není potřeba tenzorová paralelní frakce)

Západní hranice

• Mistral Large 3 (675B/41B MoE, Apache 2.0) Q3 (~317 GB) — otevřené váhy na hranici západní fronty (~20-30 tok/s jednotlivě, publikovaná reference)
• Flame 4 Maverick (400B/17B) Q4 (~232 GB) s velkorysým rozpočtem KV (~45-55 tok/s jeden, publikovaná reference)
• Llama-3.1-Nemotron Ultra 253B Q4-Q6 (~119-207 GB)
• gpt-oss-120b Nativní MXFP4 (80 GB) s masivním souběžným úložným prostorem
• Pixtral Large / Mistral Large 2 bf16 (~248 GB); Devstral 2 123B bf16 — 256k otevřeného kódování na nejvyšší úrovni
• Lama 3.3 70B bf16 na jedné kartě; možné 4 souběžné nasazení 70B

Modely vizuální a jazykové komunikace

Qwen3-VL-235B-A22B bf16 (~240 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B bf16 (~248 GB); Qwen3-Omni-30B-A3B; Molmo 72B; ERNIE-4.5-VL; GLM-4.6V 106B bf16 na TP. Blackwell fp8 poskytuje ~2x vyšší propustnost na inferenci Vision-Tower oproti Ada.

Generování obrazu

FLUX.1 [dev] / Kontext / Nástroje v nativní verzi pro FP8 (~15-20 s na obraz 1024x1024 na jedné grafické kartě RTX Pro 6000, publikovaná reference); SD 3.5 Large; HunyuanImage-2.1 (17B nativní 2K); HunyuanImage-3.0 80B/13B MoE; AuraFlow; OmniGen; 4x souběžní ComfyUI workeři.

Generování videa

Wan 2.2 T2V-A14B / I2V-A14B duální expert bf16; HunyuanVideo 13B bf16 oba experty; Open-Sora 2.0 (11B) bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.

Zvuk / Řeč / TTS

• ASR: Whisper v3 velký / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
• Překlad textu na řeč: CosyVoice 2/3; Kokoro; Stable Audio Open; XTTS v2; Step-Audio-EditX
• Reálný čas / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
• Hudba / Zvukové efekty: MusicGen / AudioGen / Bark / SeamlessM4T

Vícemodelové / vícenájemnické služby

• DeepSeek V3 Q3 + souběžný 70B + FLUX.1 + Whisper pro všechny rezidenty
• 4cestná tenzorová paralelní analýza na třídě 350-400B ve 4. čtvrtletí
• Izolace klienta na kartu – jeden 96GB Llama 3.3 70B bf16 na kartu, 4 nezávislá inferenční sila
• Vícemodelový RAG: čtečka + reranker + vision + embedder, vše na jednom hostiteli

Cílové úlohy

• Backend pro inferenci Frontier s otevřenou váhou — DeepSeek V3 Q3, Qwen3-Coder-480B Q3, GLM-5 Q3
• Produkční obsluha multimodálních agentů Llama 4 Maverick Q4 s velkorysým kontextovým rozpočtem
• Izolace pro 4 nájemníky na kartu – jedna Llama 3.3 70B bf16 na nájemníka, nulová křížová kontaminace
• FP8-nativní DeepSeek / R1 / Hunyuan sloužící na křemíku Blackwell
• Mistral Large 3 Q3 jako alternativa Western Apache-2.0 Frontier s otevřenou hmotností

Publikované reference výkonu

Není ideální pro

• Zátěž pro jednoho uživatele až 70B – 4x RTX 5090 je podstatně levnější pro 128GB pool, pokud není vyžadována ECC a pasivní spolehlivost
• Tiché nasazení v blízkosti laboratoře / kanceláře – pasivní chladič vyžaduje správné proudění vzduchu v datovém centru zepředu dozadu. Pro pracoviště citlivá na hluk zvolte variantu Max-Q s turboventilátorem (K-AI 384 Rome RTXPro6000MQ)
• Školení Frontier od nuly (bez NVLink)
• Plná paměť DeepSeek V3 Q4 na grafické kartě (~404 GB) – upgrade na 6x RTX Pro 6000 / 576 GB

Záruka a dodací lhůta

Sestavení zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zapálení, memtest a funkční ověření. Dodací lhůta závisí na dostupnosti komponent, která bude potvrzena při objednávce.

Doporučené doplňky

• Upgradujte paměť RAM na 512 GB DDR4 (přidejte 2x 64 GB — 2 volné sloty DIMM) pro větší prostor pro RAM u procesorů Q3 Frontier Quantum
• 4 TB NVMe Gen4 x4 pro knihovnu Frontier-Model (samotná DeepSeek V3 Q3 má na disku ~290 GB)
• Plná 24U racková skříň s řízeným PDU a online UPS
• Alternativní silueta: varianta s turbodmychadlem Max-Q (K-AI 384 Rome RTXPro6000MQ) – stejný křemíkový chladič s tišším ventilátorem, pro laboratorní nasazení