AI koutek

TurboQuant: Čtení kompresního bloku mezipaměti KV...

Doba čtení: 10 min | Jak 3bitová komprese od Googlu zlevňuje dlouhokontextové LLM a co nám to říká o příštích 18 měsících inference s využitím umělé inteligence. Existuje tiché...

Požadavky AI modelu VRAM napříč různými GPU...

Požadavky AI modelu VRAM v různých konfiguracích GPU Tato tabulka poskytuje přehled přibližných velikostí modelů (v miliardách parametrů), které lze provozovat na různých konfiguracích VRAM, spolu s...