hyperrealistický snímek křemíkové matrice s přidanou hloubkou a zářivým fialovým odstínem

Požadavky na VRAM modelu AI v různých konfiguracích GPU

Požadavky na VRAM modelu AI v různých konfiguracích GPU

Tato tabulka poskytuje přehled přibližných velikostí modelů (v miliardách parametrů), které lze provozovat na různých konfiguracích VRAM, spolu s příklady známých modelů. Upozorňujeme, že se jedná o odhady a mohou se lišit v závislosti na konkrétních implementacích, architekturách a optimalizacích.

VRAM (GB) FP32 FP16/BF16 INT8 INT4 INT2 Příklady modelů
16 3-4B 6-8B 12-16B 24-32B 48-64B GPT-2 (1.5B), BERT-Large (340M)
24 5-6B 10-12B 20-24B 40-48B 80-96B GPT-J (6B), BLOOM-7B1
48 10-12B 20-24B 40-48B 80-96B 160-192B T5-11B, BLOOM-7B1 (FP32)
80 18-20B 36-40B 72-80B 144-160B 288-320B GPT-NeoX-20B, BLOOM-176B2
96 22-24B 44-48B 88-96B 176-192B 352-384B BLOOM-176B2, Jurassic-1 Jumbo (178B)2
128 30-32B 60-64B 120-128B 240-256B 480-512B GPT-3 175B2, PaLM 540B2
160 38-40B 76-80B 152-160B 304-320B 608-640B PaLM 540B2, Megatron-Turing NLG 530B2
192 46-48B 92-96B 184-192B 368-384B 736-768B BLOOM-176B (FP16)
256 62-64B 124-128B 248-256B 496-512B 992-1024B GPT-3 175B (INT8), LLaMA 2 70B (FP32)
320 78-80B 156-160B 312-320B 624-640B 1248-1280B Činčila 70B (FP32)
384 94-96B 188-192B 376-384B 752-768B 1504-1536B PaLM 540B (INT8)
512 126-128B 252-256B 504-512B 1008-1024B 2016-2048B GPT-3 175B (FP16), BLOOM-176B (FP32)

Poznámky:

  1. Může běžet s plnou přesností (FP32)
  2. Vyžaduje kvantování nebo jiné optimalizační techniky

Další úvahy:

  • Tyto odhady předpokládají, že je pro model k dispozici celá VRAM, což v praxi často neplatí kvůli paměti používané frameworkem, operačním systémem a dalšími procesy.
  • Paralelismus modelů a další pokročilé techniky mohou umožnit provozování ještě větších modelů jejich distribucí mezi více GPU.
  • Inference obvykle vyžaduje méně paměti než trénování, takže větší modely lze často spustit pro odvození na menších konfiguracích VRAM.
  • Přesné velikosti se mohou lišit v závislosti na architektuře modelu, detailech implementace a konkrétních použitých optimalizacích.

Klíčová jídla:

  1. 16–24 GB VRAM: Vhodné pro většinu spotřebitelských úloh AI a menší výzkumné modely.
  2. 48–96 GB VRAM: Umožňuje práci se středními až velkými modely, které se často používají v profesionálních a výzkumných prostředích.
  3. 128–256 GB VRAM: Umožňuje provozovat některé z největších veřejně dostupných modelů s různými optimalizacemi.
  4. 320–512 GB VRAM: Poskytuje kapacitu pro největší současné modely a budoucí vývoj, často dosažené prostřednictvím nastavení s více GPU.

Tato tabulka ukazuje významný dopad kvantizace a dalších optimalizačních technik při umožnění provozu větších modelů na omezené paměti VRAM. Vzhledem k tomu, že umělá inteligence pokračuje vpřed, můžeme očekávat další inovace v kompresi modelů a architekturách s efektivní pamětí, které posunou tyto hranice ještě dále.

A vydržte ... Transformátory to nekončí...

Návrat na blog