Tato tabulka poskytuje přehled přibližných velikostí modelů (v miliardách parametrů), které lze provozovat na různých konfiguracích VRAM, spolu s příklady známých modelů. Upozorňujeme, že se jedná o odhady a mohou se lišit v závislosti na konkrétních implementacích, architekturách a optimalizacích.

Poznámky:

1. Může běžet s plnou přesností (FP32)
2. Vyžaduje kvantování nebo jiné optimalizační techniky

Další úvahy:

• Tyto odhady předpokládají, že je pro model k dispozici celá VRAM, což v praxi často neplatí kvůli paměti používané frameworkem, operačním systémem a dalšími procesy.
• Paralelismus modelů a další pokročilé techniky mohou umožnit provozování ještě větších modelů jejich distribucí mezi více GPU.
• Inference obvykle vyžaduje méně paměti než trénování, takže větší modely lze často spustit pro odvození na menších konfiguracích VRAM.
• Přesné velikosti se mohou lišit v závislosti na architektuře modelu, detailech implementace a konkrétních použitých optimalizacích.

Klíčová jídla:

1. 16–24 GB VRAM: Vhodné pro většinu spotřebitelských úloh AI a menší výzkumné modely.
2. 48–96 GB VRAM: Umožňuje práci se středními až velkými modely, které se často používají v profesionálních a výzkumných prostředích.
3. 128–256 GB VRAM: Umožňuje provozovat některé z největších veřejně dostupných modelů s různými optimalizacemi.
4. 320–512 GB VRAM: Poskytuje kapacitu pro největší současné modely a budoucí vývoj, často dosažené prostřednictvím nastavení s více GPU.

Tato tabulka ukazuje významný dopad kvantizace a dalších optimalizačních technik při umožnění provozu větších modelů na omezené paměti VRAM. Vzhledem k tomu, že umělá inteligence pokračuje vpřed, můžeme očekávat další inovace v kompresi modelů a architekturách s efektivní pamětí, které posunou tyto hranice ještě dále.

A vydržte ... Transformátory to nekončí...