8, 12, 16 nebo 24 GB grafické paměti pomůže s prvním výběrem. O praktickém využití místního jazykového modelu rozhoduje také jeho verze, kontext a souběžné používání. Krátké porovnání paměti pomůže předejít chybnému nákupu.
Co skutečně zabírá grafickou paměť
Při plánování počítejte se třemi oblastmi: načtené váhy modelu, paměť kontextu včetně KV cache a provozní vyrovnávací paměti použitého backendu. Navíc musí zbýt prostor pro další aplikace GPU a provozní rezervu. U běžné samostatné grafické karty jsou systémová RAM a grafická paměť odlišné zdroje.
Systémy se sdílenou pamětí mají jiný rozpočet: operační systém, aplikace i model používají stejný fond. I zde má pilot změřit skutečně dostupnou paměť a reálnou úlohu. Nominální kapacita sama nestačí ani u jedné konstrukce.
4 bity: užitečný výpočet s jasnými omezeními
„B“ v 7B či 70B znamená miliardy parametrů. Pro hrubý výpočet vah při jednotných 4 bitech platí: počet parametrů × 4 ÷ 8 = bajty. Kvantizace ukládá váhy s nižší přesností. Dopad na kvalitu odpovědí se musí ověřit pro danou úlohu.
| Třída modelu | Teoreticky při 4 bitech | Co z toho plyne |
|---|---|---|
| 7–8B | 3,5–4,0 GB ≈ 3,26–3,73 GiB | Kompaktní výchozí bod pro první test; připočtěte konkrétní soubor a kontext. |
| 14B | 7,0 GB ≈ 6,52 GiB | Samotný výpočet nedokazuje úplné spuštění na kartě s 8 GB. |
| 32B | 16,0 GB ≈ 14,90 GiB | Ani nominálně odpovídající rozpočet pro váhy neponechává místo na zbytek provozu. |
| 70B | 35,0 GB ≈ 32,60 GiB | U tohoto zjednodušeného výpočtu již samotné váhy přesahují jednu kartu s 24 GB. |
Konkrétní GGUF je větší nebo má jiné složení než tento výpočet. Metody jako Q4_K_M neukládají všechny části jednoduše jako čtyři bity na parametr. Plánování proto musí uvádět přesný soubor modelu včetně varianty kvantizace , se kterým se počítá.
Ověřitelný příklad z oficiálních adresářů Qwen: součet částí Q4_K_M pro Qwen2.5-Instruct zabírá u 7B přibližně 4,68 GB / 4,36 GiB, u 14B 8,99 GB / 8,37 GiB a u 32B 19,85 GB / 18,49 GiB. Jde o velikosti souborů, nikoli naměřenou spotřebu VRAM. Ukazují však, proč pro tuto verzi nelze spolehlivě slíbit, že „32B ve 4 bitech se vejde do 16 GB“.
Jak posuzovat 8, 12, 16 či 24 GB
| Kapacitní třída | Užitečný rozsah testu | Na co dát pozor |
|---|---|---|
| 8 GB | Kompaktní verze 7–8B s omezeným kontextem jako výchozí bod. | Jiné využití GPU a delší vstupy mohou dostupný rozpočet rychle zmenšit. |
| 12 GB | Více prostoru pro kompaktní modely; cíleně otestujte konkrétní kvantizaci 14B. | Váhy, KV cache a provozní buffery se musí vejít do volné paměti společně. |
| 16 GB | Dodatečná rezerva pro vhodné menší a střední verze modelů. | Uvedený Qwen2.5-32B-Q4_K_M tuto třídu přesahuje již jako úplný soubor. |
| 24 GB | Vhodná kvantizace 32B může postoupit do užšího výběru. | Dlouhý kontext a souběžné požadavky je nutné otestovat navíc. Podpora 70B z toho neplyne. |
Ověřte jednotku měřicího nástroje a volnou paměť. Dvě karty stejné kapacity se mohou výrazně lišit propustností, výkonem, podporou ovladačů a spotřebou. Vyšší počet GB tedy není schválení modelu ani benchmark.
Do testu patří kontext i souběžné požadavky
KV cache uchovává mezivýsledky potřebné pro zpracování. Její velikost závisí mimo jiné na architektuře modelu, délce kontextu a formátu uložení. Dlouhé dokumenty, historie chatů i vložené znalostní úryvky potřebují další prostor. Maximální kontextové okno uváděné u modelu proto nepředstavuje bezplatně využitelnou paměť.
Úspěšný test jednoho požadavku říká málo o souběhu. U Ollama zvyšuje paralelní zpracování kontextu obsazenou paměť; zaznamenejte přesnou konfiguraci. Vedle krátkého požadavku otestujte delší realistický kontext a očekávaný souběh. Kvalitu odpovědi, čas do prvního tokenu, celkové trvání, chyby i špičkovou spotřebu vyhodnoťte společně.
Menší nebo kvantizovaný formát KV může podle runtime a backendu šetřit paměť. Může ale ovlivnit i přesnost a chování. Kvantizace vah a KV jsou dvě oddělená nastavení; porovnávejte je stejnými věcnými testy.
Přesun na CPU a RAM: možný, ale s jiným chováním
Runtime jako llama.cpp podporují rozdělení mezi CPU a GPU. Tak lze použít model, jehož úplné paměťové nároky přesahují grafickou paměť. Je třeba dostatek systémové RAM a vhodná datová cesta. SSD nenahradí chybějící VRAM stejně rychlou grafickou pamětí.
Přesun mění způsob provádění a často i dobu odpovědi; bez měření nelze jeho dopad seriózně vyčíslit. V Ollama pomáhá ollama pszkontrolovat aktuální rozdělení CPU/GPU. Ani více GPU automaticky neodpovídá jednomu velkému zařízení: podporu, rozdělení a přenosy mezi kartami je nutné posoudit v architektuře.
Před nákupem: schválit konkrétní konfiguraci
- Určit model: přesná verze, kvantizace, licence a požadovaná kvalita odpovědí.
- Určit zátěž: rozpočet kontextu, délka vstupů/výstupů a souběžné požadavky.
- Prověřit prostředí: konkrétní GPU, backend, ovladače, systém, RAM, chlazení a napájení.
- Měřit: volnou kapacitu, špičkovou spotřebu, odezvu a věcné chyby v reprezentativním pilotu.
- Rozhodnout: znovu použít hardware, cíleně jej rozšířit nebo zvolit místní, externí či hybridní službu.
DAXS zasadí výběr modelu a hardwaru do vaší stávající IT a dohodnutého provozu. Rámec popisuje odborná stránka Místní LLM a infrastruktura. Článek o zátěžovém pilotu pro místní AI ukazuje hodnocení při realistických úlohách; Náklady a výběr modelu posuzuje ekonomickou stránku.
Probrat výběr modelu a hardwaru
Zdroje: Ollama: délka kontextu (externí odkaz) · Ollama: paměť, souběh a offloading (externí odkaz) · llama.cpp: způsoby provádění (externí odkaz) · Hugging Face: GGUF (externí odkaz) · oficiální adresáře souborů Qwen 7B (externí odkaz), 14B (externí odkaz), 32B (externí odkaz). Orientace pro inferenci; nejde o trénovací test, nabídku hardwaru ani tvrzené měření u zákazníka.
