Pro první pokus s lokální AI není nutné hned kupovat nový server. Stávající počítač může ukázat, zda menší jazykový model poskytuje pro zamýšlenou úlohu použitelné výsledky. Pro každodenní práci pak záleží také na čekání, dostupné kapacitě a spolehlivém provozu.
Nejdůležitější otázka proto zní: co má model dělat? Krátká úprava textu má jiné požadavky než analýza dlouhých dokumentů, rozsáhlá práce s kódem nebo souběžná práce více lidí. „Model se spustí“ je první technické zjištění. Vhodné pracoviště nebo firemní služba tím ještě nejsou doloženy.
Co lze zvládnout bez zvláštní grafické karty
Jazykové modely mohou běžet na podporovaném CPU. Běhové prostředí llama.cpp podporuje různé procesorové platformy i rozdělení práce mezi CPU a GPU. GPU tedy není obecnou podmínkou každého testu, může však výrazně zrychlit zpracování. Skutečný rozdíl se měří na zvolené úloze. llama.cpp: podporovaný hardware a běh (externí odkaz).
Test na CPU se hodí například k vytvoření návrhu textu z necitlivých bodů, strukturování krátké poznámky nebo posouzení malého příkladu kódu. Model musí vyhovovat jazykově i odborně. Dlouhý vstup, náročná odpověď nebo druhý souběžný požadavek mohou výrazně změnit původně použitelný výsledek testu pro jednoho člověka.
32 nebo 64 GB RAM: scénáře plánování místo univerzálního minima
Následující úrovně jsou záměrně označeny jako příklady. Nenahrazují kontrolu konkrétního souboru modelu ani zátěžový test. Menší modely si mohou vystačit s menší pamětí; větší modely, dlouhé kontexty nebo více služeb mohou potřebovat výrazně více.
| Úroveň rozšíření | Příklad základu | Co má test objasnit |
|---|---|---|
| Prověřit stávající počítač | Podporovaný CPU, například 32 GB RAM a dostatek volného místa na SSD; zpočátku bez dalšího GPU. | Vyhovuje menší model odborně? Je čekání u jednotlivých krátkých úloh přijatelné? |
| Pravidelně používané pracoviště | Například 32–64 GB RAM, NVMe SSD a GPU cíleně vybrané podle modelu a kontextu. | Zůstává práce plynulá, když současně běží další aplikace a vstupy se prodlužují? |
| Sdílená služba | Vyhrazené prostředky; například 64 GB systémové RAM jako výchozí bod plánování, vhodná akcelerace a řízený provoz. | Jakého souběhu, kvality odpovědí a dostupnosti lze dosáhnout při skutečné zátěži? |
64 GB systémové RAM nenahradí dostatečně velkou grafickou paměť. Stejně tak soubor modelu, který se vejde na SSD, nedokazuje, že se celý model s požadovaným kontextem vejde do paměti GPU. U systémů se sdílenou pamětí je nutné posoudit rozdělení veškeré paměti.
Proč samotná velikost modelu nestačí
Jednoduchý výpočet ukazuje řádovou velikost: osm miliard parametrů s teoretickými čtyřmi bity na parametr dává 8 000 000 000 × 4 ÷ 8 = 4 000 000 000 bajtů, tedy přibližně 4 GB neboli 3,73 GiB samotných vah. Nejde o úplný paměťový požadavek spustitelného modelu.
Navíc jsou potřeba mimo jiné informace o kvantizaci, části uložené v jiných formátech, běhové vyrovnávací paměti a paměť pro kontext. Rozhoduje skutečný soubor a zvolené běhové prostředí. GGUF například obsahuje kromě tenzorů také metadata a podporuje různé kvantizační formáty. Hugging Face: GGUF a kvantizace (externí odkaz).
Větší kontextové okno vyžaduje další paměť. Požadovaná délka vstupu se proto při testu výslovně zaznamenává. Krátký chat s malým vstupem vypovídá jen málo o pozdější práci s dlouhými dokumenty. Ollama: délka kontextu a nároky na paměť (externí odkaz).
GPU musí vyhovovat celému prostředí
Při výběru záleží na využitelné grafické paměti, podporovaných ovladačích a běhovém prostředí, spotřebě, chlazení a možnostech instalace. Dvě karty s podobným produktovým názvem mohou mít různou kapacitu paměti. Ani rozpoznání operačním systémem neznamená, že kartu požadované běhové prostředí modelu vhodně využije.
Před nákupem se proto ověří přesný model karty, operační systém a verze ovladače vůči aktuální podpoře běhového prostředí. Ollama popisuje různé možnosti pro NVIDIA, AMD, Apple Metal a další backendy. Z toho neplyne obecná podpora každé karty dané značky. Ollama: aktuální podpora hardwaru (externí odkaz).
Co přinášejí NVMe a Linux
NVMe SSD je rozumnou možností při plánování lokálních souborů modelů, aktualizací a pracovních dat. Volné místo se vyhradí pro skutečně používané modely a další verze. Větší disk však nenahrazuje RAM ani grafickou paměť; ani rychlé SSD automaticky nezajistí interaktivní použití příliš velkého modelu.
Linux může dobře vyhovovat trvale provozované službě, pokud firmě odpovídají ovladače, údržba a odpovědnosti. Ollama mimo jiné popisuje provoz jako samostatné systémové služby. Operační systém se volí podle stávajícího prostředí; není nutné jej nově zavádět na každém pracovišti. Ollama: provoz na Linuxu a správa verzí (externí odkaz).
Krátký pilotní projekt vytvoří lepší nákupní seznam
- Stanovit úlohu: například vytvořit návrh ze schválených bodů, než se připojí celá znalostní základna.
- Zaznamenat podmínky testu: verze modelu, kvantizace, kontext, hardware a ostatní spuštěné aplikace.
- Posoudit výsledky: odborná správnost, potřebné opravy a skutečně ušetřená práce.
- Změřit čekání: běžné i delší vstupy a očekávané souběžné používání.
- Prověřit i provoz: datové cesty, oprávnění, aktualizace, zálohování a obnovení služby.
Podrobnější postup testování najdete v článku Testování lokální AI: pilotní projekt s vypovídající zátěží. Pro přechod ke sdílené službě článek Ollama a Open WebUI ve firemní síti vysvětluje rozdělení přístupu, rozhraní a modelu.
Rozumně využít stávající vybavení a cíleně je doplnit
Pro začátek může stačit stávající počítač. Prokáže-li pilotní projekt spolehlivý přínos, následuje cílené rozšíření nebo plánování vlastní služby. Pro vzácné či obzvlášť náročné úlohy může být ekonomicky vhodné také schválené cloudové API nebo hybridní model. Rozhodují data, kvalita, používání a náročnost provozu.
DAXS pomáhá s tímto posouzením i s integrací do stávajícího IT. Začít můžete na stránce Lokální LLM a infrastruktura a prostřednictvím poptávky poradenství k AI a automatizaci.
Zdroje: hodnoty paměti představují výslovně popsané plánovací scénáře nebo teoretický výpočet vah. Nejde o benchmark, cenovou nabídku ani důkaz podpory konkrétního počtu uživatelů. Licence konkrétního modelu a kompatibilita systému se ověřují před nasazením.
