„Kolik vlastně vydělává můj šéf?“ Nepříjemná otázka pro firemní AI. Rozhodující protiotázka zní: které podklady smí účet za tímto dotazem skutečně číst?
Možná chyba začíná dávno před AI.
Představme si fiktivní firmu. Ve staré personální složce leží přehled mezd. Při dřívější migraci byla složka sdílena s obecnou skupinou zaměstnanců. Odkaz už nikdo nepoužívá. Sdílení nadále existuje.
Nyní se zavádí vyhledávání ve firemních znalostech. Je-li tento zdroj připojený, technicky zpracovatelný a přístupný účtu, který se ptá, mohou se do odpovědi dostat relevantní úryvky. Není přitom nutné prolomit novou bezpečnostní bariéru. AI usnadní odhalení staré chyby v oprávněních.
Jde o hypotetický příklad. Nepopisuje skutečný případ zákazníka DAXS ani obecně zaručené chování konkrétního produktu. Bez vhodného zdroje a možnosti přístupu nemůže AI skutečnou částku spolehlivě znát; přesto uvedené číslo může být vymyšlené.
Tři osoby, tři různé výchozí situace.
Personalistka smí dokument číst pro svou práci. Jiná osoba toto oprávnění nemá a její vyhledávání musí zdroj vyloučit. Třetí osoba má kvůli chybnému sdílení skupině technický přístup. V jejím případě je nutné opravit samotné sdílení. Model nemůže z promptu spolehlivě odvodit chybné organizační rozhodnutí.
Správná odpověď může znamenat nesprávné zpřístupnění.
Mnoho testů AI hodnotí, zda odpověď zní správně a je doložena dokumenty. U důvěrných informací je navíc nutné ověřit, zda právě tato osoba smí doklad vidět. Věcně správná informace o mzdě může přesto neoprávněně odhalit něco, co ve firmě potřebuje jen úzký okruh lidí.
Naopak odmítnutá odpověď ještě nedokazuje účinnou ochranu. Dokument možná jen nebyl nalezen. Testy přístupu proto musí zahrnovat zdroj, vyhledávací index, přímé načtení i nepřímé formulace. Jediné zdvořilé upozornění „Tato data jsou důvěrná“ není spolehlivou kontrolou oprávnění.
Stejnou péči vyžadují i kalkulace.
Téma se netýká jen mezd. Zaměstnanec se může ptát na svou fakturovanou hodinovou sazbu, podmínky zákazníka nebo interní marži projektu. Takové údaje mohou být v nabídkách a tabulkách. Fakturační sazba, příspěvek na úhradu a zisk firmy jsou odborně odlišné veličiny; z jediného nalezeného čísla nelze seriózně odvodit zisk z jedné hodiny práce.
Musí proto odpovídat jak oprávnění zdrojů, tak kvalita závěrů. Náprava důvěrných úložišť a odborné ověření výstupů jsou dva oddělené úkoly.
Co mohou firmy prověřit před pilotním projektem.
- Identifikovat personální, finanční a strategické podklady a přiřadit odpovědné osoby.
- Ověřit účinná oprávnění včetně skupin, dědičnosti a odkazů pro sdílení.
- Připravit testovací účty pro povolený, zakázaný a nechtěně příliš široký přístup.
- Ověřit, zda se oprávnění uplatní před předáním úryvků modelu.
- Promítnout odebrané sdílení také do indexů, mezipamětí, exportů a sdílených odpovědí.
U Microsoft Copilot s daty Microsoft 365 výrobce popisuje použití obsahu v rámci uživatelských oprávnění. Právě proto je třeba před zavedením napravit příliš široká výchozí oprávnění. Jiné chatovací produkty a doplňující agenty je nutné prověřit podle jejich konkrétního modelu dat a účtů.
Smysluplný další krok.
DAXS může naplánovat ohraničenou bezpečnostní prověrku AI s inventářem zdrojů, kontrolou oprávnění a zdokumentovanými negativními testy. Cílem je dohledatelný stav zavádění: které zdroje jsou povoleny kterým uživatelům, jaké nedostatky jsou známé a kdo je odstraní?
Odborná stránka o bezpečnosti AI a AI Oversharing vysvětluje kontroly. Pro architekturu vyhledávání stránka Firemní znalosti a RAG doplňuje souvislosti.
Zdroje: Microsoft: data a oprávnění · OWASP: zpřístupnění citlivých informací.
