Z pěti hesel má vzniknout stručný zápis z hovoru. Musí při každém požadavku pracovat největší dostupný jazykový model? Často se vyplatí nejprve úkol přesně vymezit a otestovat menší model.
Požadovaný výsledek se vejde do několika řádků.
Fiktivní telefonát je zachycen těmito hesly: „Zákaznice se ptá na termín dodání, nabídka je k dispozici, interní vyjasnění dosud otevřené, odpověď zítra.“ Sdělení má obsah srozumitelně shrnout. Nesmí si vymyslet termín dodání ani z poznámek udělat objednávku či cenový příslib.
U tohoto úkolu rozhodují úplnost, správné přiřazení a práce s chybějícími informacemi. Zvlášť podrobná argumentace nebo velké kontextové okno mohou znamenat další náročnost, aniž by byl zápis užitečnější.
Nejdřív kritéria přijetí, potom volba modelu.
Testovací sada neobsahuje jen dobře napsané příklady. Patří do ní zkratky, překlepy, protichůdné časové údaje a chybějící kontaktní osoby. U každého příkladu je určeno, co se smí převzít a kde je nutný doplňující dotaz.
Menší model je vhodný, pokud tyto požadavky spolehlivě splňuje. Pokud ne, hledá se příčina: nejasný vstup, nevhodná příprava, chybějící validace, nebo skutečně nedostatečná schopnost modelu. Větší model může pomoci, není však nejekonomičtější odpovědí na každou chybu.
Řízený směrovač může s různými úkoly zacházet odlišně.
Stručný zápis z hovoru může projít jinou cestou zpracování než složitý rozbor smlouvy nebo kontrola kódu. Výběr zohledňuje požadavky na ochranu, schválené poskytovatele, kvalitu a dobu odezvy. Při nevyhovujícím výsledku následuje doplňující dotaz nebo definovaná eskalace.
Náhradní model přitom nesmí způsobit nové nepovolené předání dat. Odborná kontrola a rozpočtové limity platí i tehdy, když původně zvolené API právě není dostupné.
Cena tokenů je jen jedním řádkem výpočtu.
Levné volání se může prodražit, pokud zaměstnanci musí výsledky často opravovat. Dražší model naopak může být celkově výhodný, pokud náročný úkol dokončí s výrazně menším množstvím oprav. Porovnává se tentýž úkol se stejnými požadavky na kvalitu.
- Využití
- Spotřeba vstupu a výstupu, další volání nástrojů a nutná opakování.
- Kvalita
- Podíl skutečně použitelných výsledků a důsledky věcně závažných chyb.
- Opravy
- Čas na kontrolu, opravy, doplňující dotazy a nové zpracování.
- Provoz
- Integrace, dohled, aktualizace, limity a řešení výpadků.
Zlepšit lze i vstupy.
Pro zápis se předávají potřebná hesla, nikoli pro jistotu celá historie zákazníka. Jasný výstupní formát usnadňuje kontrolu. Pokud to služba podporuje, mohou opakované části vstupu využít prompt caching. Zda dojde k zásahu mezipaměti a jaký má účinek, je nutné měřit.
Asynchronní dávkové zpracování je další možností pro úkoly bez požadavku na okamžitou odpověď. Hodí se například spíše pro připravený soubor dokumentů než pro zápis potřebný ještě během hovoru.
Již dostupný paušál neznamená čekání zdarma.
Předplacené kvóty mohou rozhodnutí ovlivnit. Zbytečné vstupy, lidské opravy a obsazená kapacita však zůstávají důležité. Ekonomická architektura měří náklady na úspěšně dokončený úkon a po změnách modelu nebo produktu je znovu ověřuje.
Odborná stránka Optimalizace nákladů AI vysvětluje směrování modelů, brány a místní infrastrukturu. Pro zařazení celých procesů článek Skript, workflow, nebo agent AI? doplňuje rozhodování.
Zdroje: OpenAI: optimalizace nákladů · OpenAI: prompt caching · OpenAI: dávkové zpracování. Žádné plošné přísliby úspor či cen.
