V každé firmě je jeden člověk, který ví, kde co leží. Nemá to v popisu práce. Je tam dvanáct let, pamatuje si, proč se ta směrnice tenkrát měnila, a ví, ve které složce je verze, která platí dnes.
Když si vezme dovolenou, firma se nezastaví. Jen zpomalí a nikdo neumí říct o kolik.
Ten člověk je vaše nejlepší vyhledávání v dokumentech a zároveň jeho jediná kopie.
Vítejte u čtvrtého dílu seriálu Zabezpečený firemní AI chatbot. V minulém dílu jsme řešili železo, paměť a to, kde má systém běžet.
Dnes techniku odložím a půjdeme mezi lidi. Jak takový systém vypadá v běžném dni, co se musí stát předtím, jak na něj reagují zaměstnanci a co mně samotnému napoprvé nefungovalo.
Když se lidé neptají, co je v dokumentu, ale kde ho najdou
Na jednom z projektů jsem systém navrhl hlavně na obsah dokumentů. Čekal jsem otázky typu co říká norma o tolerancích, jaká je výpovědní lhůta nebo co musí obsahovat protokol.
Pak jsem analyzoval reálné otázky z provozu a ukázalo se, že takových je menšina. Mnohem častěji se lidé ptali jinak. „Kde najdu platný formulář na cestovní příkaz?“ „Která verze pracovního postupu je aktuální?“ „Kdo to schvaluje a kde ten dokument leží?“
Lidé v té firmě tušili, že dokument existuje. Nevěděli, kde je uložený a která verze z těch tří platí.
Neplatí to všude stejně, jinde převažují otázky na obsah. Tady jsem ale systém podle výsledků analýzy předělával. Shrnutí obsahu se hodilo, jenže samo nestačilo. Když chatbot neřekl, kde směrnice leží a která verze platí, člověk ji stejně musel jít hledat.
Jak vypadá užitečná odpověď
Z toho vyplynulo jasné zadání. Dobrá odpověď interního chatbota má čtyři části a žádná z nich není navíc:
- Odpověď na položenou otázku, ideálně do tří vět.
- Zdroj: název dokumentu a místo, kde to v něm stojí.
- Odkaz, na který člověk klikne a dokument se mu otevře.
- Platnost: od kdy pravidlo platí a kdo ho schválil.
Odpověď bez zdroje je v interním systému k ničemu. Nemusí být špatně, ale zaměstnanec se o ni nemůže opřít.
Kdo podle ní jedná, nese za to odpovědnost. Když si ji nemá kde ověřit, jde se zeptat kolegy. A je tam, kde začínal.
Na jednu věc si u zdroje dejte pozor. Odkaz na stostránkovou normu není zdroj, ale úkol na celé odpoledne. Systém musí ukázat konkrétní článek nebo odstavec.
Běžný den v jedné výrobní firmě
Následující situace vycházejí ze tří projektů: výrobního, právního a vědeckého. Firma je smyšlená, jde o výrobní podnik s několika stovkami zaměstnanců. Detaily jsou pozměněné, situace skutečné.
7:10, mistr na ranní směně
Na lince chybí člověk a volný je kolega z vedlejšího úseku. Mistr se ptá, jestli ho tam smí postavit.
Systém odpoví, že bez zaškolení na toto pracoviště ne. Uvede článek vnitřní směrnice i s odkazem a dodá, kdo ověří, jestli kolega potřebné zaškolení má, a případně ho zajistí. Je to rychlejší, než kdyby mistr sháněl číslo na personální.
9:40, personalistika
Někdo se ptá, jestli jde nevyčerpaná dovolená převést do dalšího roku. Systém odpoví podle vnitřního předpisu a rozliší dvě situace: dovolenou nešlo vyčerpat kvůli překážkám nebo provozu, nebo zaměstnanec sám žádá o převod části dovolené. Každá se řídí jinými pravidly a právě tady lidé chybují.
Kdyby vnitřní předpis zákonu odporoval, má na to systém upozornit. K tomu ale musí mít v podkladech i aktuální znění zákona.
13:20, obchod
Jaká je záruční lhůta u určitého typu zakázky? Systém najde obchodní podmínky pro tento typ zakázky a odpoví podle nich.
Zároveň ale upozorní, že smlouvu s tímto konkrétním zákazníkem ve znalostní bázi nemá a že si v ní strany mohly dohodnout něco jiného. Odpověď tedy zní: tohle vím, tohle nevím a tady si to ověř.
15:50, kvalita
Někdo hledá aktuální revizi pracovního postupu. Systém řekne, která revize platí a kde ji najde. K tomu upozorní, že ve stejné složce leží i starší verze, která už neplatí.
Žádný z těch dotazů neohromí, a právě v tom je jejich hodnota. Efektní ukázky projekty prodávají. Při životě je ale drží tenhle nudný provoz.
Když systém neví, musí to říct
Když podklady na otázku nestačí, má přiznání větší cenu než domyšlená odpověď.
Zní to jako slabina a je to naopak. Sebevědomá odpověď na otázku, na kterou podklady neodpovídají, je nebezpečná, protože ji na první pohled nikdo nerozezná od správné.
Test: tři modely nad stejnými podklady
Nedávno jsem to zkoušel. Nad vlastním testovacím korpusem pěti set odborných dokumentů jsem položil deset obsáhlejších právních otázek a úplně stejné nalezené podklady předložil třem různým modelům. Všechny dostaly stejný pokyn: když podklady nestačí, mají to přiznat.
Velkému lokálnímu modelu s otevřenými vahami, konkrétně Qwen3.8-27B ve zmenšené podobě Q4_K_M o velikosti 16,5 GB. Menšímu a rychlejšímu lokálnímu modelu Gemma 4 26B-A4B, který ze svých 26 miliard parametrů zapojuje na každý krok jen čtyři. A cloudovému GPT-4.1.
Oba lokální modely běžely na Mac mini M4 Pro s 24 GB sdílené paměti.
Délka odpovědí vyšla podobná, medián se pohyboval mezi dvěma a půl a necelými třemi tisíci znaky. U lokálních modelů ji ale ovlivnil i nastavený limit výstupu. Všechny tři citovaly dodané podklady. Jestli každá citace opravdu podporuje tvrzení, u kterého stojí, jsem ale systematicky nekontroloval. U Gemmy je v jedné odpovědi záměna obecného nájmu za obecní bydlení.
Lišilo se, kam modely upozornění na chybějící podklady umístily. Qwen ho u čtyř otázek z deseti uvedl hned na začátku, GPT-4.1 u dvou. Gemma až později v odpovědi. Pro člověka, který přečte jen první odstavec, je to podstatný rozdíl.
Deset otázek je malý vzorek a nedělám z toho pravidlo. Kvalitu a opatrnost odpovědí je potřeba ověřit na vlastních dokumentech a vlastních otázkách, včetně toho, jestli odpovědi opravdu stojí na citovaných podkladech.
Jak dlouho se čeká na odpověď
To je druhá věc, kterou je lepší vědět před nákupem než po něm.
Ve stejném testu, na Mac mini M4 Pro z první kategorie popsané v minulém dílu, tedy na malém počítači za desítky tisíc, vycházely časy takhle.
Qwen3.8-27B odpovídal v mediánu za necelé dvě a půl minuty. Rychlejší Gemma se držela kolem půl minuty. Cloudový GPT-4.1 odpověděl zhruba za deset vteřin.
| Model | Kde běžel | Medián odpovědi | Narazil na limit délky | Upozornění na chybějící podklady hned na začátku |
|---|---|---|---|---|
| Qwen3.8-27B | lokálně, Mac mini M4 Pro | necelé 2,5 min | 10 z 10 | 4 z 10 |
| Gemma 4 26B-A4B | lokálně, Mac mini M4 Pro | kolem 30 s | 7 z 10 | 0 z 10 |
| GPT-4.1 | cloud | zhruba 10 s | 2 z 10 | 2 z 10 |
Měřil jsem čas od předání dotazu s nalezenými podklady modelu do ukončení jeho odpovědi. Samotné vyhledávání podkladů v těchto časech zahrnuté není.
Test obsahoval obsáhlejší právní otázky, ne jednoduché hledání formuláře. U stručné odpovědi může být čekání výrazně kratší. Pro firemní nasazení je proto potřeba měřit i běžné dotazy, u kterých lidé chtějí tři věty a odkaz.
Proto to není v rozporu s minulým dílem, kde jsem o stejném stroji psal, že běží svižně. Dlouhý výklad nad osmi úryvky dokumentů je jiná zátěž než krátký dotaz.
Délku odpovědi měly lokální modely v testu omezenou na 900 tokenů a Qwen ten strop vyčerpal u všech deseti otázek, Gemma u sedmi. Některé odpovědi končí uprostřed slova. Jejich dokončení by trvalo déle.
Cloudový GPT-4.1 měl vyšší limit 1 200 tokenů a dosáhl ho u dvou otázek. Ani u něj tedy všechny časy neznamenají přirozeně dokončenou odpověď.
Dvě a půl minuty je v interním nástroji dlouho. Kdo hledá jen formulář, tak dlouho čekat nebude.
Proč to lokálně trvá
Rychlost omezuje hardware i způsob, jakým na něm model běží. Kolik se dá získat změnou softwaru a nastavení, musí ukázat měření na konkrétním stroji.
Při běžném generování po jednom tokenu musí hustý model opakovaně načítat z paměti většinu svých vah. Token je zhruba kousek slova. Pro tento způsob psaní vychází z propustnosti paměti a velikosti vah zjednodušený strop, u Mac mini kolem šestnácti tokenů za vteřinu. Qwen v testu psal rychlostí deset.
Existují ale techniky, kdy model odhadne několik tokenů dopředu a ověří je najednou. Tím mohou tento odhad překročit a psaní znatelně zrychlit. Jejich přínos závisí na stroji, nastavení i typu textu.
A samotné psaní nebylo všechno. Zabralo zhruba minutu a půl. Další přibližně minuta připadla na ostatní části požadavku, jejichž podíl jsem v tomto testu samostatně neměřil.
Rychlost se dá koupit silnějším hardwarem. Kategorie strojů a jejich řádové ceny jsem rozebíral v minulém dílu.
Všechna tahle čísla přitom platí pro jeden dotaz. Jakmile se ptá víc lidí naráz, dělí se o stejný stroj, jak jsem rozebíral tamtéž.
Co z toho plyne pro ředitele
Pro rozhodování ředitele z toho plyne jednoduchá věc. Ptejte se dodavatele na dobu odpovědi ve špičce. Chtějte vidět nejen průměr, ale i ty nejpomalejší odpovědi a dobu, než se objeví první užitečný text.
A k tomu, jestli jsou odpovědi správně, protože rychlá chyba je pořád chyba. Chytrý model, na který lidé nepočkají, je drahá nepoužívaná ikona.
Režim uvažování si nechte předvést
Ještě jedna zkušenost, tentokrát mimo srovnávací test, ve kterém bylo uvažování vypnuté.
U Qwenu jsem zkusil režim, ve kterém model před odpovědí uvažuje. Na papíře je to vylepšení a u složitých úloh jím opravdu bývá.
Na jedné otázce nad dokumenty uvažoval devatenáct minut, vyprodukoval přes deset tisíc tokenů vnitřní úvahy a uživateli nedoručil ani znak. Je to jedna zkušenost, ne pravidlo.
Každou funkci, která zní jako vylepšení, si nechte předvést na vašich dokumentech a vašich otázkách. Na cizím demu se tohle neukáže.
Co tomu předchází: nudný úklid dokumentů
Všechno výše popsané stojí na jedné věci, o které se na schůzkách mluví nejmíň, protože není vidět a nikoho nebaví.
Než systém začne odpovídat, musí někdo rozhodnout, co platí.
Prakticky to znamená projít pár nepříjemných věcí:
- Tři verze téže směrnice ve třech složkách, z nichž žádná není označená jako platná.
- Skenované dokumenty bez textové vrstvy, tedy obrázky, ve kterých textové vyhledávání nenajde ani písmeno, dokud se nepřevedou na text.
- Podklady bez data platnosti a bez informace, kdo je schválil.
- Dokumenty, které si navzájem protiřečí.
- Tabulky a přílohy, ve kterých leží ta podstatná informace a které se při nešikovném zpracování rozsypou na nesmysl.
U jednoho klienta jsem řešil, proč systém odpovídá nekonzistentně. Příčina nebyla ve špatně nastaveném vyhledávání, ale v dokumentech samotných.
Vznikaly živelně a nikdo nebyl určený, aby se o ně staral. Znalostní báze se plnila bez pravidel. Systém, který zpočátku odpovídal výborně, tak začal působit hloupě a neaktuálně.
Rozhodnout, co platí, je zásadní práce na straně firmy a dodavatel ji za ni neudělá.
Jak jsem psal ve druhém dílu, bez jednoho člověka s mandátem tohle rozhodovat se projekt zastaví. Ne technicky. Jen se přestane hýbat a rozpočet mezitím běží dál.
Dobrá zpráva je, že ten úklid má hodnotu i bez AI. Firma, která si srovná, co platí a kde to leží, si polepší, i kdyby projekt zítra zrušila.
Přístupová práva: systém nesmí být zkratka kolem pravidel
Tady leží závažné riziko interního chatbota a ptá se na něj málokdo včas.
Systém vidí do dokumentů, do kterých ho pustíte. Když se přístupy neřeší, vyrobíte nástroj, který každému ochotně ukáže všechno. Včetně mzdových podkladů, personálních spisů a smluv, které měli vidět tři lidi.
Pravidlo je jednoduché. Systém smí uživateli ukázat jen to, co by mu ukázal správce té složky.
A jedna technická poznámka, která má obchodní dopad. Práva se musí uplatnit dřív, než se podklady dostanou k modelu, ne až na hotové odpovědi.
Když se filtruje až na konci, model si obsah cizího dokumentu mezitím přečetl a promítl do formulace. Vyškrtnout pak jednu větu je pozdě.
Pozor i na samotné názvy dokumentů. Informace, že ve firmě existuje dokument s určitým názvem, umí prozradit dost sama o sobě. Práva proto platí i na seznam zdrojů, ne jen na jejich obsah.
Nejmíň bolestivá cesta je převzít práva ze systémů, které už ve firmě běží, a průběžně je s nimi synchronizovat. Když někomu přístup ve zdrojovém systému odeberete, musí ho ztratit i v chatbotu. Ručně udržovaný seznam, kdo kam smí, se snadno rozejde se skutečností.
A počítejte se záznamy o tom, kdo se na co ptal. Předem si stanovte, k čemu je potřebujete, třeba kvůli bezpečnosti nebo zlepšování systému, a ukládejte jen to, co je k tomu nutné. Jsou to osobní údaje, takže k nim patří pravidlo, jak dlouho se drží a kdo do nich vidí. Zaměstnanci o nich musí vědět.
Co napoprvé nefungovalo
Teď ta část, kterou případové studie vynechávají.
Odpovědi byly moc dlouhé
Byl jsem na ně pyšný, měly strukturu, kontext i souvislosti. Lidé je přeskakovali a rolovali dolů pro odkaz.
Chtěli tři věty a umístění. Dlouhá odpověď působí důkladně a v provozu je to překážka.
Lidé se ptali jinak, než jak byly otázky napsané v zadání
Testovací sada od vedení byla formulovaná jako nadpisy směrnic. Skutečné dotazy z provozu obsahovaly vnitrofiremní zkratky, hovorové názvy dokumentů a překlepy. Kvůli tomu jsem musel přepracovat způsob, jakým systém dotazům rozumí.
Systém odpovídal ze staré verze
Nebyla to chyba modelu. V úložišti ležela vedle platné směrnice i ta předchozí a nic je od sebe navenek neodlišovalo. Systém našel tu nesprávnou a odpověděl přesně podle ní, poctivě a s odkazem.
Chyběl zpětný kanál
Lidé si stěžovali ústně kolegům a ke mně se to nedostalo. Dokud u odpovědi nepřibylo jednoduché hodnocení, měl jsem o kvalitě provozu jenom dojmy.
Nic z toho nebyl problém modelu. Byly to problémy dat, formulací a provozu, a přesně tam se u systémů nad firemními dokumenty rozhoduje o výsledku.
Jak poznáte, že to lidé opravdu používají
V prezentacích se nejčastěji ukazuje počet registrovaných uživatelů. Moc toho ale neřekne, protože registrace často proběhne hromadně za všechny zaměstnance.
Já sleduji čtyři čísla:
- Kolik lidí se vrátí i druhý týden. Tohle považuji za nejdůležitější signál. Proč se lidé vracejí, je ale dobré ověřit v rozhovoru. Důvodem může být úspora času, ale i povinnost nebo to, že napoprvé nenašli, co hledali.
- Kolik dotazů připadá na jednoho aktivního uživatele. Když se lidé ptají několikrát týdně, berou systém jako pracovní nástroj. Vysoké číslo ale může znamenat i opakované neúspěšné pokusy, proto ho čtěte spolu s ostatními.
- Podíl dotazů, na které systém nenašel podklad. Ukazuje, které dokumenty ve firmě chybí nebo je nikdo nenajde, takže z něj rovnou vychází zadání pro další kolo. Nemusí ale jen klesat. Když lidé začnou klást nové typy otázek, může vzrůst. Kvalitu vyhledávání proto sledujte i na stálé sadě testovacích otázek.
- Podíl odpovědí, které lidé označí za neužitečné. Nejjednodušší je tlačítko přímo u odpovědi. Sledujte k tomu i to, kolik lidí vůbec hodnotí, protože hodnocení od menšiny nemusí vypovídat o všech.
Na jednu věc se často zapomíná v rozpočtu i v harmonogramu: lidi je potřeba k používání systému dovést. Mně se osvědčily tři věci:
- Systém je dostupný tam, kde lidé už pracují, ne jako další ikona na ploše.
- Jeden člověk ho osobně ukáže na jednotlivých odděleních, místo aby se rozeslal hromadný e-mail.
- Vedení ho samo viditelně používá.
U mě se opakovalo, že když ho vedení nepoužívalo, zaměstnanci ho brzy přestali používat taky.
Zvažujete AI nad vlastními dokumenty?
Interní AI chatbota nad firemními dokumenty stavím na míru, v evropském cloudu i plně lokálně. Co to obnáší, jak probíhá analýza a pro koho to dává smysl, najdete na samostatné stránce.
Co bude dál
V posledním dílu se podívám na návratnost. Ukážu, kolik času takový systém reálně ušetří, jak si úsporu spočítat s rezervou a kdy je lepší projekt zastavit.
👉 Zajímá vás technická stránka? Projděte si seriály Lokální RAG chatbot a Agentní RAG chatbot. Jak vypadá hotové nasazení, jsem popsal v případové studii interního AI agenta.
Celý seriál: Zabezpečený firemní AI chatbot: Kompletní průvodce
Všechny díly
1) Vaši zaměstnanci posílají firemní know-how do USA
2) Co obnáší vývoj a kolik stojí
3) Lokální AI: jaký hardware potřebujete a kdy žádný
4) AI nad firemními dokumenty: jak vypadá běžný den (právě čtete)
5) Návratnost v číslech
