Firemní AI nad vlastními daty: Kompletní průvodce

S AI nad vlastními daty za mnou firmy chodí s hodně rozdílnými zadáními. Jedna chce, aby lidé našli odpověď v interních dokumentech a wiki. Jiná potřebuje z dat pravidelně připravovat odborné analýzy a další chce chatbota, který bude odpovídat zákazníkům na webu.

Společné mají to, že AI pracuje s podklady firmy a odpověď musí jít dohledat ke zdroji. Podklady přitom nesmí opustit prostředí a okruh poskytovatelů, které firma předem schválila.

Z téhle situace vychází celý seriál. Píšu ho pro majitele a vedení firem, které zvažují pořízení celého systému. V devíti dílech projdu, kde mohou data ležet a k čemu takový systém slouží, a u každé varianty popíšu rozsah dodávky, co musí dodat firma a kdy ji nedoporučuji.

Není to technická příručka a není to ani přehled nástrojů na trhu. Píšu z pozice člověka, který zabezpečené systémy nad firemními daty navrhuje a staví. Součástí bude i to, co se mi nepovedlo.

Kde budou data a kde poběží model

U každého projektu se nejdřív řeší, kde budou ležet dokumenty a kde poběží jazykový model. Podle toho se liší cena, rychlost vývoje i to, jak dobré modely může firma používat.

• Globální cloud. Systém používá modely velkých poskytovatelů, jako jsou OpenAI, Anthropic nebo Google, přes jejich firemní rozhraní. Nové modely jsou k dispozici hned a vývoj je rychlejší a levnější než u ostatních variant. Data ale může poskytovatel zpracovávat i mimo EU a firma se spoléhá na smluvní záruky, například že na jejích datech nebude trénovat. Jak takový projekt probíhá, popisuji na stránce vývoj AI chatbota a AI agentů pro firmu.
• EU cloud. Dokumenty, vyhledávání i záznamy o používání leží v datových centrech v EU, což považuji za rozumné. Když ale v EU musí běžet i samotné modely, přináší to podle mé zkušenosti spoustu omezení. Modely v evropských regionech bývají dražší a nové verze se tam dostávají se zpožděním. Prodraží se i vývoj, protože na data nejde pustit vývojové AI nástroje, které běží mimo EU, a ladění výstupů trvá déle.
• Lokální AI. Celý řetězec od zpracování dokumentů až po model běží na serverech ve firmě, takže obsah podkladů neopustí firemní síť. Firma ale kupuje a spravuje vlastní hardware a lokálně provozovatelné modely podle mé zkušenosti zatím nedosahují kvality velkých cloudových modelů u složitějších úloh v češtině. Tomu odpovídá moje služba AI pro citlivá data a lokální modely.

Provoz v cloudu a v uzavřené síti podrobně rozebírám ve druhém a třetím dílu.

K čemu má systém sloužit

Pak se řeší, co má systém dělat. Typů je samozřejmě mnohem víc. Popisuji ale jen ty tři, které jsem stavěl nebo stavím, protože v nich mohu nabídnout vlastní know-how.

• Firemní knowledge base. Znalosti z dokumentů, wiki a interních systémů jsou v jedné bázi, které se lidé ptají a dostávají odpověď s odkazem na zdroj. Chat je u ní jen rozhraní. Pracnější část je správa zdrojů, odpovědnosti za obsah a aktualizací. Takovou bázi stavím jako službu AI nad firemními daty.
• Analytický AI systém. Firma pravidelně zpracovává odborné analýzy a reporty z dat a podkladů podle vlastní metodiky. Čísla, srovnání a pořadí doporučení počítají deterministická pravidla, která spravuje odborník, takže při stejných datech a stejné verzi pravidel vyjdou vždy stejně. Jazykový model je jen zpracovatel textu: z hotových výsledků připraví návrh s odkazy na zdroje, sám nic nepočítá a odborník návrh zkontroluje a schválí. Příbuzné je sledování vazeb mezi dodavateli, smlouvami a událostmi ve znalostním grafu. Co taková dodávka obnáší, mám na stránce analytický AI systém.
• Veřejný chatbot. Odpovídá zákazníkům nebo veřejnosti na webu, takže s ním pracují i anonymní uživatelé a někteří z nich ho zkoušejí zneužít. Kromě kvality odpovědí se u něj proto řeší limity pro anonymní uživatele a ochrana proti prompt injection, tedy pokusům obejít pravidla systému podvrženým textem. Jak to vypadá v praxi, jsem popsal v případové studii právního AI asistenta.

Místo a účel se spolu kombinují. Knowledge base může běžet v globálním cloudu i v uzavřené síti a analytický systém bývá nadstavba nad dobře spravovanou bází.

Rozdíl mezi nimi přitom nemusí být v objemu dat, ale hlavně ve složitosti systému. Stavím jednoduché RAG systémy nad interními daty (vyhledávání v dokumentech, ze kterého jazykový model složí odpověď), ale řešil jsem i komplexní systémy, kde na sebe navazuje víc agentů, odpověď prochází vícekrokovou evaluací a systém je napojený na řadu dalších firemních systémů.

Každá taková část se může pokazit, ať už kvůli špatnému architektonickému rozhodnutí, nebo jen kvůli nedostatečnému ověření a testování. Podle složitosti se pak liší i cena projektu.

Devět dílů seriálu

Díly vycházejí postupně a odkazy v seznamu doplňuji, jak vycházejí.

1) Firemní AI knowledge base: jak propojit znalosti celé firmy (připravuje se)
Z čeho se znalostní báze skládá, jak se do ní dostanou wiki, disky a interní systémy a co udělá s rozporem mezi dvěma zdroji.

2) Interní AI chatbot v privátním cloudu: co má obsahovat bezpečné řešení (připravuje se)
Cesta dat krok za krokem, které části jsou pro firmu vyhrazené a co chtít ve smlouvě i při převzetí.

3) Lokální firemní AI v uzavřené síti: co musí zůstat uvnitř firmy (připravuje se)
Co všechno musí běžet lokálně, jak se v uzavřené síti aktualizuje a jak ověřit, že systém nic neposílá ven.

4) Analytický AI systém: odborný report z firemních dat, který schvaluje člověk (připravuje se)
Jak převést firemní metodiku do kroků, které systém dodrží, jak dohledat zdroj ke každému číslu a co zůstává na odborníkovi.

5) Vlastní AI pro studenty: lokální AI tutor nad poznámkami, knihami a přednáškami (připravuje se)
AI tutor nad vlastními poznámkami, knihami a záznamy přednášek, který běží celý na vlastním počítači a podklady nikam neposílá. Je to jediný díl seriálu, který míří na studenty místo na firmy.

6) Analýza vztahů ve firemních datech: kdy má smysl znalostní graf (připravuje se)
Srovnání vyhledávání, databázového dotazu a grafu na jedné otázce, a kdy je graf zbytečná složitost.

7) Hotová firemní AI, nebo vlastní systém? Rozhodnutí podle vašich dat (připravuje se)
Co dnes umí firemní licence nad vlastními dokumenty, kde narážejí a jaké jsou náklady za celý životní cyklus.

8) Jak otestovat firemní AI před převzetím: zadání pro dodavatele (připravuje se)
Testovací sada vlastních otázek, co na ní měřit a proč z výsledného čísla nedělat podmínku platby.

9) Jak vybrat dodavatele firemního AI systému a převzít hotové řešení (připravuje se)
Rozsah dodávky, odpovědnost obou stran, co firmě po projektu zůstane a varovné signály v nabídkách.

Pro koho to je

Píšu to pro firmy a instituce, které chtějí používat AI nad vlastními daty, a to bez ohledu na obor. O takovém systému podle mě musí rozhodnout vedení. Rozhoduje se tím totiž i o tom, kdo ve firmě odpovídá za obsah.

Na co seriál navazuje

Předchozí seriál Zabezpečený firemní AI chatbot pokrývá věci, které tady nebudu opakovat. Jsou v něm rizika veřejných nástrojů, co obnáší vývoj vlastního chatbota a kolik stojí. K tomu jaký hardware firma potřebuje, jak vypadá běžný den s AI nad dokumenty a v posledním dílu i to, jak si spočítat návratnost a kdy projekt zastavit.

👉 Technickou stránku drží moje dva technické seriály. V Lokálním RAG chatbotovi je stavba systému nad vlastními dokumenty, v Agentním RAG chatbotovi architektura agentních systémů. Implementaci znalostního grafu jsem rozebíral v jeho sedmém dílu. Jak vypadá hotové nasazení u klienta, jsem popsal v případové studii interního AI agenta.