Postavím vám RAG systém na míru, který odpovídá z vašich dokumentů a ke každé odpovědi doloží zdroj.

Co RAG systém vaší firmě přinese

Kde RAG systém ve firmě pomáhá

Ve firmách se mu často říká RAG chatbot nebo chatbot nad dokumenty. Na projektech, které jsem stavěl, jde nejčastěji o tyto situace:

• odpovědi zaměstnancům na otázky ke směrnicím, interním postupům a pravidlům,
• vyhledávání ve smlouvách a právních dokumentech s citací konkrétního ustanovení,
• práce s technickou dokumentací a servisními návody,
• dotazy nad záznamy webinářů, školení a porad, kde odpověď odkáže na konkrétní pasáž,
• příprava odpovědí pro klienty z vlastní dokumentace, které před odesláním kontroluje člověk.

Z čeho se kvalitní RAG systém skládá

Rozdíl mezi ukázkou, která funguje na pár dokumentech, a RAG systémem pro celou firmu vzniká v částech, které uživatel nevidí:

• Zpracování dokumentů. Převod PDF, skenů, tabulek a e-mailů na čistý text, rozdělení na pasáže a zachování nadpisů a struktury.
• Hybridní vyhledávání v dokumentech. Kombinace vyhledávání podle významu a podle přesných slov, takže systém najde i čísla smluv, paragrafy a názvy produktů.
• Reranking. Druhé kolo, ve kterém se nalezené pasáže seřadí podle toho, jak dobře odpovídají na dotaz.
• Citace a odmítnutí. Odpověď s odkazem na konkrétní dokument a pravidla, kdy odpovídat nemá.
• Oprávnění, záznamy a měření kvality. Kdo co vidí, kdo se na co ptal a jak přesně systém odpovídá.

Proč RAG chatbot odpovídá špatně

Na projektech, které jsem viděl, bývala příčina hlavně ve zpracování dokumentů a ve vyhledávání, méně v samotném modelu. Model skládá odpověď z pasáží, které dostane, a když dostane špatné nebo neúplné, odpoví špatně i ten nejlepší. Nejčastěji jde o tyto situace:

• Naskenované dokumenty bez textu. Smlouva uložená v PDF jako obrázek je pro vyhledávání prázdná, dokud se nepřevede na text, a systém pak tvrdí, že o ní nic neví.
• Rozbité tabulky. Při převodu PDF na text se tabulka rozpadne na řadu čísel bez záhlaví a model pak přiřadí hodnotu ke špatnému řádku.
• Pasáž useknutá uprostřed. Když se dokument dělí na kusy bez ohledu na jeho strukturu, odpověď převezme pravidlo bez výjimky, která stojí o odstavec níž.
• Několik verzí stejného dokumentu. Stará a nová směrnice leží vedle sebe a systém cituje tu, která se k dotazu zrovna víc hodí, i když už neplatí.
• Čísla, kódy a zkratky. Vyhledávání podle významu nenajde číslo smlouvy, paragraf ani interní zkratku, kterou lidé ve firmě používají místo celého názvu dokumentu. Proto ho kombinuji s vyhledáváním podle přesných slov.
• Příliš mnoho, nebo příliš málo kontextu. Model dostane deset podobných pasáží a vybere špatnou, nebo dostane jedinou a chybí mu souvislost. To řeší reranking a nastavení, kolik pasáží se modelu předá.
• Oprávnění řešená až na konci. Když se práva uplatní až po vyhledání, systém buď odpoví z dokumentu, který uživatel vidět nemá, nebo mu správnou odpověď dodatečný filtr odebere.

U jednoho klienta jsem řešil nekonzistenci odpovědí. Důvod nebyl ve špatně nastaveném RAG systému, ale v dokumentech, které vznikaly organicky bez jasně přidělené role, kdo zodpovídá za jejich obsah. Nesystematické plnění znalostní báze vedlo od dobře fungujícího systému k systému, který se jevil jako hloupý a neaktuální.

Proto v analýze začínám dokumenty a měřením na sadě skutečných dotazů a model vybírám až potom. Podrobně tyhle chyby rozebírám v dílech seriálu Agentní RAG chatbot o zpracování dat a o ladění relevance.

GraphRAG pro otázky na vztahy

Klasický RAG systém hledá pasáže podobné dotazu. Když odpověď vyžaduje propojit víc informací, třeba kdo odpovídá za smlouvu s dodavatelem, kterého se týká určitý incident, pomáhá GraphRAG, který pracuje se znalostním grafem. Graf ukládá entity a vztahy mezi nimi a vyhledávání pak může jít po těchto vazbách.

GraphRAG nasazuji tam, kde se uživatelé opravdu ptají na vztahy. U běžného vyhledávání v dokumentech přidává práci v provozu, a proto ho nepřidávám automaticky. Implementaci podrobně popisuji v sedmém dílu seriálu Agentní RAG chatbot.

RAG systém, který umí i jednat

Když má chatbot nad dokumenty kromě odpovídání i něco udělat, třeba založit požadavek v interním systému nebo připravit dokument, stavím nad RAG agentní vrstvu v LangGraph a napojení na vaše systémy přes protokol MCP. Agent jedná s oprávněním přihlášeného uživatele a zápisové akce provádí až po potvrzení člověkem.

Případové studie

Technologie

GraphRAG a Neo4j, PostgreSQL s pgvector, hybridní vyhledávání s rerankingem, LangGraph, MCP, modely OpenAI, Anthropic a Google i open-source modely pro lokální provoz, Python a FastAPI. RAG systém stavím tak, aby jeho architektura nebyla svázaná s jedním poskytovatelem modelu.

Jak to probíhá

Cena

Cenu za RAG systém na míru stanovuji jako fixní za dohodnutý rozsah.

Reference

Další reference

Časté otázky

Články k tématu

Celý postup stavby RAG systému popisuji v seriálu na blogu.

Seriál Agentní RAG chatbot

• Agentní RAG chatbot: Kompletní průvodce AI architektury
• 1) Strategie zpracování dat pro RAG
• 2) Výběr a architektura databáze
• 3) Umění relevance a ladění RAG
• 4) Jak napsat dokonalý system prompt
• 5) Výběr správného LLM
• 6) Pokročilá optimalizace nákladů
• 7) Průvodce implementací GraphRAG
• 8) Tým agentních expertů v LangGraph
• 9) Jak na zabezpečení
• 10) Ladění systému v reálném provozu
• Bonus: Případová studie

Seriál Lokální RAG chatbot

• Lokální RAG chatbot: Kompletní průvodce
• 1) Datová suverenita
• 2) Křemíková nezávislost: hardware pro AI

Další články

• RAG chatbot: jak získat AI, která chápe souvislosti
• Pokročilá RAG architektura: průvodce z konference
• AI RAG chatbot pro zákony: jak postavit řešení na paragrafy