Lokální AI · on-premise AI pro firmy
Postavím vám lokální AI pro firmy, která běží na vašem serveru a data nikam neposílá.
Jazykový model, vyhledávání v dokumentech i záznamy o dotazech poběží na hardwaru ve vaší firmě nebo ve vašem datacentru. Takovou on-premise AI navrhuji a stavím pro firmy, jejichž smlouvy, technická dokumentace nebo údaje o klientech nesmí opustit vlastní síť.
Finanční sektor
Právní sektor
Vědecká instituce
Mediální dům
Co lokální AI vaší firmě přinese
Data zůstávají ve vaší síti
Dokumenty, dotazy i odpovědi zpracovává systém na vašem hardwaru. Žádný externí poskytovatel AI je nevidí a nemůže je použít k trénování svého modelu.
Odpovědi s odkazem na zdroj
Lokální AI odpovídá z vašich dokumentů a ke každé odpovědi připojí odkaz na konkrétní dokument. Když v nich oporu nenajde, řekne to.
Náklady nerostou s počtem dotazů
U AI na vlastním serveru tvoří rozpočet hardware a jeho provoz, takže se dá spočítat dopředu i u systému, který lidé používají celý den.
Nezávislost na poskytovateli
Kód i infrastruktura patří vám. Lokální model se dá vyměnit za novější bez přepisování celého systému a provoz může převzít vaše IT nebo jiný dodavatel.
Co lokální AI ve firmě dělá
AI pro firmy bez cloudu řeší stejné úlohy jako cloudová AI, jen veškeré zpracování probíhá na vašem hardwaru. Nejčastěji jde o tyto situace:
- odpovědi na dotazy nad smlouvami, směrnicemi a interními postupy s odkazem na konkrétní dokument,
- vyhledávání v technické dokumentaci a návodech podle popisu problému,
- práce s citlivými dokumenty, třeba výtah ze smlouvy nebo porovnání dvou verzí,
- přepis a shrnutí porad a hovorů bez odesílání nahrávek mimo firmu,
- příprava odpovědí pro klienty z interní znalostní báze, které před odesláním kontroluje člověk.
Kdy lokální AI a kdy stačí evropský cloud
Lokální AI pro firmy, často označovanou jako on-premise AI, doporučuji tam, kde obsah dokumentů nesmí opustit firemní síť ze zákona, kvůli GDPR, ze smlouvy s klienty nebo podle interní bezpečnostní politiky. Typicky jde o advokátní a daňové kanceláře, finanční služby, zdravotnictví, výzkum a výrobu s technickou dokumentací.
Pokud takové omezení nemáte, bývá rychlejší a levnější začít v evropském cloudu se smluvně vyloučeným trénováním na vašich datech. Velké cloudové modely jsou u složitějších dotazů zatím obvykle přesnější než lokální LLM, které se vejdou na menší firemní server, a proto obě varianty porovnávám na vašich vlastních dotazech dřív, než se rozhodnete.
Často se vyplatí i kombinace, kdy vyhledávání v dokumentech běží lokálně a do cloudu odchází jen pseudonymizovaný dotaz. Rozdíly mezi variantami podrobně popisuji v článku Lokální AI: jaký hardware potřebujete a kdy žádný.
Co všechno musí běžet uvnitř firmy
Aby obsah dokumentů opravdu zůstal uvnitř, musí ve vaší síti běžet všechny části lokální AI:
- zpracování dokumentů včetně převodu naskenovaných smluv na text,
- vyhledávání v dokumentech a jeho databáze,
- jazykový model a server, na kterém běží,
- přihlašování a oprávnění, aby každý dostal odpověď jen z dokumentů, ke kterým má přístup,
- záznamy o tom, kdo se na co ptal a z jakých zdrojů dostal odpověď,
- aktualizace, zálohy a sledování provozu.
U každé součásti ověřuji, jestli sama nekomunikuje ven. Některé knihovny pro práci s AI ve výchozím nastavení odesílají údaje o používání a je potřeba to vypnout. Na firewallu se pak povolí jen spojení, která systém opravdu potřebuje, a zbytek odchozí komunikace se zakáže a zaznamenává.
Na jakém hardwaru lokální AI poběží
Velikost serveru se odvíjí od toho, kolik lidí se bude ptát najednou a jak náročné dotazy řeší. Pro menší pilot stačí výkonný počítač s dostatkem paměti pro lokální model, pro provoz celé firmy počítám se serverem s grafickými kartami.
Na vlastním stroji, Mac mini s 24 GB sdílené paměti, provozuji lokální LLM s otevřenými vahami o 27 miliardách parametrů, který ve zmenšené podobě zabere kolem 16,5 GB. Na testování a menší provoz to stačí, pro desítky lidí najednou už počítám s jinou kategorií hardwaru. Konkrétní server doporučuji až po analýze, abyste nekupovali výkon, který nevyužijete.
Bezpečnost modelů a aktualizací
Modely stahuji jen od ověřených vydavatelů a ve formátech, které při načtení nespouštějí cizí kód (safetensors a GGUF). Kontroluji jejich kontrolní součet a sleduji bezpečnostní opravy programů, které model načítají.
Novou verzi modelu nebo serveru nasazuji nejdřív do testovací instance a pouštím na ni stejnou sadu otázek jako na verzi předchozí. Do provozu jde, až když odpovídá stejně dobře nebo lépe. U AI v uzavřené síti bez internetu se aktualizace přenášejí jako ověřený balíček.
Jak probíhá zavedení lokální AI
Týden 1
Analýza
Projdu s vámi dokumenty, citlivá místa a otázky, na které má systém odpovídat. Výstupem je návrh architektury, doporučení hardwaru a rozpočet.
Týden 2–6
Pilot na vašem hardwaru
Zprovozním systém nad vybranou částí dokumentů. Vaši lidé se začnou ptát a já každý týden ladím podle toho, co se ukáže.
Týden 7–10
Měření kvality a bezpečnost
Sestavíme sadu skutečných dotazů se správnými odpověďmi a měříme, jak systém odpovídá. Doplním oprávnění, záznamy o dotazech a kontrolu odchozí komunikace.
Týden 11–14
Nasazení
Spuštění pro všechny uživatele a předání dokumentace a provozních postupů vašemu IT.
Provoz
Aktualizace a rozvoj
Pokud chcete, starám se o aktualizace modelů, měření kvality a připojení dalších zdrojů.
Cena lokální AI pro firmy
Cenu stanovuji jako fixní za dohodnutý rozsah. Hardware se kupuje zvlášť a zůstává vám.
| Typ | Cena |
|---|---|
| Strategický audit a roadmapa | od 50 000 Kč |
| Pilotní projekt (MVP) | od 250 000 Kč |
| Plná implementace na míru | od 700 000 Kč |
| Provoz, aktualizace a rozvoj | od 20 000 Kč / měsíc |
Reference
„S Danem jsem pracoval na interním AI nástroji pro redakce. Vyniká výjimečným produktovým citem, umí porozumět potřebám uživatelů a převést je do přesného zadání. Jeho proaktivní přístup a smysl pro detail měly trvalý dopad na produktivitu týmu.“
„Dan má vynikající přehled stran AI světa a zároveň tolik potřebný technický background. Tím se zásadně liší od těch, kteří o AI dokážou jen mluvit po konferencích. Dan je velký dříč.“
Časté otázky
Je lokální model stejně dobrý jako ChatGPT?
U odpovědí z vašich dokumentů je podle mé zkušenosti rozdíl menší, než se čeká, protože model pracuje s textem, který systém našel, a nemusí odpověď skládat z vlastních znalostí. U složitějších úvah, delších textů a úloh, kde je potřeba kombinovat hodně informací, jsou velké cloudové modely zatím přesnější. Roli hraje i čeština, protože ne každý model s otevřenými vahami v ní píše stejně dobře. Výběr modelu proto porovnávám na vašich vlastních dotazech a podle výsledku se rozhodujeme, jestli lokální model stačí, nebo se vyplatí kombinace s evropským cloudem.
Jak lokální AI pomáhá s GDPR?
Když lokální model i vyhledávání běží na vašem hardwaru, osobní údaje se nepředávají externímu poskytovateli AI. Odpadá tak jedna smlouva o zpracování osobních údajů i otázka přenosu dat mimo EU, kterou u cloudových služeb musí firma řešit. Ostatní povinnosti ale platí dál, třeba kdo smí k datům přistupovat, jak dlouho se uchovávají dotazy a odpovědi nebo jak se vyřizují žádosti lidí o jejich údaje. Systém proto navrhuji tak, aby tohle zvládal, a podrobnosti řeším s vaším pověřencem nebo právníkem.
Může lokální AI běžet offline, úplně bez internetu?
Ano. Všechny součásti pak běží v uzavřené síti, včetně zpracování dokumentů, vyhledávání a modelu, a systém nepotřebuje žádné spojení ven. Aktualizace modelů a programů se do sítě přenášejí jako ověřené balíčky, které nejdřív vyzkouším v testovací instanci. Provoz je náročnější na plánování aktualizací a podporu, proto takovou variantu doporučuji tam, kde ji vyžaduje bezpečnostní politika nebo smlouva s klienty. Jinde obvykle stačí síť, ze které systém smí ven jen na několik povolených adres.
Jaký hardware budeme pro AI na vlastním serveru potřebovat a kolik stojí?
Záleží na počtu lidí, kteří se budou ptát současně, na velikosti modelu a na tom, jak náročné dotazy řeší. Pro pilot a menší tým stačí výkonný počítač s dostatkem paměti, pro provoz celé firmy se počítá se serverem s grafickými kartami. Konkrétní doporučení a rozpočet na hardware dostanete po analýze, kdy už vím, s jakými dokumenty a dotazy budete pracovat. Orientační přehled najdete v článku Lokální AI: jaký hardware potřebujete a kdy žádný.
Můžeme začít v cloudu a přejít na lokální AI později?
Ano, a u firem, které si chtějí přínos nejdřív ověřit, je to rozumná cesta. Architekturu stavím tak, aby nebyla svázaná s jedním poskytovatelem modelu, takže zpracování dokumentů, vyhledávání i rozhraní zůstávají stejné. Přechod pak znamená hlavně pořízení hardwaru, výměnu modelu a nové měření kvality na vašich dotazech, abyste věděli, jestli lokální model odpovídá stejně dobře.
Kdo se o systém stará po spuštění?
Provoz může převzít vaše IT. Dostane dokumentaci, provozní postupy a předání, při kterém spolu projdeme aktualizace, zálohy a řešení nejčastějších potíží. Pokud chcete, starám se o aktualizace modelů, měření kvality a připojování dalších zdrojů v rámci měsíčního provozu. Kód i infrastruktura zůstávají vaše, takže se můžete kdykoli rozhodnout jinak.
Články k tématu
Rozdíly mezi lokální AI a cloudem, cenu i provoz popisuji podrobně v seriálu na blogu.
Seriál Zabezpečený firemní AI chatbot
- Zabezpečený firemní AI chatbot: Kompletní průvodce
- 1) Vaši zaměstnanci posílají firemní know-how do USA. A vy o tom nevíte
- 2) Co obnáší vývoj vlastního AI chatbota a kolik stojí
- 3) Lokální AI: jaký hardware potřebujete a kdy žádný
- 4) AI nad firemními dokumenty: jak vypadá běžný den
- 5) Návratnost v číslech
Další články o lokální AI
Související služby: Zabezpečená AI pro citlivá data · RAG systém na míru · AI nad firemními daty · Firemní AI chatbot
Pojďme se podívat na vaše data
Napište mi pár vět o tom, jaké dokumenty máte a proč nesmí opustit vaši síť. Ozvu se a domluvíme úvodní schůzku.