Interní AI chatbot v privátním cloudu: co má obsahovat bezpečné řešení

Interní AI chatbot v privátním cloudu, druhý díl seriálu Firemní AI nad vlastními daty

Když firma poptává interní AI v cloudu, často dostane nabídku se slovy privátní cloud a data v EU. Zní to bezpečně, ale majitel se z toho nedozví, kde jeho dokumenty a dotazy zaměstnanců ve skutečnosti leží, co ho evropská varianta stojí a jestli ji vůbec potřebuje.

Vítejte u druhého dílu seriálu Firemní AI nad vlastními daty. Dnes projdu, čím se liší Azure, Google Cloud a Amazon, kde by měla která data ležet, kdy je evropský cloud zbytečný, jak funguje zabezpečení v cloudu a co po vás chce AI Act.

Azure, Google Cloud, nebo Amazon

Všechny tři jsou americké firmy a nabízejí v základu stejné služby: servery, databáze, úložiště a AI platformu, přes kterou se volají jazykové modely (u Microsoftu se jmenuje Foundry, u Googlu Gemini Enterprise Agent Platform, dříve Vertex AI, a u Amazonu Bedrock). Liší se hlavně velikostí a tím, v čem jsou silné.

Slovo privátní v nabídkách přitom obvykle znamená vlastní účet firmy ve veřejném cloudu, oddělený od ostatních zákazníků. Servery vyhrazené jen pro jednu firmu za ním většinou nestojí.

  • Amazon (AWS). Největší cloud na světě a na trhu je nejdéle, od roku 2006. Ve třetím čtvrtletí 2026 měl podle Synergy Research 26 % trhu (Synergy Research).
  • Microsoft Azure. Druhý s 19 % trhu. Pořídit se dá i přes partnery Microsoftu, u kterých firmy často kupují i ostatní licence.
  • Google Cloud. Třetí s 16 % trhu. Silný je v práci s velkými daty a v AI, pro kterou vyvíjí vlastní modely i vlastní čipy.

Microsoft a Google podle téže zprávy rostou výrazně rychleji než Amazon, který si ale vedení drží.

Jaké modely mají a co u nich znamená Evropa

Každý cloud má svou vlastní rodinu modelů a k ní nabízí modely dalších výrobců. Evropu u všech tří zapíná evropský koncový bod nebo evropská zóna, tedy adresa, přes kterou aplikace model volá a která určuje, kde se dotaz zpracuje. Co přesně ta Evropa znamená, se ale u každého cloudu liší.

  • Microsoft Azure. Doma jsou tu modely GPT od OpenAI a k nim modely dalších výrobců, například Mistral, Meta nebo DeepSeek (modely v Azure). V evropské datové zóně se dotazy zpracují v zemích Evropské unie, ke kterým podle Microsoftu může patřit i Norsko a Švýcarsko (typy nasazení). Modely Claude na Azure jsou také, provozuje je ale sám Anthropic a evropskou zónu zatím nemají (Claude v Azure).
  • Google Cloud. Doma jsou tu modely Gemini, vedle nich Claude a další modely z knihovny Model Garden (Model Garden). Evropský koncový bod drží zpracování jen v členských státech EU, tedy bez Spojeného království a Švýcarska, a běží přes něj i nejnovější modely Claude (datová rezidence). V jednotlivých evropských regionech, třeba v Belgii, bývají jen starší verze modelů. Globální koncový bod žádnou záruku místa zpracování nedává.
  • Amazon (AWS). Doma jsou tu vlastní modely Nova a k nim Claude, modely OpenAI, Mistral, Meta a další (Amazon Bedrock). Evropský profil rozkládá dotazy mezi datová centra ve Frankfurtu, Stockholmu, Miláně, Španělsku, Irsku a Paříži, u některých modelů podle výchozího regionu i v Curychu nebo v Londýně (evropské profily). Globální profil vychází asi o desetinu levněji, dotaz ale může skončit kdekoli na světě (globální profil). Do samostatného evropského cloudu v Německu přibyly první modely v září, a to otevřené modely Gemma (oznámení AWS).

U přímých rozhraní výrobců je to s Evropou složitější. Anthropic ji nenabízí vůbec (dokumentace Anthropicu) a OpenAI jen pro nové projekty se schváleným režimem uchování dat (dokumentace OpenAI).

Když klient potřebuje Evropu, beru proto modely GPT přes Azure, Gemini a Claude přes Google Cloud a Claude případně přes Amazon. Aplikace přitom stavím nejčastěji na Google Cloudu, takže aplikace běží na jednom cloudu a modely na druhém. Dva cloudy v jednom systému jsou běžná věc.

Při výběru cloudu se proto ptám hlavně na to, jestli půjde systém později přestěhovat jinam. Aplikace stavím v kontejnerech a databáze volím takové, které běží u všech tří (PostgreSQL a grafová databáze Neo4j AuraDB), takže se při stěhování nepřepisuje celá aplikace a znovu se nastavuje hlavně provoz kolem ní. Účet u cloudu navíc zakládám na klienta, takže systém i data patří jemu a odejít může i ode mě.

Pomáhá i evropská legislativa. Od 12. ledna 2027 nesmí poskytovatelé cloudu účtovat poplatky za přechod k jinému poskytovateli, včetně přenosu dat, který k přechodu patří (Data Act podle Evropské komise). Google a Amazon přenos dat při odchodu nepočítají už od roku 2024, u Amazonu se o to žádá přes podporu (Google, AWS).

Kde by měla která data ležet

Interní AI se skládá z několika služeb a každá drží jiný kus vašich dat. Z hlediska bezpečnosti je rozděluji takhle:

Část systému Co v ní je Kde by měla ležet
Dokumenty a jejich zpracování Soubory, text převedený ze skenů a vyhledávací index V evropském regionu Google Cloudu nebo Azure
Tabulky Uživatelé, role, nastavení a evidence V evropském regionu Google Cloudu nebo Azure
Konverzace a historie Kdo se na co ptal a co dostal za odpověď V evropském regionu Google Cloudu nebo Azure
Provozní záznamy Chyby, výkon a stopa o tom, co systém dělal V evropském regionu Google Cloudu nebo Azure
Jazykový model Otázka a úryvky dokumentů, ze kterých model skládá odpověď Klidně v USA, ale osobní údaje se před odesláním anonymizují
Know-how a citlivé údaje Výrobní postupy, kalkulace, obchodní tajemství, citlivé osobní údaje Jen lokálně ve firmě, s lokálním modelem
Přihlašování Kdo je kdo a co smí Firemní účty Microsoftu nebo Googlu, případně interní systém firmy
Zdrojový kód Program bez dat firmy GitHub v USA, případně GitLab

Všechno, co se v systému trvale ukládá, tedy dokumenty, tabulky, konverzace i záznamy, dávám do evropského cloudu. Jazykový model může běžet v USA, protože k němu odchází jen otázka a několik úryvků dokumentů a osobní údaje se v nich předtím nahradí zástupnými značkami.

Know-how, které by firmě uškodilo v rukou konkurence, a citlivé osobní údaje do cloudu vůbec neposílám. Na ty patří lokální model přímo ve firmě, o kterém bude příští díl.

Evropu je přitom potřeba nastavit u každé služby zvlášť. Některé služby nemají ve výchozím stavu evropské umístění zaručené, typicky provozní záznamy, které Google Cloud ukládá globálně, takže samotná volba evropského regionu pro aplikaci nestačí. Zdrojový kód může ležet na GitHubu v USA, protože v něm žádná data firmy nejsou.

Kdy je evropský cloud zbytečný

Zpracování výhradně v Evropě u mě chtějí hlavně klienti, kteří to mají ve smlouvě se zřizovatelem nebo se svými zákazníky. Ostatním model v USA nevadí a řešíme jen anonymizaci osobních údajů. Rodná čísla, čísla účtů, telefony a e-maily se před odesláním do modelu nahradí zástupnými značkami. Právně jde o pseudonymizaci, takže GDPR na ta data dál dopadá, do modelu ale jméno ani rodné číslo neodchází.

Ochrana dat podle mě neleží v tom, ve které zemi stojí server, ale v tom, co se do modelu vůbec pošle. Patří k tomu anonymizace osobních údajů, přístupová práva, smlouva se zákazem trénovat na vašich datech a také rozhodnutí, že nejcitlivější podklady se do modelu neposílají vůbec. Umístění modelu v Evropě nic z toho nenahradí.

Evropská varianta přitom něco stojí. Přidělená kapacita modelu v evropské zóně u mě bývala na začátku malá a o navýšení se muselo žádat. Nové modely se do evropských regionů dostávají později, takže se na ně čeká. A záložní model pro případ výpadku musí splňovat stejné podmínky, takže zálohu u jiného poskytovatele, kterou jinak používám, často nastavit nejde. U Amazonu vychází evropská varianta asi o desetinu dráž než globální (dokumentace AWS).

Další náklad je ve vývoji. Programuji s AI nástroji Claude Code a Codex a ani jeden ve výchozím nastavení zpracování v Evropě nezaručuje, Anthropic u svého přímého rozhraní volbu Evropy nenabízí vůbec (dokumentace Anthropicu). Když má klient ve smlouvě, že data neopustí Evropu, nesmí se do těchhle nástrojů dostat ani úryvek dokumentu, ani výpis z databáze.

Kód s nimi psát můžu. Hledat chybu na skutečných datech nebo zkoušet odpovědi nad skutečnými dokumenty ale musím bez nich, a to trvá déle. Nástroje se dají pustit na schválený model v evropském Azure nebo Google Cloudu, jenže to platí klient a vývoj ho tím vyjde dráž.

Evropu proto navrhuji tam, kde ji vyžaduje smlouva, zřizovatel nebo vlastní pravidla firmy. Kde ji nikdo nevyžaduje, vychází mi líp model u poskytovatele s dobrou smlouvou a k němu důkladná anonymizace. A když data nesmí opustit firmu vůbec, je na řadě lokální provoz, o kterém bude příští díl.

Jak funguje zabezpečení v cloudu

O bezpečnost se cloud dělí s vámi. Poskytovatel odpovídá za datová centra, hardware a samotnou službu, kdežto za to, kdo se do vašeho účtu dostane a jak je nastavený, odpovídá firma a její dodavatel (model sdílené odpovědnosti u AWS, u Microsoftu a Googlu to funguje stejně).

V cloudovém účtu klienta proto nastavuji tohle:

  • Přístup do účtu jen pro pár jmenovitých lidí. Každý s dvoufázovým přihlášením a jen s oprávněními, která potřebuje. Cloud zapisuje, kdo v účtu co změnil.
  • Pravidla pro celý účet. Služby jdou založit jen v evropských regionech, úložiště nesmí být veřejně přístupné a k servisním účtům nevznikají trvalé klíče. Když se někdo pokusí něco z toho udělat omylem, cloud ho nepustí.
  • Šifrování. U každé služby hlídám, že má uložená data šifrovaná, protože výchozí nastavení se mezi cloudy i službami liší. Spojení s databází je vždy šifrované. Vlastní šifrovací klíče firmy zapínám jen tam, kde to vyžadují její pravidla, protože jejich správa něco stojí.
  • Hesla a klíče v trezoru. Přístupy k modelům a databázím leží v trezoru cloudu, ne v kódu aplikace.
  • Databáze schovaná za aplikací. Z internetu není vidět a připojit se k ní dá jen vnitřní cestou.
  • Zálohy a ochrana proti smazání. Databáze jde obnovit k libovolnému okamžiku za posledních několik dní a důležité služby nejde smazat jedním kliknutím.
  • Smlouva. S poskytovatelem cloudu i modelů smlouva o zpracování a v ní zákaz trénovat na vašich datech.

Přístupová práva k dokumentům, anonymizace a hlídání toho, co smí AI agent, fungují stejně v cloudu jako na vlastním serveru. O právech k dokumentům jsem psal v prvním dílu.

Co po vás chce AI Act

O AI Actu se hodně mluví, po běžné firmě toho ale zase tolik nechce. U interního chatbota nad dokumenty jde hlavně o to podporovat, aby lidé s AI uměli zacházet (článek 4) a dát jim najevo, že mluví se strojem, pokud to není zřejmé. To platí od 2. srpna 2026 (článek 50).

Povinné testování, dokumentace, lidský dohled a záznamy míří na vysoce rizikové systémy, třeba na hodnocení úvěruschopnosti lidí, a začnou platit od 2. prosince 2027, u AI ve výrobcích, které procházejí certifikací, až od srpna 2028 (článek 113). Interní asistent, který hledá v dokumentech, mezi ně zpravidla nepatří.

Povinnost držet data v Evropě jsem v AI Actu nenašel. Umístění řeší GDPR, a to jen u osobních údajů, které se do země mimo EU smí předat za podmínek kapitoly V. Pro USA dnes platí rozhodnutí Komise z roku 2023, které předání americkým firmám zapsaným v programu umožňuje. Nejsem právník, takže tohle berte jako pohled člověka, který takové systémy staví.

Jako dobrou praxi beru požadavky na vysoce rizikové systémy i tam, kde povinné nejsou. Měřím kvalitu odpovědí, vedu záznamy a důležité kroky nechávám potvrdit člověkem. Klientovi vždy řeknu, co z toho je povinnost a co moje doporučení.

Proč to dřív nikdo neřešil

Firmy mají poštu, smlouvy i účetnictví u amerických poskytovatelů dlouhá léta a málokdo se ptal, ve které zemi ten server stojí. Právní jistota přitom nebyla ani tehdy. Soudní dvůr EU zrušil rozhodnutí Komise, na kterém předávání dat do USA stálo, v roce 2015 a to další v roce 2020.

Americký zákon CLOUD Act z roku 2018 navíc ukládá americkým poskytovatelům cloudových a komunikačních služeb vydat na zákonnou žádost data, která mají pod kontrolou, bez ohledu na to, kde na světě leží (znění zákona). Platí to tedy i pro evropský region amerického poskytovatele.

Myslím si, že změna přišla s tím, co se s daty děje. Uložený soubor leží zašifrovaný na disku a čte se, jen když ho někdo otevře. AI ho při každém dotazu otevře, přečte, spojí s dalšími dokumenty a z výsledku složí odpověď. K tomu se přidal strach, že se na firemních dokumentech bude trénovat model a know-how se objeví u konkurence, což u veřejných chatbotů na osobních účtech není vymyšlená obava (psal jsem o tom v prvním dílu předchozího seriálu).

Hlavní změna je ale podle mě uvnitř firmy. Dokument, který deset let ležel ve složce, kam měl omylem přístup každý, nikdo nenašel. AI ho najde za pár vteřin a ukáže ho komukoli, kdo se zeptá a má k němu přístup (o úklidu oprávnění byl první díl).

U zadání se proto ptám nejdřív na to, co se do modelu pošle a kdo uvidí odpověď, a teprve potom na zemi, ve které model běží.

Chystáte zadání na interní AI chatbot?

Interní AI nad firemními dokumenty navrhuji a stavím na míru, v cloudu i plně lokálně. Co dodávka obnáší, jak probíhá analýza a pro koho se hodí, najdete na samostatné stránce.

Vývoj AI chatbot a AI agentů pro firmu →

Co bude dál

Ve třetím dílu půjde o lokální firemní AI v uzavřené síti, tedy o situaci, kdy obsah podkladů nesmí opustit budovu. Projdu, co všechno musí běžet uvnitř, jak se v takové síti aktualizuje model i software a jak se při převzetí kontroluje, že systém nic neposílá ven.

Rizika veřejných AI nástrojů a volbu mezi cloudem a lokálním provozem jsem rozebíral v seriálu Zabezpečený firemní AI chatbot. Zajímá vás technická stránka? Projděte si seriály Lokální RAG chatbot a Agentní RAG chatbot. Jak vypadá hotové nasazení u klienta, jsem popsal v případové studii interního AI agenta.

Celý seriál: Firemní AI nad vlastními daty: Kompletní průvodce

Všechny díly
1) Firemní AI knowledge base: jak propojit znalosti celé firmy
2) Interní AI chatbot v privátním cloudu: co má obsahovat bezpečné řešení (právě čtete)
3) Lokální firemní AI v uzavřené síti: co musí zůstat uvnitř firmy (připravuje se)
4) Analytický AI systém: odborný report z firemních dat, který schvaluje člověk (připravuje se)
5) Vlastní AI pro studenty: lokální AI tutor nad poznámkami, knihami a přednáškami (připravuje se)
6) Analýza vztahů ve firemních datech: kdy má smysl znalostní graf (připravuje se)
7) Hotová firemní AI, nebo vlastní systém? Rozhodnutí podle vašich dat (připravuje se)
8) Jak otestovat firemní AI před převzetím: zadání pro dodavatele (připravuje se)
9) Jak vybrat dodavatele firemního AI systému a převzít hotové řešení (připravuje se)

Obsah článku

Líbí se Vám obsah?

Odebírejte Newsletter, ať vám nic neunikne.

Ikona usměvavého robota u odběru newsletteru dangottwald.cz

Vývoj AI

Vývoj interních zabezpečených AI systémů.

Sledujte mě na sítích.

Odebírejte Newsletter, ať vám nic neunikne.

Podobné články

AI Act, GDPR a DORA: co musí splnit firemní AI chatbot

AI Act, GDPR a DORA v praxi: co musí splnit firemní AI chatbot a jak jsem to řešil ve čtyřech prostředích

Kolem AI Actu panuje ve firmách zmatek v tom, co je vlastně povinné. U běžného interního nebo veřejného chatbota, který není vysoce rizikový, ukládá nařízení hlavně dvě věci: podporu gramotnosti v oblasti AI a informaci, že člověk mluví se strojem. Testování, protokoly, lidský dohled a kybernetickou bezpečnost předepisuje až u vysoce rizikových systémů. Tenhle text ukazuje na čtyřech různě přísných prostředích, co z čeho plyne a jak jsem to řešil.

Číst více »