RAG on-premise vs. EU cloud: rozhodovacia matica pre možnosti hostingu

RAG on-premise vs. cloud opisuje rozhodnutie o hostingu systému Retrieval-Augmented Generation: pri on-premise (self-hosted) bežia vektorová databáza, embedding model a jazykový model na vlastnom alebo dedikovanom hardvéri s maximálnou kontrolou nad dátami (CapEx). Pri EU cloude využívaš spravované služby v dátových centrách v EÚ s nákladmi podľa spotreby (OpEx) a s rýchlym škálovaním. Správna voľba vyplýva z citlivosti dát, súladu s predpismi, nákladov, latencie a prevádzkového know-how.

• On-premise/self-hosted sa hodí pri vysokej citlivosti dát, prísnych požiadavkách na suverenitu a dostupnom prevádzkovom know-how. Cenou sú CapEx a interná prevádzková záťaž.
• EU cloud sa hodí na rýchle nasadenie, plánovateľné OpEx a elastické škálovanie. Pri amerických poskytovateľoch však treba posúdiť zvyškové riziko vyplývajúce z Cloud Act.
• Hybrid kombinuje oboje: citlivé dáta on-prem, generické workloady v EU cloude. To je štandardná cesta pre koncerny so zmiešanými triedami dát.

Šesť rozhodovacích kritérií

Spoľahlivé rozhodnutie o hostingu pre RAG závisí od šiestich dimenzií, ktoré sa navzájom podmieňujú.

Citlivosť dát

Embeddingy nie sú spoľahlivou ochranou: podľa súčasného názoru embedding dokumentov s osobnými údajmi nie je bezpečnou pseudonymizáciou. Z embeddingov sa dajú pomocou vhodných dekodérov rekonštruovať časti obsahu. Obsah s osobnými údajmi alebo klasifikovaný obsah by sa preto mal považovať za osobné údaje, kým dozorný orgán alebo judikatúra nerozhodnú inak. Čím citlivejší je korpus, tým silnejší je argument pre on-premise alebo aspoň suverénny hosting v EÚ.

Súlad s predpismi (GDPR a odvetvové právo)

Najdôležitejšou výkladovou pomôckou v nemčine je Orientačná pomôcka k systémom RAG nemeckej Konferencie dozorných orgánov pre ochranu údajov (DSK) z októbra 2025. Ako všetky stanoviská DSK nie je právne záväzná, a to ani v Nemecku; úrady v Rakúsku a vo Švajčiarsku neviaže už vôbec. Ukazuje však, ako nemecké dozorné orgány uplatňujú GDPR na RAG. Ako osvedčené opatrenia pre vektorovú databázu uvádza napríklad oddelenie tenantov (klientov) a koncept oprávnení a rolí. Relevantné sú najmä GDPR čl. 5 (zásady ako obmedzenie účelu, minimalizácia údajov, minimalizácia uchovávania), čl. 6 (právny základ, typicky čl. 6 ods. 1 písm. b/f) a čl. 17 (právo na vymazanie; podľa DSK sú záznamy vo vektorovej databáze priamo adresovateľné, a teda sa dajú cielene vymazať).

Pri EU AI Act platí: nariadenie Digital Omnibus o AI, nariadenie (EÚ) 2026/1744, nadobudlo účinnosť 27. júla 2026 a posunulo pravidlá pre vysokorizikové systémy. Podľa harmonogramu Európskej komisie platia pre systémy podľa prílohy III od 2. decembra 2027, pre AI v produktoch podľa prílohy I od 2. augusta 2028. Povinnosti transparentnosti podľa čl. 50 platia od 2. augusta 2026. Poskytovatelia generatívnych systémov, ktoré boli na trhu už predtým, majú na strojovo čitateľné označovanie čas do 2. decembra 2026. Pre RAG ako znalostnú vrstvu vysokorizikového systému sa od týchto termínov uplatňujú kvalita dát (čl. 10), vedenie záznamov (čl. 12) a transparentnosť (čl. 13). Tieto údaje sú informatívne a nepredstavujú právne poradenstvo.

Náklady: CapEx vs. OpEx, tokeny vs. hardvér

EU cloud stojí na prevádzkových nákladoch (OpEx): hlavnými nákladovými položkami sú embedding API, hosting vektorovej databázy, volania LLM a voliteľne reranker. Rádovo podľa rešerše: indexácia približne 0,02-0,13 USD za 1 mil. tokenov, jeden dopyt približne 0,001-0,05 USD podľa modelu; indexácia s Contextual Retrieval pri Anthropicu cca 1,02 USD za 1 mil. tokenov dokumentov s prompt cachingom (stav 2026). On-premise stojí na kapitálových výdavkoch (CapEx): GPU, úložisko, prevádzka. Pri nízkom alebo kolísavom objeme vyhráva cloud; pri vysokom, konštantnom objeme môže byť self-hosted po amortizácii lacnejší.

Škálovanie

Vektorové databázy škálujú cez index. HNSW (Malkov a Yashunin) je štandardný index v Qdrant, Weaviate, Milvus, pgvector, OpenSearch, Elasticsearch a ďalších. Stačí približne do 100 mil. vektorov s dobrým pomerom recall/rýchlosť. Pre veľmi veľké indexy pod tlakom na RAM sa nasadzujú IVF_PQ alebo DiskANN/BBQ. Cloudové služby v EÚ (Qdrant Cloud, Weaviate Cloud) poskytujú elasticitu bez plánovania hardvéru; on-premise vyžaduje dopredu premyslené dimenzovanie GPU a úložiska.

Latencia

Pipeline s hybridným vyhľadávaním a rerankingom sa typicky pohybuje okolo 100-800 ms. On-premise dokáže úplne kontrolovať latenciu a dátové cesty (žiadne prepojenie cez internet na externé API), cloudové služby ponúkajú regióny EÚ s nízkou latenciou; Qdrant a Pinecone sa považujú za riešenia s veľmi nízkou latenciou.

Prevádzková záťaž a know-how

On-premise sústreďuje zodpovednosť interne: ladenie indexu (M, ef_construction, ef_search), reindexácia pri zmene embedding modelu, monitoring a evaluácia. EU cloud presúva časť z toho na poskytovateľa. Bez evaluácie cez RAGAS/TruLens hrozí v oboch modeloch nenápadný pokles kvality.

Rozhodovacia matica: on-premise vs. EU cloud vs. hybrid

Suverénne možnosti z regiónu DACH/EÚ (stav 2026): vektorová databáza Qdrant (Berlín, Apache 2.0) a Weaviate (Amsterdam, BSD-3); framework Haystack/deepset (Berlín); embeddingy Aleph Alpha (Heidelberg, vhodné na on-prem) a jina-embeddings-v3 (Berlín); LLM Mistral (FR/EÚ), Aleph Alpha Pharia a Teuken-7B (OpenGPT-X); hosting STACKIT (skupina Schwarz), IONOS, OVHcloud a Open Telekom Cloud.

Pre self-hosting je prvou voľbou BGE-M3, hoci nejde o európsky model: pochádza z Beijing Academy of Artificial Intelligence (BAAI). Je však pod licenciou MIT a beží úplne na vlastnom hardvéri, takže dáta neopustia firmu. Váhy jina-embeddings-v3 sú naopak pod licenciou CC BY-NC 4.0: na komerčnú prevádzku vo vlastnej firme podľa karty modelu potrebuješ licenciu. Okrem toho Jina AI od októbra 2025 patrí spoločnosti Elastic. Spoločnosť Aleph Alpha v septembri 2026 podpísala zmluvu o fúzii s kanadským poskytovateľom Cohere. Na uzavretie transakcie je ešte potrebný súhlas úradov. Preto si over, ako budú potom upravené hosting a spracovanie dát.

Odporúčanie podľa scenára

MSP

Pre MSP so stredným objemom a bez vlastného ML-Ops tímu je EU cloud väčšinou racionálna voľba: rýchle nasadenie, plánovateľné OpEx, žiadna investícia do hardvéru. Pragmatický stack: Qdrant Cloud alebo Weaviate Cloud v regióne EÚ, viacjazyčný embedding model (napríklad Cohere Embed v4 alebo jina-embeddings-v3) a LLM od poskytovateľa z EÚ, napríklad Mistral. Dôležité zostávajú oddelenie tenantov, ACL filtre a pipeline na mazanie, ktorá cielene odstráni jednotlivé záznamy.

Regulované odvetvie

Zdravotníctvo, finančný sektor, verejná správa alebo obrana s vysoko citlivými alebo klasifikovanými dátami inklinujú k on-premise alebo suverénnemu hostingu. Referenčný bod z rešerše: architektúra secunet x NVIDIA x Haystack pre klasifikované informácie a on-prem nasadenie platformy Aleph Alpha Pharia pre koncerny a verejnú správu. Tu má úplná kontrola nad dátami väčšiu váhu než pohodlie cloudu; citácie zdrojov v odpovedi sú pre regulované odvetvia prakticky nevyhnutné, pretože audítori a dozorné orgány očakávajú dohľadateľnosť.

Koncern

Veľké podniky typicky využívajú hybridný model: citlivé embeddingy s osobnými údajmi on-premise alebo v suverénnom privátnom cloude, generické znalostné workloady (produktová dokumentácia, FAQ) v EU cloude. Známi používatelia Haystacku ako Airbus, Lufthansa Industry Solutions, Infineon alebo LEGO ukazujú, že suverénne frameworky bežia produkčne aj vo veľkých prostrediach. Triedy dát sa oddelia a škálovanie aj kontrola zostávajú zároveň splniteľné.

Praktický príklad s číslami

Stredne veľká firma z regiónu DACH zvažuje interný znalostný systém RAG s 5 mil. tokenov dokumentov a 50 000 dopytmi mesačne.

• Indexácia (jednorazová/inkrementálna): 5 mil. tokenov pri cca 0,02-0,13 USD za 1 mil. tokenov dáva približne 0,10-0,65 USD za jeden úplný reindex. S Contextual Retrieval a prompt cachingom (cca 1,02 USD za 1 mil. tokenov) vyjde úplný kontextualizovaný index na cca 5 USD.
• Dopyty (priebežne): 50 000 dopytov pri cca 0,001-0,05 USD dáva približne 50-2 500 USD mesačne, pričom suma silne závisí od modelu.

V EU cloude z toho vznikajú výlučne OpEx bez vstupnej investície. Pri tomto objeme je to jednoznačne ekonomické. Až pri výrazne vyššom, konštantnom objeme dopytov alebo pri povinnom uchovávaní dát on-prem sa výpočet preklopí v prospech amortizovaného hardvéru. Kvalitatívny ukazovateľ: RAG pipeline je oproti naivným požiadavkám s dlhým kontextom (1 mil. tokenov) približne 30-60x rýchlejšia a približne 1 250x lacnejšia na dopyt (rádovo, stav 2026). To je ďalší argument sprístupňovať znalosti cez RAG namiesto drahých promptov s plným kontextom, nezávisle od hostingu.

Pre agentúry a B2B manažérov s rozhodovacou právomocou

Otázka hostingu nie je čisto IT rozhodnutie, ale páka pre súlad s predpismi a náklady. Agentúry, ktoré budujú riešenia RAG pre klientov v regióne DACH, by mali maticu vyššie používať ako nástroj v úvodnej analýze potrieb: najprv vyjasniť citlivosť dát a odvetvové právo, potom profil nákladov a škálovania, nakoniec prevádzkový model. My v Blck Alpaca posudzujeme pre každý prípad použitia vhodnú kombináciu EU cloudu a suverénnych on-prem stavebných blokov a rovno dodávame architektúru v súlade s GDPR (oddelenie tenantov, pipeline na mazanie, citácie zdrojov). Právne pojmy, čísla článkov a lehoty v tomto texte sú informatívne a nenahrádzajú právne poradenstvo. Konečné právne posúdenie patrí do rúk právnikov špecializovaných na ochranu údajov a na príslušnú oblasť práva.