RAG on-premise vs. EU-Cloud: Entscheidungsmatrix für Hosting-Optionen

RAG on-premise vs. Cloud beschreibt die Hosting-Entscheidung für ein Retrieval-Augmented-Generation-System: Bei on-premise (self-hosted) laufen Vektor-Datenbank, Embedding- und Sprachmodell auf eigener oder dedizierter Hardware mit maximaler Datenkontrolle (CapEx). Bei der EU-Cloud nutzt du verwaltete Dienste in EU-Rechenzentren mit verbrauchsbasierten Kosten (OpEx) und schneller Skalierung. Die richtige Wahl folgt aus Datensensibilität, Compliance, Kosten, Latenz und Betriebs-Know-how.

• On-premise/self-hosted passt bei hoher Datensensibilität, strikten Souveränitätsanforderungen und vorhandenem Betriebs-Know-how. Der Preis sind CapEx und interner Aufwand.
• EU-Cloud passt für schnellen Roll-out, planbare OpEx und elastische Skalierung. Bei US-Anbietern bleibt jedoch ein Cloud-Act-Restrisiko zu bewerten.
• Hybrid kombiniert beides: sensible Daten on-prem, generische Workloads in der EU-Cloud. Das ist der Standardweg für Konzerne mit gemischten Datenklassen.

Die sechs Entscheidungskriterien

Eine belastbare Hosting-Entscheidung für RAG hängt an sechs Dimensionen, die sich gegenseitig bedingen.

Datensensibilität

Embeddings sind kein sicherer Schutz: Nach derzeitiger Auffassung ist das Embedding personenbezogener Dokumente keine sichere Pseudonymisierung. Aus Embeddings lassen sich mit passenden Decodern Bestandteile rekonstruieren. Personenbezogene oder klassifizierte Inhalte sollten daher als personenbezogen behandelt werden, bis Aufsicht oder Rechtsprechung anders entscheiden. Je sensibler der Korpus, desto stärker das Argument für on-premise oder zumindest souveränes EU-Hosting.

Compliance (DSGVO und Branchenrecht)

Die wichtigste deutschsprachige Auslegungshilfe ist die Orientierungshilfe zu RAG-Systemen der deutschen Datenschutzkonferenz (DSK) vom Oktober 2025. Wie alle DSK-Positionen ist sie rechtlich nicht verbindlich, auch in Deutschland nicht, und Behörden in Österreich und der Schweiz bindet sie erst recht nicht. Sie zeigt aber, wie die deutschen Aufsichtsbehörden die DSGVO auf RAG anwenden. Als bewährte Maßnahmen für die Vektordatenbank nennt sie etwa Mandantentrennung und ein Rechte- und Rollenkonzept. Relevant sind insbesondere DSGVO Art. 5 (Grundsätze wie Zweckbindung, Datenminimierung, Speicherbegrenzung), Art. 6 (Rechtsgrundlage, typisch Art. 6 Abs. 1 lit. b/f) und Art. 17 (Recht auf Löschung; laut DSK sind Einträge in der Vektordatenbank direkt adressierbar und damit gezielt löschbar).

Beim EU AI Act gilt: Die Digital-Omnibus-Verordnung zur KI, Verordnung (EU) 2026/1744, ist am 27. Juli 2026 in Kraft getreten und hat die Hochrisiko-Regeln verschoben. Laut Zeitplan der EU-Kommission gelten sie für Systeme nach Anhang III ab 2. Dezember 2027, für KI in Produkten nach Anhang I ab 2. August 2028. Die Transparenzpflichten nach Art. 50 gelten seit 2. August 2026. Anbieter generativer Systeme, die schon vorher auf dem Markt waren, haben für die maschinenlesbare Kennzeichnung bis 2. Dezember 2026 Zeit. Für RAG als Wissens-Layer eines Hochrisiko-Systems greifen ab diesen Terminen Datenqualität (Art. 10), Logging (Art. 12) und Transparenz (Art. 13). Diese Angaben sind informativ und stellen keine Rechtsberatung dar.

Kosten: CapEx vs. OpEx, Token vs. Hardware

EU-Cloud ist OpEx-getrieben: Hauptkostenblöcke sind Embedding-API, Vektor-DB-Hosting, LLM-Calls und optional ein Reranker. Größenordnung laut Research: Indexierung etwa 0,02-0,13 USD pro 1 Mio. Tokens, eine Anfrage etwa 0,001-0,05 USD je nach Modell; Contextual-Retrieval-Indexierung bei Anthropic ca. 1,02 USD pro 1 Mio. Document-Tokens mit Prompt-Caching (Stand 2026). On-premise ist CapEx-getrieben: GPUs, Storage, Betrieb. Bei niedrigem oder schwankendem Volumen gewinnt die Cloud; bei hohem, konstantem Volumen kann self-hosted nach Amortisation günstiger werden.

Skalierung

Vektor-Datenbanken skalieren über den Index. HNSW (Malkov und Yashunin) ist Standard-Index in Qdrant, Weaviate, Milvus, pgvector, OpenSearch, Elasticsearch und weiteren. Er reicht bis etwa 100 Mio. Vektoren mit gutem Recall/Speed-Verhältnis. Für sehr große Indizes unter RAM-Druck kommen IVF_PQ oder DiskANN/BBQ zum Einsatz. EU-Cloud-Dienste (Qdrant Cloud, Weaviate Cloud) liefern Elastizität ohne Hardware-Planung; on-premise erfordert vorausschauendes GPU- und Storage-Sizing.

Latenz

Eine Hybrid-Retrieval- plus Rerank-Pipeline liegt typisch bei rund 100-800 ms. On-premise kann Latenz und Datenpfade vollständig kontrollieren (kein Internet-Hop zu externen APIs), Cloud-Dienste bieten EU-Regionen mit niedrigen Latenzprofilen; Qdrant und Pinecone gelten als sehr niedrig-latent.

Betriebsaufwand und Know-how

On-premise bündelt Verantwortung intern: Index-Tuning (M, ef_construction, ef_search), Re-Indexierung bei Embedding-Modellwechsel, Monitoring und Eval. EU-Cloud verlagert Teile davon zum Anbieter. Ohne RAGAS/TruLens-Evaluation droht in beiden Modellen stille Qualitätsregression.

Entscheidungsmatrix: on-premise vs. EU-Cloud vs. Hybrid

Souveräne DACH-/EU-Optionen (Stand 2026): Vektor-DB Qdrant (Berlin, Apache 2.0) und Weaviate (Amsterdam, BSD-3); Framework Haystack/deepset (Berlin); Embeddings Aleph Alpha (Heidelberg, on-prem-fähig) und jina-embeddings-v3 (Berlin); LLM Mistral (FR/EU), Aleph Alpha Pharia und Teuken-7B (OpenGPT-X); Hosting STACKIT (Schwarz-Gruppe), IONOS, OVHcloud und Open Telekom Cloud.

Für das Self-Hosting ist BGE-M3 die erste Wahl, obwohl es kein europäisches Modell ist: Es stammt von der Beijing Academy of Artificial Intelligence (BAAI). Es steht aber unter MIT-Lizenz und läuft vollständig auf eigener Hardware, die Daten verlassen das Haus also nicht. Die Gewichte von jina-embeddings-v3 stehen dagegen unter CC BY-NC 4.0: Für den kommerziellen Betrieb im eigenen Unternehmen brauchst du laut Modellkarte eine Lizenz. Außerdem gehört Jina AI seit Oktober 2025 zu Elastic. Aleph Alpha hat im September 2026 einen Fusionsvertrag mit dem kanadischen Anbieter Cohere unterzeichnet. Der Abschluss braucht noch die Freigabe der Behörden. Prüfe deshalb, wie Hosting und Datenverarbeitung danach geregelt sind.

Empfehlung je Szenario

KMU

Für KMU mit moderatem Volumen und ohne dediziertes ML-Ops-Team ist die EU-Cloud meist die rationale Wahl: schneller Roll-out, planbare OpEx, keine Hardware-Investition. Pragmatischer Stack: Qdrant Cloud oder Weaviate Cloud in der EU-Region, ein multilinguales Embedding-Modell (etwa Cohere Embed v4 oder jina-embeddings-v3) und ein EU-Anbieter-LLM wie Mistral. Wichtig bleiben Mandantentrennung, ACL-Filter und eine Lösch-Pipeline, die einzelne Einträge gezielt entfernt.

Regulierte Branche

Gesundheitswesen, Finanzbranche, öffentliche Verwaltung oder Verteidigung mit hochsensiblen oder klassifizierten Daten tendieren zu on-premise/sovereign. Referenzpunkt aus der Research: die Architektur secunet x NVIDIA x Haystack für klassifizierte Informationen sowie das On-Prem-Deployment der Aleph-Alpha-Pharia-Plattform für Konzerne und öffentliche Verwaltung. Hier zählt vollständige Datenkontrolle stärker als die Bequemlichkeit der Cloud; Quellen-Zitate in der Antwort sind für regulierte Branchen praktisch unverzichtbar, weil Prüfer und Aufsicht Nachvollziehbarkeit erwarten.

Konzern

Großunternehmen fahren typischerweise hybrid: sensible, personenbezogene Embeddings on-premise oder in einer souveränen Private-Cloud, generische Wissens-Workloads (Produktdoku, FAQ) in der EU-Cloud. Bekannte Haystack-Nutzer wie Airbus, Lufthansa Industry Solutions, Infineon oder LEGO zeigen, dass souveräne Frameworks in großen Umgebungen produktiv laufen. Datenklassen werden getrennt, Skalierung und Kontrolle bleiben gleichzeitig erfüllbar.

Praxisbeispiel mit Zahlen

Ein DACH-Mittelständler erwägt ein internes Wissens-RAG mit 5 Mio. Document-Tokens und 50.000 Anfragen pro Monat.

• Indexierung (einmalig/inkrementell): 5 Mio. Tokens bei ca. 0,02-0,13 USD pro 1 Mio. Tokens ergibt rund 0,10-0,65 USD pro vollem Re-Index. Mit Contextual Retrieval und Prompt-Caching (ca. 1,02 USD pro 1 Mio. Tokens) liegt ein vollständiger kontextualisierter Index bei ca. 5 USD.
• Anfragen (laufend): 50.000 Anfragen bei ca. 0,001-0,05 USD ergeben rund 50-2.500 USD pro Monat, stark modellabhängig.

In der EU-Cloud entstehen daraus reine OpEx ohne Vorabinvestition. Bei diesem Volumen ist das klar wirtschaftlich. Erst bei deutlich höherem, konstantem Anfragevolumen oder bei zwingender on-prem-Datenhaltung kippt die Rechnung zugunsten amortisierter Hardware. Qualitativer Anker: Eine RAG-Pipeline ist gegenüber naiven 1-Mio.-Token-Long-Context-Requests rund 30-60x schneller und etwa 1.250x günstiger pro Query (Größenordnung, Stand 2026). Das ist ein zusätzliches Argument, Wissen über RAG statt über teure Vollkontext-Prompts zu erschließen, unabhängig vom Hosting.

Für Agenturen und B2B-Entscheider

Die Hosting-Frage ist keine reine IT-Entscheidung, sondern ein Compliance- und Kostenhebel. Agenturen, die RAG-Lösungen für DACH-Kunden bauen, sollten die Matrix oben als Discovery-Werkzeug nutzen: Datensensibilität und Branchenrecht zuerst klären, dann Kosten- und Skalierungsprofil, zuletzt Betriebsmodell. Wir bei Blck Alpaca bewerten für jeden Use Case die passende Kombination aus EU-Cloud und souveränen on-prem-Bausteinen und liefern die DSGVO-konforme Architektur (Mandantentrennung, Lösch-Pipeline, Quellen-Zitate) gleich mit. Rechtsbegriffe, Artikelnummern und Fristen in diesem Text sind informativ und ersetzen keine Rechtsberatung. Die endgültige rechtliche Bewertung gehört in die Hand von Datenschutz- und Fachjuristen.