AI-Agent-Infrastruktur aufbauen

Was AI-Agent-Infrastruktur ist, und warum sie über Erfolg oder Scheitern entscheidet

AI-Agent-Infrastruktur ist die Summe aller technischen und organisatorischen Bausteine, auf denen produktive AI-Agenten laufen: die Bereitstellungstopologie (wo und unter welcher Rechtshoheit der Agent betrieben wird), der Inferenz- und Orchestrierungs-Stack, die Netzwerk- und Identitätsschicht, Monitoring/Observability sowie die Kosten- und Security-Steuerung. Anders als ein einfacher Chatbot ist ein Agent ein mehrstufiges, werkzeugnutzendes System, das East-West-Traffic zwischen Orchestrator, Tool-Servern, Memory- und Vektor-Store erzeugt und damit ganz andere Anforderungen an Netzwerk, Identität und Beobachtbarkeit stellt.

Für DACH-Entscheider ist die Infrastruktur der Punkt, an dem über Datensouveränität, Latenz und Compliance entschieden wird. Eine begriffliche Klarstellung vorweg, weil sie die häufigste Verwechslung in DACH-Projekten ist: Data Residency bezeichnet den physischen Speicher-/Verarbeitungsort, Data Sovereignty die rechtliche Jurisdiktion einschließlich extraterritorialer Reichweite (etwa des US CLOUD Act von 2018). Eine „Frankfurt-Region" eines US-Hyperscalers liefert Residency, nicht Sovereignty. In der DACH-Mittelstandssprache meint „On-Prem" zudem meist nicht den eigenen Serverraum, sondern eine dedizierte Umgebung in einem deutschen/österreichischen/schweizerischen carrier-neutralen Colocation-Rechenzentrum.

Cloud vs. On-Prem vs. Hybrid: die EU-souveräne Topologie-Frage

Die Topologie ergibt sich selten aus einer einzigen Option, die meisten Produktiv-Stacks umspannen mindestens zwei. Fünf Treiber bestimmen die Wahl, grob in dieser Gewichtung: Datensensibilität/Regulierungsklasse, Latenz-SLO, Souveränitätsanforderung, Kostenvorhersehbarkeit und vorhandenes In-House-Plattform-Know-how.

Der EU-souveräne Markt ist 2025/2026 deutlich gereift. Microsoft hat die EU Data Boundary am 26. Februar 2025 abgeschlossen und sich verpflichtet, die End-to-End-AI-Datenverarbeitung für EU-Kunden innerhalb dieser Grenze zu halten, sofern der Kunde nichts anderes bestimmt. AWS hat seine European Sovereign Cloud im Januar 2026 mit der ersten Region in Brandenburg allgemein verfügbar gemacht (angekündigt 2023, 7,8 Mrd. EUR Investition, betrieben von Gesellschaften nach deutschem Recht mit einem EU-Bürger als Geschäftsführer; zum Start laut AWS-Whitepaper vom September 2025 rund 90 von über 240 Diensten).

Daneben steht eine eigenständige DACH-native Kategorie, die in generischer englischsprachiger Enterprise-AI-Literatur meist fehlt: STACKIT (Schwarz Digits, mit Rechenzentrum auch in Österreich; 11 Mrd. EUR für einen AI-DC-Ausbau angekündigt, Ziel bis zu 100.000 GPUs), Open Telekom Cloud / T Cloud Public (Deutsche Telekom/T-Systems, „Sovereignty by Design", gemeinsam mit NVIDIA die Munich Industrial AI Cloud mit bis zu 10.000 Blackwell-GPUs ab Q1 2026), IONOS (AI Model Hub mit Teuken-7B und Llama 3.3, erste Legal AI Factory mit Noxtua), Swisscom (Swiss AI Platform, Deployment-Partner für das offene Schweizer LLM Apertus) und Infomaniak (vollständig schweizerisch kontrolliert, FADP- und DSGVO-konform). T-Systems hat öffentlich zugesagt, die Feature-Lücke zu den Hyperscalern bis Ende 2026 zu schließen. Das ist eine Roadmap-Zusage, kein heutiger Ist-Zustand.

Das dominante DACH-Muster bleibt Hybrid: Sensible Dokumente, Embeddings und Vector-Store bleiben on-prem oder in der Sovereign Cloud, nur der Generierungsschritt ruft eine Hyperscaler-API auf, oft über einen egress-kontrollierten Proxy. Ergänzend etablieren sich Confidential-Computing-Muster (Modell in der EU-Region, Kunde hält die Schlüssel via HYOK) und Cloud-Bursting für Spitzenlasten zu GPU-Spezialisten.

Orchestrierung und Inferenz-Stack

Der Inferenz-Stack ist die volatilste Schicht. Ein deutliches Branchensignal: Hugging Face hat TGI am 11. Dezember 2025 in den Maintenance-Modus versetzt und verweist Neu-Deployments auf vLLM oder SGLang. Für selbst-gehostete Produktion ist vLLM (PagedAttention, breiteste Hardware-Unterstützung, OpenAI-kompatible Endpunkte) 2026 der De-facto-Standard; SGLang punktet bei Multi-Turn-Chat und strukturierter Ausgabe. NVIDIA NIM, vorgefertigte, optimierte Microservices, portabel über Cloud, Rechenzentrum und RTX-Workstations, gilt als pragmatischster On-Prem-Pfad im DACH-Mittelstand.

Über der Inferenz-Engine hat sich das AI-Gateway als eigene Architekturkomponente etabliert. Es übernimmt Multi-Provider-Failover, virtuelle Schlüssel, Team-Budgets, Observability, Guardrails und PII-Redaktion. Praktische Shortlist: LiteLLM (Open Source, selbst-gehostet, OpenAI-kompatibel für 100+ Provider, ideal, wenn Audit-Hoheit zählt), Portkey (managed und on-prem, starke Observability und Governance) und Kong AI Gateway (wenn Kong ohnehin Standard ist). Auf der Orchestrierungsebene reicht die Spanne von Frameworks wie LangGraph, CrewAI und AutoGen bis zu Vendor-Stacks wie Microsoft Foundry Agents oder der souveränen Pharia-Plattform von Aleph Alpha. Die Fusion von Aleph Alpha mit Cohere wurde im April 2026 angekündigt und im September 2026 unterzeichnet (berichtete Bewertung rund 20 Mrd. USD). Der Abschluss steht noch unter dem Vorbehalt behördlicher Genehmigungen.

Architektonisch zentral ist die Latenz. Bei co-lokalisierter Inferenz liegt die Netzlatenz im einstelligen Millisekundenbereich. Ein transatlantischer Aufruf (Frankfurt-Agent zu einer US-Ost-API) addiert allein für die Netzstrecke rund 90 ms Round-Trip-Zeit (RTT), wie Ping-Messungen zwischen Frankfurt und Washington zeigen. Bei fünf Tool-Call-Runden kommen so rund 450 ms reine Netzzeit zusammen, bevor die Rechenzeit der Modellaufrufe überhaupt hinzukommt. Das macht sub-sekündliche Agent-UX mit transatlantischen API-Calls schwer.

Monitoring und Observability

Agentic Workloads sind ohne Observability nicht produktiv steuerbar. Erforderlich sind Trace-Standards (OpenTelemetry für LLMs, OpenInference), Token-genaue Kostenattribution sowie Eval-Harnesses. DACH-residency-konforme Backends sind verfügbar: Langfuse self-hosted in der EU, Datadog EU oder Honeycomb EU. Für einen ersten Testbetrieb per Docker Compose empfiehlt Langfuse eine einzelne VM mit mindestens 4 Kernen und 16 GiB Arbeitsspeicher; Hochverfügbarkeit und Backups fehlen in diesem Setup. Kostenseitig liegt Observability typischerweise bei 2–8 % der Gesamt-TCO, von praktisch null (Helicone-Free, self-hosted Langfuse) bis zu 5.000–50.000 EUR/Monat für Datadog LLM Observability auf Konzern-Niveau.

Zwei Punkte sind regulatorisch relevant (zur Information, keine Rechtsberatung): Erstens verlangt der EU AI Act für als Hochrisiko klassifizierte Systeme nach Art. 12 ein Event-Logging von Eingaben, Ausgaben und Entscheidungen mit prüffähiger Granularität, was bei Konzern-Implementierungen eine eigene Logging- und Speicherinfrastruktur erfordert. Zweitens sollten Modellversionen gepinnt und mit dokumentiertem Rollback-Plan versehen werden, da Managed-APIs ihre Versionen nach Anbieter-Zeitplan ändern.

Kosten, FinOps und Token-Ökonomie

2026 ist das erste Jahr, in dem AI-Agent-Workloads echte FinOps-Disziplin verlangen. Zwei Strukturbrüche treffen zusammen: Agentic Workflows vervielfachen den Token-Verbrauch pro Anfrage um das 5- bis 50-Fache (Planner, Tool-Call, Kritik, Revision, Verifikation), und die Preisleiter hat sich gespalten, die Einstiegsklasse (Haiku/Mini/Flash) ist seit 2023 um das 10- bis 100-Fache gefallen, während die Frontier-Klasse bei rund 5/25–30 USD je Million Tokens verharrt. Die Folge: Der Listenpreis korreliert nicht mehr mit der Monatsrechnung, die Lücke zwischen Vendor-List-Price und Produktiv-TCO beträgt typisch das 2- bis 10-Fache.

Entscheidend ist: Die API-Token sind bei Skalierung meist weniger als die Hälfte der Gesamt-TCO. Direkte Modellkosten machen 30–50 % aus, dazu kommen Tool-Use-Kaskaden (+50 % bis +200 % auf die direkte API-Linie), Sub-Agent-Fan-out (3- bis 10-facher Multiplikator), Compute/Sandbox (10–25 %), Vektor-DB/Embedding (5–15 %), Observability (2–8 %), Compliance/Governance (5–20 %) und Operations-Labour (10–30 %).

Die wirksamsten Hebel liegen unterhalb der API-Linie:

• Caching ist der größte Einzelhebel. Anthropic gibt 90 % Rabatt auf Cache-Reads (Cached Input bei Sonnet 4.6: 0,30 statt 3,00 USD/M), OpenAI rechnet Cached Input mit 10 % des Basispreises. Bei 80 % Cache-Hit-Rate sinken die Input-Kosten um 70–80 %.
• Model-Routing: günstiges Modell für einfache, teures nur für komplexe Aufgaben. Anthropics Advisor-Tool-Benchmark (Sonnet + Opus-Advisor) erreichte 74,8 % auf SWE-bench Multilingual bei 11,9 % geringeren Kosten als Opus solo.
• Batch-API: pauschal 50 % Rabatt bei 24-Stunden-SLA, stapelbar mit Caching.
• Open-Weight-Fallback für Long-Tail-Workloads (DeepSeek V4 Flash, Mistral Ministral, Qwen 3). DSGVO-konform nur über EU-gehostete Wege (Together AI EU, DeepInfra Frankfurt, STACKIT/OVHcloud), nicht über China-gehostete Direkt-APIs.

Gestapelt liefert ein gut instrumentiertes FinOps-Programm 60–80 % Kostenreduktion gegenüber dem unoptimierten Ausgangswert. Die DACH-Realität verteuert zusätzlich: EU-Regionen verlangen bei OpenAI und Anthropic 10 % Uplift, souveränes Hosting kostet rund das 1,5- bis 3-Fache des US-Cloud-Preises (SAP Joule AI Units ca. 1,5–2x), und Compliance-Ops plus Mitbestimmung treiben die Gesamt-TCO gegenüber einem vergleichbaren US-Workload um 15–35 % nach oben. Pro Vendor fallen 5.000–20.000 EUR/Jahr laufende AVV-/Sub-Processor-Kosten an. Eine Bitkom-Umfrage von 2025 untermauert den Souveränitätsdruck: 68 % halten Deutschland bei KI für zu abhängig von den USA und China, 60 % wollen, dass Deutschland unabhängiger von US-KI-Unternehmen wird.

Security und Identität

Identitäts- und Schlüsselverwaltung ist der Hebel, der aus einer nicht-souveränen Hyperscaler-Region etwas unter DACH-Compliance Verteidigbares macht (zur Information, keine Rechtsberatung; die detaillierte DSGVO-/AVV-Behandlung gehört in die Schwesterthemen). Die Architektur-Baseline:

• mTLS zwischen allen Agent-Komponenten, auch typischer Nachweis in BSI-C5- und ISO-27001-Audits.
• OIDC/SAML-Föderation für Enterprise-SSO (Entra ID, Okta, KeyCloak); der Agent tauscht das Nutzer-Token gegen kurzlebige Tokens für Tool-Calls.
• Workload Identity (Azure Managed Identity, AWS IRSA, GCP Workload Identity Federation, in Sovereign Clouds OpenStack Keystone / K8s-Service-Accounts), keine statischen Credentials im Code.
• KMS/HSM mit BYOK/HYOK: Bei BYOK betreibt der Provider den Schlüssel weiter; bei HYOK ruft die Cloud den kundeneigenen HSM (Utimaco/Aachen, Thales) für jede Krypto-Operation auf. Unter den Modellen der Schlüsselverwaltung bietet HYOK damit die stärkste Souveränität.

Ein Agent hat einen ungewöhnlich hohen Blast Radius, weil er viele Tools aufrufen kann. Best Practice: ein Service-Account je (Agent x Tool)-Paar (nicht ein geteiltes Konto), Just-in-Time-Elevation, alle Credentials aus Vault oder KMS statt aus Umgebungsvariablen, und ein Audit-Trail, der über eine Token-Exchange-Kette an die Nutzeridentität zurückbindet. Netzwerkseitig hat sich deny-by-default Egress mit expliziter Allowlist der Modell-API-FQDNs durchgesetzt, es verhindert ungewollte Datenabflüsse, liefert Audit-Evidenz und zwingt allen Modell-Traffic durch das Gateway, wo Rate-Limits, PII-Filter und Budgets sitzen.

DACH-Compliance-Hinweise und Ausblick

Mehrere DACH-spezifische Regeln treiben reale Architekturentscheidungen (zur Information, keine Rechtsberatung): Seit dem 1. Juli 2025 ist die BSI-C5-Type-2-Attestierung für die Cloud-Verarbeitung von Patientendaten verpflichtend (DigiG / § 393 SGB V). Die Schweiz folgt nicht der DSGVO, sondern FADP/revDSG (in Kraft seit 1. September 2023). Laut der im November 2025 veröffentlichten Resolution von privatim, der Konferenz der schweizerischen Datenschutzbeauftragten, dürfen öffentliche Organe besonders schützenswerte Personendaten nur dann in SaaS-Lösungen großer internationaler Anbieter auslagern, wenn sie die Daten selbst verschlüsseln und der Anbieter keinen Zugang zum Schlüssel hat. Der EU AI Act gilt gestaffelt (Zeitplan der EU-Kommission): Verbote ab Februar 2025, GPAI-Regeln ab August 2025, Transparenzpflichten nach Art. 50 ab 2. August 2026. Die Hochrisiko-Pflichten hat der AI-Omnibus, in Kraft seit 27. Juli 2026, verschoben: auf den 2. Dezember 2027 für Systeme nach Anhang III und auf den 2. August 2028 für KI-Systeme in Produkten, die unter die Rechtsakte nach Anhang I fallen (etwa Aufzüge oder Spielzeug). Welche Pflichten greifen, hängt von deiner Rolle (Anbieter oder Betreiber) und der Einstufung des Systems ab.

Praxis-Hinweis: Beginne nicht mit der Beschaffungsfrage „Cloud oder On-Prem?", sondern mit der Datenklassifizierung und dem Latenz-SLO, diese determinieren die Topologie. Baue das AI-Gateway, deny-by-default Egress und Eval-getriebene Modellwahl von Tag eins ein, denn genau diese „Pilot-Lücken" brechen typischerweise beim Produktivstart. Für den Mittelstand ist ein M365-verankerter Hybrid mit EU-Datenzone und kleiner On-Prem-RAG-Schicht der pragmatische Default; für regulierte Branchen führt der Weg über STACKIT/Open Telekom Cloud mit HYOK und souveräner Inferenz. Da sich Sovereign-Cloud-Roadmaps quartalsweise verschieben, sollte jede Architekturentscheidung mit einem Datumsstempel („Stand: ...") und einem dokumentierten Migrations-Trigger versehen werden.