AI-Agent-Infrastruktur aufbauen

Was AI-Agent-Infrastruktur ist – und warum sie über Erfolg oder Scheitern entscheidet

AI-Agent-Infrastruktur ist die Summe aller technischen und organisatorischen Bausteine, auf denen produktive AI-Agenten laufen: die Bereitstellungstopologie (wo und unter welcher Rechtshoheit der Agent betrieben wird), der Inferenz- und Orchestrierungs-Stack, die Netzwerk- und Identitätsschicht, Monitoring/Observability sowie die Kosten- und Security-Steuerung. Anders als ein einfacher Chatbot ist ein Agent ein mehrstufiges, werkzeugnutzendes System, das East-West-Traffic zwischen Orchestrator, Tool-Servern, Memory- und Vektor-Store erzeugt und damit ganz andere Anforderungen an Netzwerk, Identität und Beobachtbarkeit stellt.

Für DACH-Entscheider ist die Infrastruktur der Punkt, an dem über Datensouveränität, Latenz und Compliance entschieden wird. Eine begriffliche Klarstellung vorweg, weil sie die häufigste Verwechslung in DACH-Projekten ist: Data Residency bezeichnet den physischen Speicher-/Verarbeitungsort, Data Sovereignty die rechtliche Jurisdiktion einschließlich extraterritorialer Reichweite (etwa des US CLOUD Act von 2018). Eine „Frankfurt-Region" eines US-Hyperscalers liefert Residency, nicht Sovereignty. In der DACH-Mittelstandssprache meint „On-Prem" zudem meist nicht den eigenen Serverraum, sondern eine dedizierte Umgebung in einem deutschen/österreichischen/schweizerischen carrier-neutralen Colocation-Rechenzentrum.

Cloud vs. On-Prem vs. Hybrid: die EU-souveräne Topologie-Frage

Die Topologie ergibt sich selten aus einer einzigen Option – die meisten Produktiv-Stacks umspannen mindestens zwei. Fünf Treiber bestimmen die Wahl, grob in dieser Gewichtung: Datensensibilität/Regulierungsklasse, Latenz-SLO, Souveränitätsanforderung, Kostenvorhersehbarkeit und vorhandenes In-House-Plattform-Know-how.

Der EU-souveräne Markt ist 2025/2026 deutlich gereift. Microsoft hat die EU Data Boundary am 26. Februar 2025 abgeschlossen und sich verpflichtet, die End-to-End-AI-Datenverarbeitung für EU-Kunden innerhalb dieser Grenze zu halten, sofern der Kunde nichts anderes bestimmt. AWS startet seine European Sovereign Cloud mit der ersten Region in Brandenburg (Ende 2025 angekündigt, 7,8 Mrd. EUR Investition, betrieben von einer deutschen Rechtseinheit mit EU-Bürger als Geschäftsführer; zum Start rund 90 von über 240 Diensten – AWS-Whitepaper, September 2025).

Daneben steht eine eigenständige DACH-native Kategorie, die in generischer englischsprachiger Enterprise-AI-Literatur meist fehlt: STACKIT (Schwarz Digits, mit Rechenzentrum auch in Österreich; 11 Mrd. EUR für einen AI-DC-Ausbau angekündigt, Ziel bis zu 100.000 GPUs), Open Telekom Cloud / T Cloud Public (Deutsche Telekom/T-Systems, „Sovereignty by Design", gemeinsam mit NVIDIA die Munich Industrial AI Cloud mit bis zu 10.000 Blackwell-GPUs ab Q1 2026), IONOS (AI Model Hub mit Teuken-7B und Llama 3.3, erste Legal AI Factory mit Noxtua), Swisscom (Swiss AI Platform, Deployment-Partner für das offene Schweizer LLM Apertus) und Infomaniak (vollständig schweizerisch kontrolliert, FADP- und DSGVO-konform). T-Systems hat öffentlich zugesagt, die Feature-Lücke zu den Hyperscalern bis Ende 2026 zu schließen – als Roadmap-Zusage, nicht als heutiger Ist-Zustand, zu lesen.

Das dominante DACH-Muster bleibt Hybrid: Sensible Dokumente, Embeddings und Vector-Store bleiben on-prem oder in der Sovereign Cloud, nur der Generierungsschritt ruft eine Hyperscaler-API auf – oft über einen egress-kontrollierten Proxy. Ergänzend etablieren sich Confidential-Computing-Muster (Modell in der EU-Region, Kunde hält die Schlüssel via HYOK) und Cloud-Bursting für Spitzenlasten zu GPU-Spezialisten.

Orchestrierung und Inferenz-Stack

Der Inferenz-Stack ist die volatilste Schicht. Ein deutliches Branchensignal: Hugging Face hat TGI am 11. Dezember 2025 in den Maintenance-Modus versetzt und verweist Neu-Deployments auf vLLM oder SGLang. Für selbst-gehostete Produktion ist vLLM (PagedAttention, breiteste Hardware-Unterstützung, OpenAI-kompatible Endpunkte) 2026 der De-facto-Standard; SGLang punktet bei Multi-Turn-Chat und strukturierter Ausgabe (laut Report rund 29 % höherer Durchsatz auf 7B–8B-Modellen auf H100). NVIDIA NIM – vorgefertigte, optimierte Microservices, portabel über Cloud, Rechenzentrum und RTX-Workstations – gilt als pragmatischster On-Prem-Pfad im DACH-Mittelstand.

Über der Inferenz-Engine hat sich das AI-Gateway als eigene Architekturkomponente etabliert. Es übernimmt Multi-Provider-Failover, virtuelle Schlüssel, Team-Budgets, Observability, Guardrails und PII-Redaktion. Praktische Shortlist: LiteLLM (Open Source, selbst-gehostet, OpenAI-kompatibel für 100+ Provider – ideal, wenn Audit-Hoheit zählt), Portkey (managed und on-prem, starke Observability und Governance) und Kong AI Gateway (wenn Kong ohnehin Standard ist). Auf der Orchestrierungsebene reichen Frameworks wie LangGraph/CrewAI/AutoGen bis zu Vendor-Stacks wie Microsoft Foundry Agents oder der souveränen Pharia-Plattform (Aleph Alpha, seit der im April 2026 berichteten Cohere-Verbindung Teil einer kombinierten Einheit mit ca. 20 Mrd. USD Bewertung; Produktnamen zum Veröffentlichungszeitpunkt prüfen).

Architektonisch zentral ist die Latenz: Co-lokalisierte Inferenz erreicht einstellige Millisekunden, ein transatlantischer Aufruf (Frankfurt-Agent zu einer US-Ost-API) addiert laut Report rund 80–130 ms einfache Wegstrecke. Bei mehreren Tool-Call-Runden multipliziert sich das – für sub-sekündliche Agent-UX sind transatlantische API-Calls nicht praktikabel.

Monitoring und Observability

Agentic Workloads sind ohne Observability nicht produktiv steuerbar. Erforderlich sind Trace-Standards (OpenTelemetry für LLMs, OpenInference), Token-genaue Kostenattribution sowie Eval-Harnesses. DACH-residency-konforme Backends sind verfügbar – Langfuse self-hosted in der EU (laut FinOps-Report bereits auf einem ~50-EUR/Monat-VPS), Datadog EU oder Honeycomb EU. Kostenseitig liegt Observability typischerweise bei 2–8 % der Gesamt-TCO, von praktisch null (Helicone-Free, self-hosted Langfuse) bis zu 5.000–50.000 EUR/Monat für Datadog LLM Observability auf Konzern-Niveau.

Zwei Punkte sind regulatorisch relevant (informational, keine Rechtsberatung): Erstens verlangt der EU AI Act für als Hochrisiko klassifizierte Systeme nach Art. 12 ein Event-Logging von Eingaben, Ausgaben und Entscheidungen mit prüffähiger Granularität – die Infrastrukturkosten dafür beziffert der Report auf 100.000–500.000 EUR Konzern-Implementierung plus laufende Speicherkosten. Zweitens sollten Modellversionen gepinnt und mit dokumentiertem Rollback-Plan versehen werden, da Managed-APIs ihre Versionen nach Anbieter-Zeitplan ändern.

Kosten, FinOps und Token-Ökonomie

2026 ist das erste Jahr, in dem AI-Agent-Workloads echte FinOps-Disziplin verlangen. Zwei Strukturbrüche treffen zusammen: Agentic Workflows vervielfachen den Token-Verbrauch pro Anfrage um das 5- bis 50-Fache (Planner, Tool-Call, Kritik, Revision, Verifikation), und die Preisleiter hat sich gespalten – die Einstiegsklasse (Haiku/Mini/Flash) ist seit 2023 um das 10- bis 100-Fache gefallen, während die Frontier-Klasse bei rund 5/25–30 USD je Million Tokens verharrt. Die Folge: Der Listenpreis korreliert nicht mehr mit der Monatsrechnung – die Lücke zwischen Vendor-List-Price und Produktiv-TCO beträgt typisch das 2- bis 10-Fache.

Entscheidend ist: Die API-Token sind bei Skalierung meist weniger als die Hälfte der Gesamt-TCO. Direkte Modellkosten machen 30–50 % aus, dazu kommen Tool-Use-Kaskaden (+50 % bis +200 % auf die direkte API-Linie), Sub-Agent-Fan-out (3- bis 10-facher Multiplikator), Compute/Sandbox (10–25 %), Vektor-DB/Embedding (5–15 %), Observability (2–8 %), Compliance/Governance (5–20 %) und Operations-Labour (10–30 %).

Die wirksamsten Hebel liegen unterhalb der API-Linie:

• Caching ist der größte Einzelhebel. Anthropic gibt 90 % Rabatt auf Cache-Reads (Cached Input bei Sonnet 4.6: 0,30 statt 3,00 USD/M), OpenAI rechnet Cached Input mit 10 % des Basispreises. Bei 80 % Cache-Hit-Rate sinken die Input-Kosten um 70–80 %.
• Model-Routing: günstiges Modell für einfache, teures nur für komplexe Aufgaben. Anthropics Advisor-Tool-Benchmark (Sonnet + Opus-Advisor) erreichte 74,8 % auf SWE-bench Multilingual bei 11,9 % geringeren Kosten als Opus solo.
• Batch-API: pauschal 50 % Rabatt bei 24-Stunden-SLA, stapelbar mit Caching.
• Open-Weight-Fallback für Long-Tail-Workloads (DeepSeek V4 Flash, Mistral Ministral, Qwen 3) – DSGVO-konform nur über EU-gehostete Wege (Together AI EU, DeepInfra Frankfurt, STACKIT/OVHcloud), nicht über China-gehostete Direkt-APIs.

Gestapelt liefert ein gut instrumentiertes FinOps-Programm 60–80 % Kostenreduktion gegenüber dem unoptimierten Ausgangswert. Die DACH-Realität verteuert zusätzlich: EU-Regionen verlangen bei OpenAI und Anthropic 10 % Uplift, souveränes Hosting kostet rund 1,5- bis 3-fach des US-Cloud-Preises (SAP Joule AI Units ca. 1,5–2x), und Compliance-Ops plus Mitbestimmung treiben die Gesamt-TCO gegenüber einem vergleichbaren US-Workload um 15–35 %. Pro Vendor fallen 5.000–20.000 EUR/Jahr laufende AVV-/Sub-Processor-Kosten an; Bitkom-Zahlen 2026 untermauern den Souveränitätsdruck: 68 % der Deutschen halten Deutschland für zu abhängig von den USA und China bei AI, 60 % wünschen weniger Abhängigkeit von US-AI-Anbietern.

Security und Identität

Identitäts- und Schlüsselverwaltung ist der Hebel, der aus einer nicht-souveränen Hyperscaler-Region etwas unter DACH-Compliance Verteidigbares macht (informational, keine Rechtsberatung; die detaillierte DSGVO-/AVV-Behandlung gehört in die Schwesterthemen). Die Architektur-Baseline:

• mTLS zwischen allen Agent-Komponenten – auch typischer Nachweis in BSI-C5- und ISO-27001-Audits.
• OIDC/SAML-Föderation für Enterprise-SSO (Entra ID, Okta, KeyCloak); der Agent tauscht das Nutzer-Token gegen kurzlebige Tokens für Tool-Calls.
• Workload Identity (Azure Managed Identity, AWS IRSA, GCP Workload Identity Federation, in Sovereign Clouds OpenStack Keystone / K8s-Service-Accounts) – keine statischen Credentials im Code.
• KMS/HSM mit BYOK/HYOK: Bei BYOK betreibt der Provider den Schlüssel weiter; bei HYOK ruft die Cloud den kundeneigenen HSM (Utimaco/Aachen, Thales) für jede Krypto-Operation auf – die stärkste Souveränitätsaussage, die laut Report sowohl rechtliche Prüfung als auch ein BSI-C5-/TISAX-Audit übersteht.

Ein Agent hat einen ungewöhnlich hohen Blast Radius, weil er viele Tools aufrufen kann. Best Practice: ein Service-Account je (Agent x Tool)-Paar (nicht ein geteiltes Konto), Just-in-Time-Elevation, alle Credentials aus Vault oder KMS statt aus Umgebungsvariablen, und ein Audit-Trail, der über eine Token-Exchange-Kette an die Nutzeridentität zurückbindet. Netzwerkseitig hat sich deny-by-default Egress mit expliziter Allowlist der Modell-API-FQDNs durchgesetzt – es verhindert ungewollte Datenabflüsse, liefert Audit-Evidenz und zwingt allen Modell-Traffic durch das Gateway, wo Rate-Limits, PII-Filter und Budgets sitzen.

DACH-Compliance-Hinweise und Ausblick

Mehrere DACH-spezifische Regeln treiben reale Architekturentscheidungen (informational, keine Rechtsberatung): Seit dem 1. Juli 2025 ist die BSI-C5-Type-2-Attestierung für die Cloud-Verarbeitung von Patientendaten verpflichtend (DigiG / § 393 SGB V). Die Schweiz folgt nicht der DSGVO, sondern FADP/revDSG (in Kraft seit 1. September 2023); die im November 2025 berichtete „privatim"-Verschärfung empfiehlt für sensible Daten internationaler SaaS nur mit Ende-zu-Ende-Verschlüsselung und kundeneigenen Schlüsseln. Der EU AI Act läuft gestaffelt aus (Verbote ab Februar 2025, GPAI-Regeln ab August 2025, Hochrisiko ab August 2026); die konkreten Fristen sind anbieter- und einstufungsabhängig zu prüfen und teils noch in Bewegung.

Praxis-Hinweis: Beginnen Sie nicht mit der Beschaffungsfrage „Cloud oder On-Prem?", sondern mit der Datenklassifizierung und dem Latenz-SLO – diese determinieren die Topologie. Bauen Sie das AI-Gateway, deny-by-default Egress und Eval-getriebene Modellwahl von Tag eins ein, denn genau diese „Pilot-Lücken" brechen typischerweise beim Produktivstart. Für den Mittelstand ist ein M365-verankerter Hybrid mit EU-Datenzone und kleiner On-Prem-RAG-Schicht der pragmatische Default; für regulierte Branchen führt der Weg über STACKIT/Open Telekom Cloud mit HYOK und souveräner Inferenz. Da Sovereign-Cloud-Roadmaps quartalsweise verschieben, sollte jede Architekturentscheidung mit einem Datumsstempel („Stand: ...") und einem dokumentierten Migrations-Trigger versehen werden.