AI-Agent-Sicherheit & OWASP

Was AI-Agent-Sicherheit nach OWASP bedeutet

AI-Agent-Sicherheit nach OWASP beschreibt die systematische Absicherung autonomer KI-Agenten gegen Bedrohungen, die aus ihrer Fähigkeit entstehen, eigenständig zu planen, Tools aufzurufen, in persistenten Speicher zu schreiben und zu handeln – mit minimaler schrittweiser menschlicher Freigabe. Während ein klassischer Chatbot überwiegend antwortet (Prompt rein, Completion raus, eventuell per RAG geerdet), planen, schlussfolgern, wählen Tools, schreiben Speicher und agieren Agenten. Diese Verschiebung in der Abstraktionsebene erweitert die Angriffsfläche entlang dreier Achsen: Autonomie (mehrstufige Pläne, Selbstmodifikation von Kontext und Speicher), Tool-Nutzung (Dateisystem, APIs, Datenbank-Connectoren, Code-Sandboxes, MCP-Server, A2A-Protokoll-Peers) und Persistenz (langlebige Memory-Stores, Vektordatenbanken, Agent-zu-Agent-Vertrauensketten).

OWASP fasst dies in der Eigenformulierung des GenAI Security Project (Sotiropoulos et al., 9. Dezember 2025) so: Agentic-Systeme erben sämtliche LLM-Risiken und führen völlig neue Schwachstellenklassen ein, die aus Autonomie, Tool-Integration, Multi-Agent-Koordination und persistentem Zustand entstehen. Für Entscheider in der DACH-Region ist die zentrale Einsicht: Wer ausschließlich die LLM Top 10 liest, unterschätzt das Agentic-Risiko systematisch.

Die zwei maßgeblichen OWASP-Listen

Das OWASP GenAI Security Project (genai.owasp.org) publiziert eine Familie überlappender AI-Security-Artefakte. Zwei davon sind für Agenten zentral:

• OWASP Top 10 für LLM-Anwendungen 2025 (LLM01:2025 – LLM10:2025). Adressiert Modell- und Applikationsrisiken in jeder GenAI-/LLM-Anwendung – konversationell, RAG-basiert, Copilot-artig oder agentisch. Dies ist die Referenz, die die meisten DACH-Security-Teams bereits kennen.
• OWASP Top 10 for Agentic Applications 2026 (ASI01 – ASI10). Am 9. Dezember 2025 von derselben Initiative (Agentic Security Initiative) mit über 100 Mitwirkenden und einem Expert Review Board (u. a. NIST, Alan Turing Institute, Microsoft AI Red Team, AWS/CoSAI, Zenity) veröffentlicht. Dies ist das Rückgrat der agentenspezifischen Bedrohungsmodellierung.

Wichtiger Hinweis zur Taxonomie: Die kanonische Dezember-2025-Liste unterscheidet sich von einem früheren OWASP-Arbeitsentwurf („Agentic AI Threats and Mitigations v1.0", Februar 2025, oft als „15 agentic threats" zitiert). Viele Praktiker-Artikel aus Anfang/Mitte 2025 verwenden noch diese Entwurfsnummerierung (z. B. „Memory Poisoning als ASI01"). Diese gehört zu historischen Entwürfen, nicht zur finalen Top 10. Die alten Kategorien mappen heute in die konsolidierte Liste – Memory Poisoning sitzt unter ASI06, HITL-Bypass unter ASI09.

ASI01–ASI10 im Überblick

Die zehn kanonischen Agentic-Bedrohungen und ihre primären Kontrollkategorien (kanonische OWASP-Titel als Eigennamen belassen):

Die Amplifikationslogik ist entscheidend: Laut DeepTeam-Mapping gilt ASI01 = LLM01 (Prompt Injection) × LLM06 (Excessive Agency) – nur mit mehrstufiger Ausführung, die den Schaden über eine einzelne Antwort hinaus vervielfacht. ASI07, ASI08 und ASI10 haben gar kein LLM-Top-10-Analogon.

Prompt Injection und Agent Goal Hijack (ASI01)

Bei ASI01 manipuliert ein Angreifer die Ziele, Aufgabenauswahl oder Entscheidungspfade eines Agenten – über direkte Prompt Injection oder indirekt über versteckte Anweisungen in Dokumenten, RAG-Korpus, E-Mails, Kalendereinladungen, PR-Beschreibungen oder Tool-Outputs. Der Kern: Agenten und das zugrundeliegende Modell können Instruktionen nicht zuverlässig von Daten unterscheiden – jeder Text, den der Agent liest, ist Teil der Angriffsfläche.

Der dokumentierte Wendepunkt ist EchoLeak (CVE-2025-32711, CVSS 9.3), von Aim Labs im Juni 2025 in Microsoft 365 Copilot offengelegt – die erste real dokumentierte Zero-Click-Prompt-Injection in einem Produktivsystem. Eine einzige präparierte E-Mail umging Microsofts XPIA-Klassifikator, exfiltrierte über einen erlaubten Teams-Proxy die sensibelsten Inhalte aus dem Copilot-Kontext – ohne jeden Nutzerklick (Aim Labs prägte den Begriff „LLM Scope Violation"; technische Tiefe: arXiv 2509.10540, Reddy et al., Sep. 2025). Microsoft patchte serverseitig. Weitere Fälle: GitHub Copilot YOLO Mode (CVE-2025-53773) und CamoLeak in GitHub Copilot Chat (CVSS 9.6), das per CSP-Bypass über GitHubs eigenen Camo-Image-Proxy private Repository-Secrets Zeichen für Zeichen abzog. Der akademische Ursprung der Disziplin ist Greshake et al. (arXiv 2302.12173, 2023) zu indirekter Prompt Injection.

DACH-Bezug: Ein Banking-Customer-Service-Agent, der eine geteilte Mailbox liest, kann durch eine „Danke"-E-Mail mit versteckten Anweisungen dazu gebracht werden, in der nächsten Antwort Transaktionsausschnitte anderer Kund:innen zu offenbaren.

Tool-Missbrauch (ASI02) und Excessive Agency

ASI02 unterscheidet sich subtil von Privilegienmissbrauch: Der Zugriff ist legitim, die Nutzung ist es nicht. Der Agent operiert innerhalb autorisierter Rechte, wendet ein legitimes Tool aber unsicher an – löscht Daten, ruft kostspielige APIs über, führt destruktive Operationen aus. Excessive Agency (LLM06:2025) – das Gewähren ungeprüfter Handlungsmacht ohne ausreichende Scope-Begrenzung oder menschliche Aufsicht – ist die konzeptionelle Brücke und steht direkt vor ASI02, ASI03 und ASI10.

Dokumentiert: Beim Amazon Q Code Assistant (CVE-2025-8217, Juli 2025) kompromittierten Angreifer ein GitHub-Token und schleusten destruktive Prompts in die VS-Code-Extension v1.84.0 ein, die mit --trust-all-tools --no-interactive Dateisysteme und Cloud-Ressourcen ohne Bestätigung hätten löschen können – rund 1 Million Entwickler hatten die Extension installiert. Gegenmaßnahmen: Least-Privilege pro Tool, Schema-Validierung jedes Tool-Arguments, Allow-/Deny-Lists pro Agentenrolle, Deaktivierung von Auto-Approve („YOLO"-Modi) für alles, was DB, Zahlungen, Kommunikation oder Deployment berührt, sowie Cost-Caps mit Circuit Breakern.

Memory & Context Poisoning (ASI06)

Anders als Chatbots, die zwischen Sessions vergessen, halten Agenten persistenten Speicher – Konversationshistorie, Präferenzen, gelernten Kontext, RAG-Stores. Das schafft persistente Angriffsflächen: Eine einzige erfolgreiche Injection vergiftet den Speicher dauerhaft, die Payload läuft unbegrenzt weiter, jede künftige Session erbt die Kompromittierung.

Belegt: Der Google-Gemini-Memory-Angriff (Feb. 2025, Johann Rehberger) demonstrierte „delayed tool invocation" – ein hochgeladenes Dokument wies Gemini an, bei künftigen Trigger-Wörtern Falschinformationen zu speichern. Die Gemini-Calendar-Invite-Poisoning-Studie („Targeted Promptware Attacks", 2025) bewertete 73 % von 14 getesteten Szenarien als High–Critical. Lakera-Research (Nov. 2025) dokumentierte „Sleeper-Agent"-Verhalten: kompromittierte Agenten entwickelten persistente Falschüberzeugungen über Sicherheitsrichtlinien und verteidigten diese gegenüber Menschen. Gegenmaßnahmen: Memory-Writes als sicherheitssensitiv behandeln, Provenance-Metadaten (Quelle, Zeitstempel, Ingestion-Pfad, Confidence) je Eintrag, Per-Tenant-Isolation, regelmäßige Memory-Audits und Löschverfahren konform zu DSGVO Art. 17 (Recht auf Löschung).

Gegenmaßnahmen und Human-in-the-Loop (ASI09)

Agenten erzeugen polierten, autoritativ klingenden Output – Menschen neigen dazu, ihm zu vertrauen. ASI09 (Human-Agent Trust Exploitation) macht genau diese Vertrauensschicht angreifbar: Automation Bias, Autoritäts-Deferenz und „Polished Hallucination" führen dazu, dass menschliche Freigeber Empfehlungen durchwinken. Die Aufsichtsschicht, die als Sicherheitskontrolle gedacht ist, wird zur Schwachstelle. Im dokumentierten „Manufacturing procurement cascade" (2025) wurde ein Procurement-Agent über drei Wochen schrittweise davon überzeugt, sein Autorisierungslimit liege bei 500.000 USD – anschließend platzierte der Angreifer 5 Mio. USD in falschen Bestellungen.

Wirksame HITL-Gates erfordern unabhängige Verifikation der Belege, nicht nur der Agenten-Empfehlung: abgestufte Freigaben (höherer Impact → mehr Approver/stärkere Evidenz), UI-Muster, die Reasoning, Source-Provenance und Confidence aktiv sichtbar machen (kein bloßer „Approve"-Button), sowie periodische „Test-Injections", um zu prüfen, ob HITL real funktioniert (Feuerwehrübung). Dies deckt sich direkt mit EU AI Act Art. 14 (menschliche Aufsicht).

Übergreifend gilt der Defense-in-Depth-Grundsatz: Keine einzelne Guardrail ist ein Silver Bullet. EchoLeak umging Microsofts XPIA-Klassifikator; jede veröffentlichte Guardrail (Bedrock Guardrails, Google Model Armor, Gemini Safety) wurde binnen Monaten von kompetenten Forschern umgangen. Nötig sind mehrere komplementäre Schichten: Input-Filter (z. B. Llama Guard 4, NVIDIA NeMo Guardrails, Microsoft Prompt Shield, Lakera Guard) + Scope-/Provenance-Enforcement + Output-Filter + Behavioural Monitoring. Guardrails erzeugen typischerweise 100–500 ms Latenz pro Rail und haben in mehrsprachigen DACH-Kontexten (DE/FR/IT/EN-Code-Switching) erhöhte False-Positive-Raten – Vendor-Aussagen wie „blockt 99,x % der Prompt Injections" sind bis zu unabhängiger Red-Team-Verifikation als Marketing zu behandeln.

DACH-Compliance-Einordnung (informational, keine Rechtsberatung)

Die folgenden Hinweise sind informativ und ersetzen keine Rechtsberatung. Die OWASP-Listen sind keine Zertifizierung – „OWASP-compliant" ist keine belastbare Vendor-Aussage; Anbieter können OWASP-Empfehlungen umsetzen, nicht „compliant" sein. Sie mappen jedoch sauber auf den DACH-Compliance-Rahmen:

• EU AI Act Art. 15 (Genauigkeit, Robustheit, Cybersicherheit) deckt Hochrisiko-Systeme breit ab, ist aber technologieneutral; indirekte Injection, NHI-Spezifika und Multi-Agent-Cascades sind im Standard noch nicht kodifiziert und bleiben Deployer-Verantwortung.
• DSGVO Art. 32 (technische und organisatorische Maßnahmen): Die meisten ASI-Bedrohungen berühren Vertraulichkeit, Integrität, Verfügbarkeit und Resilienz – ASI06 etwa Art. 5(1)(d) Richtigkeit und Art. 17 Löschung.
• ISO/IEC 42001:2023 (Annex A, 38 Kontrollen über 9 Ziele) liefert die Referenzkontrollen, u. a. A.6.2.4 (V&V), A.6.2.6 (Operation/Monitoring) und A.6.2.8 (Logging).
• NIS2 / DORA: Für wesentliche/wichtige Einrichtungen verlangt NIS2 Art. 21(2) u. a. Supply-Chain-Sicherheit (→ ASI04) und Zugriffskontrolle (→ ASI03); DORA Art. 28–30 regelt ICT-Drittparteienrisiko – direkt relevant für MCP-/Agent-Supply-Chains im Finanzsektor.

DACH-Aufsicht: Die BaFin-Orientierungshilfe (18. Dez. 2025) und die FINMA-Aufsichtsmitteilung 08/2024 sind beide nicht bindend, verschieben aber die Beweislast in Audits spürbar; beide empfehlen u. a. Adversarial Penetration Tests bzw. szenariobasierte Cyber-Übungen. Das BSI entwickelt dedizierte AI-Agent-Security-Kriterien; der BSI-Lagebericht 2025 vermerkt, dass nur rund 10 % der deutschen Organisationen KI defensiv nutzen, während Angreifer sie bereits waffenfähig machen. Für ATX-relevante Leser ist zu beachten: Die österreichische FMA hat per Mai 2026 noch keine vergleichbare formale KI-Guidance veröffentlicht – diese Lücke ist explizit zu kennzeichnen.

Ausblick und Praxis-Hinweis

Die OWASP Agentic Top 10 ist Version 1.0 (9. Dezember 2025) und wird voraussichtlich mindestens jährlich weiterentwickelt – Leser sollten genai.owasp.org bookmarken statt die Liste als statisch zu behandeln. Drei nüchterne Praxis-Hinweise: Erstens lagert MITRE ATLAS als Adversary-Playbook der agentischen Frontlinie um 6–12 Monate hinterher, besonders bei ASI07, ASI08 und ASI10. Zweitens ist die Detektion in produktiven Agent-Deployments noch schwach – die meisten Observability-Stacks wurden für klassische Anwendungen gebaut und liefern keine Reasoning-Trace-Anomalien, Memory-Write-Provenance-Verletzungen oder Behavioural-Drift-Signale; der Schluss „wir sehen das nicht im SIEM, also passiert es nicht" ist gefährlich falsch. Drittens ist „AI Red-Teaming" nicht gleich klassischer Pentest (andere Skills, andere Tools wie Garak/PyRIT/DeepTeam, probabilistische statt binärer Findings).

Für DACH-Deployer ist der pragmatische Einstieg: die OWASP Agentic Top 10 als Risikoregister anlegen, gegen ISO 42001 und EU AI Act Art. 15 mappen, jeden Agenten als eigenständige Non-Human Identity mit kurzlebigen Credentials behandeln, Defense-in-Depth-Guardrails einziehen, destruktive Operationen mit echtem HITL absichern und einen Kill-Switch für Rogue-Agent-Isolation bereithalten. Operative Tiefe zu Prompt Injection, Red-Teaming, Observability und ISO-42001-Umsetzung gehört in die jeweiligen Schwester-Themen dieses Security-Clusters.