Bezpečnosť AI Agentov a OWASP

Čo znamená bezpečnosť AI Agentov podľa OWASP

Bezpečnosť AI Agentov podľa OWASP opisuje systematické zabezpečenie autonómnych AI Agentov proti hrozbám, ktoré vznikajú z ich schopnosti samostatne plánovať, volať Tools, zapisovať do perzistentnej pamäte a konať – s minimálnym postupným ľudským schválením. Zatiaľ čo klasický chatbot prevažne odpovedá (Prompt dovnútra, Completion von, prípadne uzemnený cez RAG), agenty plánujú, usudzujú, vyberajú Tools, zapisujú pamäť a konajú. Tento posun v úrovni abstrakcie rozširuje útočnú plochu pozdĺž troch osí: autonómia (viacstupňové plány, sebamodifikácia kontextu a pamäte), používanie Tools (súborový systém, API, databázové konektory, code sandboxy, MCP servery, A2A protokolové peers) a perzistencia (dlhožijúce Memory-Stores, vektorové databázy, reťazce dôvery agent-agentovi).

OWASP to vlastnou formuláciou projektu GenAI Security Project (Sotiropoulos et al., 9. december 2025) zhŕňa takto: Agentic systémy dedia všetky LLM riziká a zavádzajú úplne nové triedy zraniteľností, ktoré vznikajú z autonómie, integrácie Tools, Multi-Agent koordinácie a perzistentného stavu. Pre rozhodovateľov v regióne DACH je centrálnym poznatkom: Kto číta výlučne LLM Top 10, systematicky podceňuje agentic riziko.

Dva smerodajné zoznamy OWASP

Projekt OWASP GenAI Security Project (genai.owasp.org) publikuje rodinu prekrývajúcich sa AI-Security artefaktov. Dva z nich sú pre agentov centrálne:

• OWASP Top 10 pre LLM aplikácie 2025 (LLM01:2025 – LLM10:2025). Adresuje riziká modelu a aplikácie v každej GenAI/LLM aplikácii – konverzačnej, RAG-založenej, Copilot-podobnej alebo agentickej. Toto je referencia, ktorú väčšina DACH security tímov už pozná.
• OWASP Top 10 for Agentic Applications 2026 (ASI01 – ASI10). Zverejnená 9. decembra 2025 tou istou iniciatívou (Agentic Security Initiative) s viac ako 100 prispievateľmi a Expert Review Board (o. i. NIST, Alan Turing Institute, Microsoft AI Red Team, AWS/CoSAI, Zenity). Toto je chrbtová kosť modelovania hrozieb špecifických pre agentov.

Dôležitá poznámka k taxonómii: Kanonický zoznam z decembra 2025 sa líši od skoršieho pracovného návrhu OWASP („Agentic AI Threats and Mitigations v1.0", február 2025, často citovaný ako „15 agentic threats"). Mnohé články praktikov zo začiatku/polovice roka 2025 ešte používajú toto návrhové číslovanie (napr. „Memory Poisoning ako ASI01"). Toto patrí k historickým návrhom, nie k finálnemu Top 10. Staré kategórie sa dnes mapujú do konsolidovaného zoznamu – Memory Poisoning sedí pod ASI06, HITL-Bypass pod ASI09.

ASI01–ASI10 v prehľade

Desať kanonických agentic hrozieb a ich primárne kontrolné kategórie (kanonické OWASP názvy ponechané ako vlastné mená):

Logika amplifikácie je rozhodujúca: Podľa DeepTeam mapovania platí ASI01 = LLM01 (Prompt Injection) × LLM06 (Excessive Agency) – len s viacstupňovým vykonaním, ktoré znásobuje škodu nad rámec jedinej odpovede. ASI07, ASI08 a ASI10 nemajú vôbec žiadny analóg v LLM Top 10.

Prompt Injection a Agent Goal Hijack (ASI01)

Pri ASI01 útočník manipuluje ciele, výber úloh alebo rozhodovacie cesty agenta – cez priamu Prompt Injection alebo nepriamo cez skryté inštrukcie v dokumentoch, RAG-korpuse, e-mailoch, kalendárových pozvánkach, PR-popisoch alebo Tool-výstupoch. Jadro: Agenty a podkladový model nedokážu spoľahlivo rozlíšiť inštrukcie od dát – každý text, ktorý agent prečíta, je súčasťou útočnej plochy.

Zdokumentovaným zlomovým bodom je EchoLeak (CVE-2025-32711, CVSS 9.3), odhalený Aim Labs v júni 2025 v Microsoft 365 Copilot – prvá reálne zdokumentovaná Zero-Click Prompt Injection v produkčnom systéme. Jediný pripravený e-mail obišiel Microsoftov XPIA-klasifikátor, cez povolený Teams-proxy exfiltroval najcitlivejšie obsahy z Copilot-kontextu – bez akéhokoľvek kliknutia používateľa (Aim Labs zaviedol pojem „LLM Scope Violation"; technická hĺbka: arXiv 2509.10540, Reddy et al., sep. 2025). Microsoft patchoval na strane servera. Ďalšie prípady: GitHub Copilot YOLO Mode (CVE-2025-53773) a CamoLeak v GitHub Copilot Chat (CVSS 9.6), ktorý cez CSP-bypass prostredníctvom vlastného Camo-Image-proxy GitHubu odčerpával súkromné repository-secrets znak po znaku. Akademickým pôvodom disciplíny je Greshake et al. (arXiv 2302.12173, 2023) o nepriamej Prompt Injection.

Vzťah k DACH: Banking-Customer-Service agent, ktorý číta zdieľanú mailbox, môže byť „ďakovným" e-mailom so skrytými inštrukciami prinútený v ďalšej odpovedi odhaliť výňatky transakcií iných zákazníkov.

Zneužitie Tools (ASI02) a Excessive Agency

ASI02 sa subtílne líši od zneužitia privilégií: Prístup je legitímny, použitie ním nie je. Agent operuje v rámci autorizovaných práv, no legitímny Tool používa nebezpečne – maže dáta, nadmerne volá nákladné API, vykonáva deštruktívne operácie. Excessive Agency (LLM06:2025) – udelenie nepreverenej moci konať bez dostatočného obmedzenia Scope alebo ľudského dohľadu – je koncepčný most a stojí priamo pred ASI02, ASI03 a ASI10.

Zdokumentované: Pri Amazon Q Code Assistant (CVE-2025-8217, júl 2025) útočníci kompromitovali GitHub-token a prepašovali deštruktívne Prompts do VS-Code-extension v1.84.0, ktorá by s --trust-all-tools --no-interactive mohla mazať súborové systémy a cloudové zdroje bez potvrdenia – túto extension malo nainštalovaných približne 1 milión vývojárov. Protiopatrenia: Least-Privilege na každý Tool, validácia schémy každého Tool-argumentu, Allow-/Deny-Lists na rolu agenta, deaktivácia Auto-Approve („YOLO" módy) pre všetko, čo sa dotýka DB, platieb, komunikácie alebo deploymentu, ako aj Cost-Caps s Circuit Breakermi.

Memory & Context Poisoning (ASI06)

Na rozdiel od chatbotov, ktoré medzi sessions zabúdajú, agenty si držia perzistentnú pamäť – históriu konverzácie, preferencie, naučený kontext, RAG-Stores. To vytvára perzistentné útočné plochy: Jediná úspešná injection otrávi pamäť natrvalo, payload beží neobmedzene ďalej, každá budúca session dedí kompromitáciu.

Doložené: Google-Gemini-Memory-útok (feb. 2025, Johann Rehberger) demonštroval „delayed tool invocation" – nahraný dokument prikázal Gemini pri budúcich trigger slovách ukladať falošné informácie. Štúdia Gemini-Calendar-Invite-Poisoning („Targeted Promptware Attacks", 2025) ohodnotila 73 % zo 14 testovaných scenárov ako High–Critical. Lakera research (nov. 2025) zdokumentoval správanie typu „Sleeper-Agent": kompromitované agenty si vyvinuli perzistentné falošné presvedčenia o bezpečnostných pravidlách a obhajovali ich voči ľuďom. Protiopatrenia: zaobchádzať s Memory-Writes ako s bezpečnostne citlivými, Provenance-metadáta (zdroj, časová pečiatka, Ingestion-cesta, Confidence) pre každý záznam, izolácia Per-Tenant, pravidelné Memory-audity a postupy mazania v súlade s GDPR čl. 17 (právo na výmaz).

Protiopatrenia a Human-in-the-Loop (ASI09)

Agenty vytvárajú vyleštený, autoritatívne znejúci výstup – ľudia majú tendenciu mu dôverovať. ASI09 (Human-Agent Trust Exploitation) robí napadnuteľnou práve túto vrstvu dôvery: Automation Bias, deferencia voči autorite a „Polished Hallucination" vedú k tomu, že ľudskí schvaľovatelia odporúčania prepúšťajú. Vrstva dohľadu, ktorá je mienená ako bezpečnostná kontrola, sa stáva zraniteľnosťou. V zdokumentovanom „Manufacturing procurement cascade" (2025) bol Procurement agent počas troch týždňov postupne presvedčený, že jeho autorizačný limit je 500 000 USD – následne útočník umiestnil 5 mil. USD vo falošných objednávkach.

Účinné HITL-Gates vyžadujú nezávislé overenie dôkazov, nielen odporúčania agenta: odstupňované schválenia (vyšší dosah → viac schvaľovateľov/silnejšie dôkazy), UI-vzory, ktoré aktívne zviditeľňujú Reasoning, Source-Provenance a Confidence (žiadne obyčajné tlačidlo „Approve"), ako aj periodické „Test-Injections" na overenie, či HITL reálne funguje (požiarne cvičenie). Toto sa priamo zhoduje s EU AI Act čl. 14 (ľudský dohľad).

Naprieč všetkým platí princíp Defense-in-Depth: Žiadny jednotlivý Guardrail nie je Silver Bullet. EchoLeak obišiel Microsoftov XPIA-klasifikátor; každý zverejnený Guardrail (Bedrock Guardrails, Google Model Armor, Gemini Safety) bol do niekoľkých mesiacov obídený kompetentnými výskumníkmi. Potrebných je viacero komplementárnych vrstiev: Input-Filter (napr. Llama Guard 4, NVIDIA NeMo Guardrails, Microsoft Prompt Shield, Lakera Guard) + Scope-/Provenance-Enforcement + Output-Filter + Behavioural Monitoring. Guardrails typicky vytvárajú 100–500 ms latencie na rail a v viacjazyčných DACH kontextoch (DE/FR/IT/EN-Code-Switching) majú zvýšené miery False-Positive – tvrdenia dodávateľov ako „blokuje 99,x % Prompt Injections" treba až do nezávislej Red-Team verifikácie považovať za marketing.

Zaradenie do DACH-Compliance (informatívne, nie právne poradenstvo)

Nasledujúce poznámky sú informatívne a nenahrádzajú právne poradenstvo. Zoznamy OWASP nie sú certifikácia – „OWASP-compliant" nie je spoľahlivé tvrdenie dodávateľa; poskytovatelia môžu odporúčania OWASP implementovať, nie byť „compliant". Mapujú sa však čisto na DACH-Compliance rámec:

• EU AI Act čl. 15 (presnosť, robustnosť, kybernetická bezpečnosť) pokrýva vysokorizikové systémy široko, je však technologicky neutrálny; nepriama injection, NHI-špecifiká a Multi-Agent-Cascades ešte nie sú v štandarde kodifikované a zostávajú zodpovednosťou deployera.
• GDPR čl. 32 (technické a organizačné opatrenia): Väčšina ASI hrozieb sa dotýka dôvernosti, integrity, dostupnosti a odolnosti – ASI06 napríklad čl. 5(1)(d) správnosť a čl. 17 výmaz.
• ISO/IEC 42001:2023 (Annex A, 38 kontrol cez 9 cieľov) dodáva referenčné kontroly, o. i. A.6.2.4 (V&V), A.6.2.6 (Operation/Monitoring) a A.6.2.8 (Logging).
• NIS2 / DORA: Pre podstatné/dôležité subjekty vyžaduje NIS2 čl. 21(2) o. i. bezpečnosť Supply-Chain (→ ASI04) a kontrolu prístupu (→ ASI03); DORA čl. 28–30 reguluje ICT-riziko tretích strán – priamo relevantné pre MCP-/Agent-Supply-Chains vo finančnom sektore.

DACH-dohľad: Orientačná pomôcka BaFin (18. dec. 2025) a Dohľadové oznámenie FINMA 08/2024 sú obe nezáväzné, no v auditoch citeľne posúvajú dôkazné bremeno; obe odporúčajú o. i. Adversarial Penetration Tests resp. scenárovo založené cyber-cvičenia. BSI vyvíja vyhradené kritériá AI-Agent-Security; správa o stave BSI 2025 uvádza, že len približne 10 % nemeckých organizácií používa AI defenzívne, zatiaľ čo útočníci ju už robia zbraňovo spôsobilou. Pre ATX-relevantných čitateľov treba podotknúť: rakúska FMA k máju 2026 ešte nezverejnila porovnateľnú formálnu AI-Guidance – túto medzeru treba explicitne označiť.

Výhľad a praktická poznámka

OWASP Agentic Top 10 je verzia 1.0 (9. december 2025) a bude sa pravdepodobne ďalej rozvíjať minimálne raz ročne – čitatelia by si mali genai.owasp.org uložiť do záložiek namiesto toho, aby zoznam považovali za statický. Tri triezve praktické poznámky: Po prvé, MITRE ATLAS ako Adversary-Playbook zaostáva za agentickou frontovou líniou o 6–12 mesiacov, najmä pri ASI07, ASI08 a ASI10. Po druhé, detekcia v produkčných Agent-deploymentoch je ešte slabá – väčšina Observability-Stacks bola postavená pre klasické aplikácie a nedodáva anomálie Reasoning-Trace, porušenia Memory-Write-Provenance ani signály Behavioural-Drift; záver „nevidíme to v SIEM, takže sa to nedeje" je nebezpečne nesprávny. Po tretie, „AI Red-Teaming" sa nerovná klasickému pentestu (iné skills, iné Tools ako Garak/PyRIT/DeepTeam, pravdepodobnostné namiesto binárnych nálezov).

Pre DACH deployerov je pragmatický vstup: založiť OWASP Agentic Top 10 ako register rizík, mapovať proti ISO 42001 a EU AI Act čl. 15, zaobchádzať s každým agentom ako so samostatnou Non-Human Identity s krátkožijúcimi credentials, zaviesť Defense-in-Depth Guardrails, zabezpečiť deštruktívne operácie reálnym HITL a pripraviť Kill-Switch pre izoláciu Rogue-Agentov. Operatívna hĺbka k Prompt Injection, Red-Teaming, Observability a implementácii ISO-42001 patrí do príslušných sesterských tém tohto Security-clustera.