Bezpečnosť AI agentov a OWASP

Čo znamená bezpečnosť AI agentov podľa OWASP

Bezpečnosť AI agentov podľa OWASP opisuje systematickú ochranu autonómnych AI agentov pred hrozbami, ktoré vznikajú z ich schopnosti samostatne plánovať, volať nástroje, zapisovať do perzistentnej pamäte a konať, a to s minimálnym schvaľovaním jednotlivých krokov človekom. Zatiaľ čo klasický chatbot prevažne odpovedá (prompt dnu, completion von, prípadne s ukotvením cez RAG), agenti plánujú, uvažujú, vyberajú nástroje, zapisujú do pamäte a konajú. Tento posun úrovne abstrakcie rozširuje útočnú plochu v troch osiach: autonómia (viacstupňové plány, vlastné úpravy kontextu a pamäte), používanie nástrojov (súborový systém, API, databázové konektory, sandboxy na spúšťanie kódu, MCP servery, partneri cez protokol A2A) a perzistencia (dlhodobé úložiská pamäte, vektorové databázy, reťazce dôvery medzi agentmi).

OWASP to vlastnými slovami projektu GenAI Security Project (Sotiropoulos et al., 9. decembra 2025) zhŕňa takto: agentické systémy dedia všetky riziká LLM a zavádzajú úplne nové triedy zraniteľností, ktoré vyplývajú z autonómie, integrácie nástrojov, koordinácie viacerých agentov a perzistentného stavu. Pre osoby s rozhodovacou právomocou v regióne DACH je kľúčový tento poznatok: kto číta iba LLM Top 10, systematicky podceňuje riziko agentických systémov.

Dva smerodajné zoznamy OWASP

Projekt OWASP GenAI Security Project (genai.owasp.org) vydáva skupinu prekrývajúcich sa bezpečnostných materiálov k AI. Dva z nich sú pre agentov kľúčové:

• OWASP Top 10 pre LLM aplikácie 2025 (LLM01:2025 až LLM10:2025). Pokrýva riziká modelov a aplikácií v každej GenAI/LLM aplikácii, či už konverzačnej, založenej na RAG, typu copilot alebo agentickej. Túto referenciu väčšina bezpečnostných tímov v regióne DACH už pozná. Od 3. augusta 2026 existuje vydanie 2026. Excessive Agency je v ňom na 3. mieste (LLM03:2026). Priradenia na tejto stránke sa riadia číslovaním z roku 2025.
• OWASP Top 10 for Agentic Applications 2026 (ASI01 až ASI10). Zverejnila ho 9. decembra 2025 tá istá iniciatíva (Agentic Security Initiative) s viac ako 100 prispievateľmi a odbornou hodnotiacou radou (Expert Review Board; okrem iných NIST, Alan Turing Institute, Microsoft AI Red Team, AWS/CoSAI, Zenity). Tvorí chrbticu modelovania hrozieb špecifických pre agentov.

Dôležitá poznámka k taxonómii: Kanonický zoznam z decembra 2025 sa líši od skoršieho pracovného návrhu OWASP („Agentic AI Threats and Mitigations v1.0“, február 2025, často citovaný ako „15 agentic threats“). Mnohé články z praxe zo začiatku a polovice roka 2025 ešte používajú číslovanie z tohto návrhu (napr. „Memory Poisoning ako ASI01“). To patrí k historickým návrhom, nie k finálnemu Top 10. Staré kategórie sa dnes mapujú do konsolidovaného zoznamu. Memory Poisoning patrí pod ASI06, obchádzanie HITL pod ASI09.

Prehľad ASI01–ASI10

Desať kanonických hrozieb pre agentické systémy a ich primárne kategórie kontrol:

Rozhodujúca je logika zosilnenia: podľa mapovania DeepTeam platí ASI01 = LLM01 (Prompt Injection) × LLM06 (Excessive Agency), len s viacstupňovým vykonávaním, ktoré znásobuje škodu nad rámec jednej odpovede. ASI03, ASI07 a ASI08 nemajú priamy analóg v LLM Top 10, ASI10 súvisí s LLM06:2025 len čiastočne.

Prompt injection a Agent Goal Hijack (ASI01)

Pri ASI01 útočník manipuluje s cieľmi, výberom úloh alebo rozhodovacími cestami agenta, a to priamou prompt injection alebo nepriamo cez skryté pokyny v dokumentoch, korpuse RAG, e-mailoch, pozvánkach v kalendári, popisoch pull requestov alebo výstupoch nástrojov. Jadro problému: agenti a model, na ktorom stoja, nedokážu spoľahlivo rozlíšiť pokyny od dát, takže každý text, ktorý agent prečíta, je súčasťou útočnej plochy.

Zdokumentovaným zlomovým bodom je EchoLeak (CVE-2025-32711, CVSS 9.3), ktorý v júni 2025 odhalila spoločnosť Aim Labs v Microsoft 365 Copilot: prvá reálne zdokumentovaná zero-click prompt injection v produkčnom systéme. Jediný špeciálne upravený e-mail obišiel klasifikátor XPIA od Microsoftu a cez povolený proxy server Teams exfiltroval najcitlivejší obsah z kontextu Copilota, bez jediného kliknutia používateľa (od Aim Labs pochádza pojem „LLM Scope Violation“; technické podrobnosti: arXiv 2509.10540, Reddy et al., sep. 2025). Microsoft chybu opravil na strane servera. Ďalšie prípady: GitHub Copilot YOLO Mode (CVE-2025-53773) a CamoLeak v GitHub Copilot Chat (CVSS 9.6), ktorý cez obídenie CSP pomocou vlastného obrázkového proxy Camo od GitHubu vynášal tajné údaje zo súkromných repozitárov znak po znaku. Akademickým východiskom disciplíny je práca Greshake et al. (arXiv 2302.12173, 2023) o nepriamej prompt injection.

Príklad z regiónu DACH: Agenta zákazníckeho servisu banky, ktorý číta zdieľanú e-mailovú schránku, môže e-mail s „poďakovaním“ a skrytými pokynmi prinútiť, aby v ďalšej odpovedi prezradil výňatky z transakcií iných klientov.

Zneužitie nástrojov (ASI02) a Excessive Agency

ASI02 sa od zneužitia privilégií líši jemne: prístup je legitímny, použitie nie. Agent koná v rámci autorizovaných práv, ale legitímny nástroj používa nebezpečne: maže dáta, príliš často volá drahé API, vykonáva deštruktívne operácie. Excessive Agency (LLM06:2025), teda udelenie nepreverenej moci konať bez dostatočného obmedzenia rozsahu alebo ľudského dohľadu, je koncepčným mostom k ASI02 a čiastočne k ASI10.

Zdokumentované: pri Amazon Q Code Assistant (CVE-2025-8217, júl 2025) útočníci kompromitovali token GitHubu a do rozšírenia pre VS Code vo verzii 1.84.0 prepašovali deštruktívne prompty, ktoré by s --trust-all-tools --no-interactive mohli bez potvrdenia zmazať súborové systémy a cloudové zdroje. Rozšírenie si nainštalovalo približne 1 milión vývojárov. Protiopatrenia: najnižšie potrebné oprávnenia (least privilege) pre každý nástroj, validácia schémy každého argumentu nástroja, allow-listy a deny-listy pre každú rolu agenta, vypnutie automatického schvaľovania (režimy „YOLO“) pre všetko, čo sa dotýka databáz, platieb, komunikácie alebo nasadenia, a limity nákladov s circuit breakermi.

Memory & Context Poisoning (ASI06)

Na rozdiel od chatbotov, ktoré medzi reláciami zabúdajú, si agenti uchovávajú perzistentnú pamäť: históriu konverzácií, preferencie, naučený kontext, úložiská RAG. To vytvára perzistentné útočné plochy: jediná úspešná injekcia natrvalo otrávi pamäť, payload beží ďalej bez obmedzenia a každá budúca relácia zdedí kompromitáciu.

Doložené: útok na pamäť Google Gemini (feb. 2025, Johann Rehberger) demonštroval „delayed tool invocation“: nahraný dokument prikázal Gemini, aby pri budúcich spúšťacích slovách uložil nepravdivé informácie. Štúdia „Invitation Is All You Need!“ (Nassi, Cohen, Yair, august 2025) predviedla 14 scenárov útokov na asistentov založených na Gemini, spúšťaných cez e-maily, pozvánky v kalendári a zdieľané dokumenty. Podľa analýzy rizík autorov predstavuje 73 % analyzovaných hrozieb vysoké až kritické riziko pre používateľov. Bezpečnostné blogy s odvolaním na Lakeru opisujú správanie typu „sleeper agent“: kompromitovaní agenti si podľa nich vytvárajú trvalé nepravdivé presvedčenia o bezpečnostných pravidlách a obhajujú ich voči ľuďom. Protiopatrenia: zápisy do pamäte považovať za bezpečnostne citlivé, metadáta o pôvode (zdroj, časová pečiatka, cesta príjmu dát, miera istoty) pri každom zázname, izolácia jednotlivých tenantov, pravidelné audity pamäte a postupy vymazania v súlade s GDPR čl. 17 (právo na vymazanie).

Protiopatrenia a human-in-the-loop (ASI09)

Agenti vytvárajú uhladený výstup, ktorý znie autoritatívne. Ľudia mu majú sklon dôverovať. ASI09 (Human-Agent Trust Exploitation) robí zraniteľnou práve túto vrstvu dôvery: automation bias, podriaďovanie sa autorite a „polished hallucination“ vedú k tomu, že ľudskí schvaľovatelia odporúčania len odklepnú. Vrstva dohľadu, ktorá má slúžiť ako bezpečnostná kontrola, sa stáva zraniteľnosťou. Dodávatelia bezpečnostných riešení opisujú prípad, ktorý nie je nezávisle overený: nákupného agenta údajne počas troch týždňov presvedčili, že jeho autorizačný limit je 500 000 USD; potom mal útočník zadať falošné objednávky v hodnote 5 mil. USD.

Účinné schvaľovacie brány HITL vyžadujú nezávislé overenie podkladov, nielen odporúčania agenta: odstupňované schvaľovanie (vyšší dopad → viac schvaľovateľov a silnejšie dôkazy), vzory rozhrania, ktoré aktívne zobrazujú uvažovanie, pôvod zdrojov a mieru istoty (žiadne obyčajné tlačidlo „Approve“), a pravidelné „testovacie injekcie“, ktoré overia, či HITL naozaj funguje (ako požiarne cvičenie). To priamo zodpovedá EU AI Act čl. 14 (ľudský dohľad).

Celkovo platí zásada viacvrstvovej obrany (defense-in-depth): žiadny jednotlivý guardrail nie je všeliek. EchoLeak obišiel klasifikátor XPIA od Microsoftu; každý zverejnený guardrail (Bedrock Guardrails, Google Model Armor, Gemini Safety) kompetentní výskumníci do niekoľkých mesiacov obišli. Potrebných je viac vrstiev, ktoré sa navzájom dopĺňajú: vstupný filter (napr. Llama Guard 4, NVIDIA NeMo Guardrails, Microsoft Prompt Shield, Lakera Guard) + vynucovanie rozsahu a pôvodu + výstupný filter + monitorovanie správania. Guardrails zvyčajne pridávajú 100–500 ms latencie na každú vrstvu a vo viacjazyčnom prostredí DACH (striedanie DE/FR/IT/EN) majú vyššiu mieru falošne pozitívnych výsledkov. Tvrdenia dodávateľov typu „blokuje 99,x % prompt injections“ treba až do nezávislého overenia red teamom považovať za marketing.

Compliance v regióne DACH (na informáciu, nie právne poradenstvo)

Zoznamy OWASP nie sú certifikácia a „OWASP-compliant“ nie je spoľahlivé tvrdenie dodávateľa; dodávatelia môžu odporúčania OWASP zaviesť, ale nemôžu byť „compliant“. Zoznamy sa však dajú presne namapovať na regulačný rámec v regióne DACH:

• EU AI Act čl. 15 (presnosť, robustnosť, kybernetická bezpečnosť) pokrýva vysokorizikové systémy široko, je však technologicky neutrálny; nepriama injekcia, špecifiká NHI a kaskády v systémoch s viacerými agentmi v štandarde ešte nie sú kodifikované a zostávajú zodpovednosťou nasadzujúceho subjektu.
• GDPR čl. 32 (technické a organizačné opatrenia): väčšina hrozieb ASI sa dotýka dôvernosti, integrity, dostupnosti a odolnosti. ASI06 sa napríklad dotýka čl. 5 ods. 1 písm. d) (správnosť) a čl. 17 (vymazanie).
• ISO/IEC 42001:2023 (príloha A, 38 opatrení pre 9 cieľov) poskytuje referenčné opatrenia, okrem iných A.6.2.4 (verifikácia a validácia), A.6.2.6 (prevádzka a monitorovanie) a A.6.2.8 (logovanie).
• NIS2 / DORA: pre základné a dôležité subjekty vyžaduje NIS2 čl. 21 ods. 2 okrem iného bezpečnosť dodávateľského reťazca (→ ASI04) a riadenie prístupu (→ ASI03); DORA čl. 28–30 upravuje riziko IKT spojené s tretími stranami, čo je priamo relevantné pre dodávateľské reťazce MCP a agentov vo finančnom sektore.

Dohľad v regióne DACH: orientačná pomôcka BaFin (18. dec. 2025) a oznámenie FINMA o dohľade 08/2024 sú obe nezáväzné, no pri auditoch citeľne presúvajú dôkazné bremeno; obe okrem iného odporúčajú adversariálne penetračné testy, resp. kybernetické cvičenia založené na scenároch. V Rakúsku nasledovala FMA s informačným dokumentom „Nutzung von KI im Finanzsektor“ (v preklade „Využívanie AI vo finančnom sektore“; verzia 1.0, stav k 11. septembru 2026). Ani tento dokument nie je záväzný. Konštatuje, že aplikácie AI už dnes musia spĺňať technologicky neutrálne požiadavky práva finančného trhu vrátane DORA a že konečnú zodpovednosť aj za riziká IKT súvisiace s AI nesie riadiaci orgán. BSI vo svojej správe o stave IT bezpečnosti 2025 označuje nepriamu prompt injection za momentálne najvýznamnejší vektor útoku na systémy LLM a konštatuje, že proti nej neexistuje jediné vysoko účinné opatrenie.

Výhľad a praktická poznámka

OWASP Agentic Top 10 je vo verzii 1.0 (9. decembra 2025) a pravdepodobne bude aspoň raz ročne aktualizovaný. Čitatelia by si mali genai.owasp.org uložiť medzi záložky a nepovažovať zoznam za statický. Tri triezve praktické poznámky: po prvé, MITRE ATLAS ako príručka postupov útočníkov zaostáva za vývojom agentických útokov o 6–12 mesiacov, najmä pri ASI07, ASI08 a ASI10. Po druhé, detekcia v produkčných nasadeniach agentov je stále slabá: väčšina nástrojov na observability vznikla pre klasické aplikácie a nezachytí anomálie v záznamoch uvažovania (reasoning traces), porušenia pravidiel pôvodu pri zápisoch do pamäte ani signály posunu správania; záver „v SIEM to nevidíme, takže sa to nedeje“ je nebezpečne mylný. Po tretie, „AI red teaming“ nie je to isté ako klasický penetračný test (iné zručnosti, iné nástroje ako Garak/PyRIT/DeepTeam, pravdepodobnostné namiesto binárnych zistení).

Pre nasadzujúce subjekty v regióne DACH je pragmatický začiatok takýto: založiť OWASP Agentic Top 10 ako register rizík, namapovať ho na ISO 42001 a EU AI Act čl. 15, s každým agentom zaobchádzať ako so samostatnou neľudskou identitou (Non-Human Identity) s krátkodobými prihlasovacími údajmi, zaviesť viacvrstvové guardrails, zabezpečiť deštruktívne operácie skutočným HITL a mať pripravený kill switch na izoláciu nekontrolovaných agentov (rogue agents). Podrobnosti k prompt injection, red teamingu, monitorovaniu a audit trailom nájdeš v článkoch nižšie.