Preskočiť na obsah
16.4Pokročilý7 min

Tool Misuse a Excessive Agency: Keď agenti AI smú priveľa

Blck Alpaca·
Definition

Excessive Agency označuje príliš široko definovanú autonómiu, oprávnenie alebo funkcionalitu agenta AI – dokáže urobiť viac, než je pre jeho úlohu potrebné. Tool Misuse je zneužívajúce nasadenie legitímnych nástrojov: prístup je autorizovaný, použitie nie. Oboje vedie k nechceným akciám, úniku dát a nekontrolovaným nákladom.

Key Takeaways

  • Excessive Agency (v OWASP-LLM-Top-10 vedené ako LLM06:2025) je koncepčný most k OWASP Agentic Top 10 2026 a stojí priamo pred agentskými rizikami ASI02 (Tool Misuse), ASI03 (zneužitie privilégií) a ASI10 (Rogue Agents).
  • Tool Misuse (ASI02) znamená: agent koná v rámci svojich oprávnení, no legitímny nástroj používa nebezpečne – napríklad maže dáta, nadmerne volá spoplatnené API alebo rozosiela e-maily ako phishing.
  • Zdokumentované incidenty ako Amazon Q (CVE-2025-8217, júl 2025) ukazujú potenciál škôd: deštruktívne prompty s '--trust-all-tools --no-interactive' by boli zmazali súborové systémy a cloudové zdroje bez potvrdenia – pri približne 1 milióne inštalácií.
  • Najúčinnejšími protiopatreniami sú Least-Privilege na každom nástroji, scope-obmedzené a krátkožijúce tokeny, Human-in-the-Loop brány pre deštruktívne akcie, ako aj tvrdé limity rýchlosti a nákladov s circuit-breakermi.
  • Najčastejšou chybou pri nasadení v stredne veľkých firmách regiónu DACH je podľa výskumu prevádzkovať agenta 'aby to fungovalo' pod servisným účtom s právami ekvivalentnými administrátorovi.
  • Režimy Auto-Approve, resp. 'YOLO', ktoré deaktivujú potvrdzovacie prompty, sú zásadným multiplikátorom rizika a mali by byť vypnuté pre každý nástroj s prístupom k DB, platbám, komunikácii alebo deploymentu.

Excessive Agency označuje príliš široko definovanú autonómiu, oprávnenie alebo funkcionalitu agenta AI – dokáže urobiť viac, než je pre jeho úlohu potrebné. Tool Misuse je zneužívajúce nasadenie legitímnych nástrojov: prístup je autorizovaný, použitie nie. Oboje vedie k nechceným akciám, úniku dát a nekontrolovaným nákladom. V systematike OWASP tvorí Excessive Agency zátvorku, pod ktorou sa Tool Misuse materializuje ako konkrétne agentské riziko.

  • Rýchla odpoveď 1: Excessive Agency je príčina (priveľa autonómie/práv), Tool Misuse je následok (legitímny nástroj sa použije nebezpečne alebo na nesprávny účel).
  • Rýchla odpoveď 2: OWASP vedie túto tému v LLM Top 10 2025 ako LLM06:2025 a v Agentic Top 10 2026 ako ASI02 (Tool Misuse & Exploitation), zverejnené 9. decembra 2025.
  • Rýchla odpoveď 3: Hlavnými protiopatreniami sú Least-Privilege, scope-obmedzené krátkožijúce tokeny, ľudské schválenie pre kritické akcie a tvrdé limity rýchlosti, resp. nákladov.

Prečo je „smieť priveľa“ vlastným problémom agentov

Klasické LLM-aplikácie odpovedajú: prompt vstúpi, completion vyjde. Agentské systémy plánujú, vyberajú nástroje, zapisujú do pamäte a konajú – s minimálnym krokovým ľudským schválením. Práve tento skok od „odpovedať“ k „konať“ robí z otázky oprávnení centrálnu bezpečnostnú otázku.

OWASP to v LLM Top 10 2025 zhŕňa pod LLM06:2025 Excessive Agency: poskytovanie nepreverenej akčnej autonómie LLM pri nedostatočnom obmedzení oprávnení alebo ľudskom dohľade. Tento záznam bol v roku 2025 výslovne rozšírený na agentské architektúry a je – podľa výskumu – najväčším koncepčným mostom, ktorý si rozhodujúce osoby musia osvojiť. Excessive Agency stojí priamo pred viacerými agentskými rizikami OWASP Top 10 pre Agentic Applications 2026, menovite ASI02 (Tool Misuse), ASI03 (Identity & Privilege Abuse) a ASI10 (Rogue Agents).

Excessive Agency vzniká typicky na troch úrovniach:

  • Priveľa oprávnení – agent zdedí príliš široké práva od používateľa alebo servisného účtu, pod ktorým beží.
  • Priveľa funkcionality – agentovi sú k dispozícii nástroje, ktoré jeho úloha vôbec nevyžaduje (napríklad nástroj na mazanie alebo platby pri čisto čítacom use-case).
  • Priveľa autonómie – kritické akcie bežia bez potvrdenia, napríklad cez aktivované režimy Auto-Approve alebo „YOLO“.

Tool Misuse (ASI02): legitímny prístup, nelegitímne použitie

Opis ASI02 od OWASP je presný: agent operuje v rámci svojich autorizovaných privilégií, no legitímny nástroj aplikuje nebezpečným alebo nezamýšľaným spôsobom – maže cenné dáta, nadmerne volá drahé API, vykonáva deštruktívne operácie alebo vynáša informácie. Vymedzenie voči ASI03 je dôležité: prístup je legitímny, použitie nie.

Typické útočné a chybové vektory podľa výskumu:

  • Prompt Injection, ktorá nástroj zneužije na iný účel – napríklad send_email, ktorý sa zrazu použije na phishing celej zákazníckej bázy.
  • Nesprávne zarovnanie medzi interpretáciou úlohy agentom a zámerom vývojára.
  • Nebezpečné delegovanie – agent odovzdá mocný nástroj sub-agentovi bez kontextuálnych ochranných mechanizmov.
  • Režimy Auto-Approve/„YOLO“, ktoré deaktivujú potvrdzovacie prompty.

Riziká konkrétne: akcie, dáta, náklady

Tri rozmery škôd možno jasne rozdeliť:

Rozmer rizika

Čo sa stane

Príkladové spúšťače

Nechcené akcie

Deštruktívne operácie (DELETE, DROP, rm -rf, prevod), setpointy mimo bezpečnostných hraníc, hromadné blokácie

Zneužitý nástroj, deaktivovaný Auto-Approve, nesprávne zarovnaná interpretácia úlohy

Únik dát

Exfiltrácia zákazníckych, zamestnaneckých alebo obchodných dát cez legitímne kanály

Manipulovaný webový obsah, kompromitovaná reťaz nástrojov, nebezpečné delegovanie na sub-agentov

Náklady („denial-of-wallet“)

Explózia nákladov na tokeny a API cez nadmerne invokované alebo rekurzívne plány

Búrky opakovaní (retry), neobmedzené viacstupňové plány, chýbajúce budget-cap-y

Rozmer nákladov je vo svete agentov mimoriadne citlivý: OWASP ho vedie v LLM Top 10 ako LLM10:2025 Unbounded Consumption („denial-of-wallet“). Podľa výskumu viacstupňové plány násobia spotrebu tokenov, a preto je vynucovanie rozpočtu na plán nevyhnutné.

Zdokumentované incidenty (stav 2026)

Výskum uvádza viacero doložených prípadov, ktoré podčiarkujú potenciál škôd:

  • Amazon Q Code Assistant (CVE-2025-8217, júl 2025): Útočníci kompromitovali GitHub-token a prepašovali škodlivé inštrukcie do VS-Code-rozšírenia v1.84.0. Deštruktívne prompty v kombinácii s --trust-all-tools --no-interactive by boli zmazali súborové systémy a cloudové zdroje bez potvrdenia. Rozšírenie bolo nainštalované u približne 1 milióna vývojárov; oprava prišla s v1.85.0.
  • OpenAI Operator (Embrace The Red, Johann Rehberger): Škodlivý obsah webových stránok naviedol agenta, aby otvoril autentifikované interné stránky a zverejnil adresy, telefónne čísla a e-maily z GitHubu a Booking.com.
  • Langflow AI RCE (CVE-2025-34291): CrowdStrike pozoroval viacerých aktérov hrozieb, ktorí zneužívali neautentifikovanú code-injection v Langflowe – široko rozšírenom agentskom frameworku.

Názorným scenárom Excessive Agency je vo výskume zdokumentovaná kaskáda obstarávania vo výrobe (manufacturing-procurement, 2025): Obstarávací agent bol počas troch týždňov postupne „presvedčený“, že jeho autorizačný limit je 500 000 amerických dolárov. Následne útočník zadal falošné objednávky v hodnote 5 miliónov amerických dolárov cez 10 transakcií. Prípad spája Tool Misuse s rizikom, že ľudské schválenia sú automaticky odsúhlasené (ASI09).

Protiopatrenia: obrana vo vrstvách

Výskum štruktúruje opatrenia pozdĺž životného cyklu. Dôležité: žiadna jednotlivá ochrana nestačí – vrstvy sa dopĺňajú.

Vrstva

Opatrenie

Účinok

Dizajn

Least-Privilege na každom nástroji; validácia schémy každého argumentu nástroja; pre-flight odhad nákladov pre drahé/deštruktívne nástroje

Obmedzuje, čo vôbec agent dokáže

Build

Allow-/deny-zoznamy na agentskú rolu; vypnutie Auto-Approve pre DB, platby, komunikáciu, deployment

Zabraňuje rizikovým štandardným konfiguráciám

Runtime

Human-in-the-Loop brány pre deštruktívne operácie; tool-approval-fronty; scope-obmedzené, krátkožijúce tokeny (oddelené pre čítanie/zápis/vykonávanie/delegovanie)

Brzdí kritické jednotlivé akcie

Operations

Horné hranice nákladov s circuit-breakermi; rate-limity na nástroj, agenta a mandanta; SIEM-detekcia vzorcov tool-call-ov

Zastropuje náklady a rozpoznáva anomálie

Doplnkovo výskum uvádza dva architektonické princípy pre prax v regióne DACH: po prvé gateway-/proxy-vzor pred každým agentom ako centrálne vynucovanie allow-zoznamov, validácie schémy, horných hraníc nákladov, rate-limitov a audit-loggingu. Po druhé otázku identity: každý agent je vlastná Non-Human-Identity (NHI) s vlastným credential-lifecycle, krátkožijúcimi tokenmi a just-in-time poskytovaním. Najčastejšou chybou pri nasadení v stredne veľkých firmách regiónu DACH je podľa výskumu prevádzkovať agenta „aby to fungovalo“ pod servisným účtom s právami ekvivalentnými administrátorovi. Bezpečnejšia je delegovaná používateľská identita – agent koná ako človek a je obmedzený na jeho práva.

Slovo k účinnosti ľudského schválenia: tieto brány sa v praxi často degradujú. OWASP to vedie ako samostatné riziko ASI09 (Human-Agent Trust Exploitation) – automation-bias a autoritatívne znejúci výstup vedú k automatickému odsúhlasovaniu. Účinné brány preto vynucujú nezávislé preskúmanie dôkazov, nielen odkývanie odporúčania agenta.

Príklad: oprávnenia pre newsletter-agenta

Marketingový agent má vytvárať a rozosielať návrhy newsletterov. Excessive Agency vzniká, keď dostane plný prístup k e-mailovému systému. Least-Privilege v pseudokóde:

```
agent_role: "newsletter-draft"
tools:

  • read_segment: scope=audience.read rate_limit=20/min
  • create_draft: scope=campaign.write rate_limit=10/min
  • send_campaign: scope=campaign.send rate_limit=2/h
    require_human_approval=true # Gate: preveriť príjemcov + obsah
    deny:
  • delete_contact, export_audience, billing.*
    budget:
    token_cap=500000/day usd_cap=20/day circuit_breaker=on
    token:
    type=short_lived ttl=15min
    ```

Účinok: aj pri úspešnej Prompt Injection agent nemôže exportovať ani mazať kontakty, nemôže preťažiť spoplatnené hromadné API a nemôže odoslať kampaň bez ľudského schválenia. Krátkožijúci, scope-obmedzený token znehodnotí odcudzené credentials po 15 minútach.

Pre agentúry a B2B

Kto prevádzkuje agentov AI pre zákazníčky a zákazníkov v marketingu, predaji alebo službách, nesie zodpovednosť za ich dizajn oprávnení. Praktický začiatok: inventarizujte pri každom agentovi každý nástroj a každý scope, deaktivujte Auto-Approve pre všetko, čo maže dáta, pohybuje peniazmi alebo rozosiela správy, a stanovte tvrdé limity nákladov a rýchlosti skôr, než agent pôjde do produkcie. Blck Alpaca z Viedne sprevádza DACH-B2B-organizácie pri budovaní agentských architektúr v súlade s Least-Privilege pozdĺž OWASP Agentic Top 10. Poznámka: tento príspevok slúži na odbornú informáciu a nepredstavuje právne poradenstvo; konkrétne otázky compliance a zodpovednosti, prosím, vyjasnite s kvalifikovanými poradkyňami a poradcami.

Často kladené otázky

Aký je rozdiel medzi Excessive Agency a Tool Misuse?
Excessive Agency je príčina, Tool Misuse je následok. Excessive Agency opisuje príliš široko definovanú autonómiu, oprávnenia alebo funkcionalitu – agent dokáže v zásade viac, než pre svoju úlohu potrebuje. Tool Misuse (OWASP ASI02) je konkrétny incident, pri ktorom sa samo osebe legitímny nástroj použije nebezpečne alebo na nesprávny účel. Dôležité: pri Tool Misuse je prístup autorizovaný, len použitie nie.
Kde stojí Excessive Agency v zoznamoch OWASP?
Excessive Agency je v OWASP Top 10 pre LLM-aplikácie 2025 vedené ako LLM06:2025 a v roku 2025 bolo tam explicitne rozšírené o agentské architektúry. V OWASP Top 10 pre Agentic Applications 2026 (zverejnené 9. decembra 2025) je koncepčnou zátvorkou za ASI02 (Tool Misuse & Exploitation), ASI03 (Identity & Privilege Abuse) a ASI10 (Rogue Agents).
Ktoré protiopatrenia sú proti Tool Misuse najúčinnejšie?
Podľa OWASP-výskumu pôsobí najlepšie obrana vo vrstvách: Least-Privilege a validácia schémy na každom nástroji v dizajne; allow-/deny-zoznamy na agentskú rolu a deaktivované režimy Auto-Approve pri builde; Human-in-the-Loop brány pre deštruktívne operácie za behu; ako aj horné hranice nákladov s circuit-breakermi a rate-limity na nástroj, agenta a mandanta v prevádzke.
Čo sú scope-obmedzené tokeny a prečo sú dôležité?
Scope-obmedzené, krátkožijúce tokeny dávajú agentovi len minimálne potrebné práva pre konkrétnu úlohu – oddelene podľa čítania, zápisu, vykonávania a delegovania – a rýchlo expirujú. Ak je agent kompromitovaný, útočník zdedí len tieto úzko vymedzené práva namiesto trvalých administrátorských prístupov. To výrazne obmedzuje škodu pri úniku dát a nechcených akciách.
Zabráni Human-in-the-Loop všetkým rizikám?
Nie. Ľudské schvaľovania sú zásadným kontrolným nástrojom, no v praxi sa často degradujú. OWASP to vedie ako samostatné riziko ASI09 (Human-Agent Trust Exploitation): automation-bias a autoritatívne znejúci výstup agentov vedú k automatickému odsúhlasovaniu. Účinné brány vynucujú nezávislé preskúmanie dôkazov, nielen odporúčania agenta.

Ísť hlbšie?

Získajte nové analýzy priamo do schránky – alebo sa pozrite, ako tieto poznatky nasadzujeme pre firmy.