Tool Misuse a Excessive Agency: Keď agenti AI smú priveľa
Excessive Agency označuje príliš široko definovanú autonómiu, oprávnenie alebo funkcionalitu agenta AI – dokáže urobiť viac, než je pre jeho úlohu potrebné. Tool Misuse je zneužívajúce nasadenie legitímnych nástrojov: prístup je autorizovaný, použitie nie. Oboje vedie k nechceným akciám, úniku dát a nekontrolovaným nákladom.
Key Takeaways
- ✓Excessive Agency (v OWASP-LLM-Top-10 vedené ako LLM06:2025) je koncepčný most k OWASP Agentic Top 10 2026 a stojí priamo pred agentskými rizikami ASI02 (Tool Misuse), ASI03 (zneužitie privilégií) a ASI10 (Rogue Agents).
- ✓Tool Misuse (ASI02) znamená: agent koná v rámci svojich oprávnení, no legitímny nástroj používa nebezpečne – napríklad maže dáta, nadmerne volá spoplatnené API alebo rozosiela e-maily ako phishing.
- ✓Zdokumentované incidenty ako Amazon Q (CVE-2025-8217, júl 2025) ukazujú potenciál škôd: deštruktívne prompty s '--trust-all-tools --no-interactive' by boli zmazali súborové systémy a cloudové zdroje bez potvrdenia – pri približne 1 milióne inštalácií.
- ✓Najúčinnejšími protiopatreniami sú Least-Privilege na každom nástroji, scope-obmedzené a krátkožijúce tokeny, Human-in-the-Loop brány pre deštruktívne akcie, ako aj tvrdé limity rýchlosti a nákladov s circuit-breakermi.
- ✓Najčastejšou chybou pri nasadení v stredne veľkých firmách regiónu DACH je podľa výskumu prevádzkovať agenta 'aby to fungovalo' pod servisným účtom s právami ekvivalentnými administrátorovi.
- ✓Režimy Auto-Approve, resp. 'YOLO', ktoré deaktivujú potvrdzovacie prompty, sú zásadným multiplikátorom rizika a mali by byť vypnuté pre každý nástroj s prístupom k DB, platbám, komunikácii alebo deploymentu.
Excessive Agency označuje príliš široko definovanú autonómiu, oprávnenie alebo funkcionalitu agenta AI – dokáže urobiť viac, než je pre jeho úlohu potrebné. Tool Misuse je zneužívajúce nasadenie legitímnych nástrojov: prístup je autorizovaný, použitie nie. Oboje vedie k nechceným akciám, úniku dát a nekontrolovaným nákladom. V systematike OWASP tvorí Excessive Agency zátvorku, pod ktorou sa Tool Misuse materializuje ako konkrétne agentské riziko.
- Rýchla odpoveď 1: Excessive Agency je príčina (priveľa autonómie/práv), Tool Misuse je následok (legitímny nástroj sa použije nebezpečne alebo na nesprávny účel).
- Rýchla odpoveď 2: OWASP vedie túto tému v LLM Top 10 2025 ako LLM06:2025 a v Agentic Top 10 2026 ako ASI02 (Tool Misuse & Exploitation), zverejnené 9. decembra 2025.
- Rýchla odpoveď 3: Hlavnými protiopatreniami sú Least-Privilege, scope-obmedzené krátkožijúce tokeny, ľudské schválenie pre kritické akcie a tvrdé limity rýchlosti, resp. nákladov.
Prečo je „smieť priveľa“ vlastným problémom agentov
Klasické LLM-aplikácie odpovedajú: prompt vstúpi, completion vyjde. Agentské systémy plánujú, vyberajú nástroje, zapisujú do pamäte a konajú – s minimálnym krokovým ľudským schválením. Práve tento skok od „odpovedať“ k „konať“ robí z otázky oprávnení centrálnu bezpečnostnú otázku.
OWASP to v LLM Top 10 2025 zhŕňa pod LLM06:2025 Excessive Agency: poskytovanie nepreverenej akčnej autonómie LLM pri nedostatočnom obmedzení oprávnení alebo ľudskom dohľade. Tento záznam bol v roku 2025 výslovne rozšírený na agentské architektúry a je – podľa výskumu – najväčším koncepčným mostom, ktorý si rozhodujúce osoby musia osvojiť. Excessive Agency stojí priamo pred viacerými agentskými rizikami OWASP Top 10 pre Agentic Applications 2026, menovite ASI02 (Tool Misuse), ASI03 (Identity & Privilege Abuse) a ASI10 (Rogue Agents).
Excessive Agency vzniká typicky na troch úrovniach:
- Priveľa oprávnení – agent zdedí príliš široké práva od používateľa alebo servisného účtu, pod ktorým beží.
- Priveľa funkcionality – agentovi sú k dispozícii nástroje, ktoré jeho úloha vôbec nevyžaduje (napríklad nástroj na mazanie alebo platby pri čisto čítacom use-case).
- Priveľa autonómie – kritické akcie bežia bez potvrdenia, napríklad cez aktivované režimy Auto-Approve alebo „YOLO“.
Tool Misuse (ASI02): legitímny prístup, nelegitímne použitie
Opis ASI02 od OWASP je presný: agent operuje v rámci svojich autorizovaných privilégií, no legitímny nástroj aplikuje nebezpečným alebo nezamýšľaným spôsobom – maže cenné dáta, nadmerne volá drahé API, vykonáva deštruktívne operácie alebo vynáša informácie. Vymedzenie voči ASI03 je dôležité: prístup je legitímny, použitie nie.
Typické útočné a chybové vektory podľa výskumu:
- Prompt Injection, ktorá nástroj zneužije na iný účel – napríklad
send_email, ktorý sa zrazu použije na phishing celej zákazníckej bázy. - Nesprávne zarovnanie medzi interpretáciou úlohy agentom a zámerom vývojára.
- Nebezpečné delegovanie – agent odovzdá mocný nástroj sub-agentovi bez kontextuálnych ochranných mechanizmov.
- Režimy Auto-Approve/„YOLO“, ktoré deaktivujú potvrdzovacie prompty.
Riziká konkrétne: akcie, dáta, náklady
Tri rozmery škôd možno jasne rozdeliť:
Rozmer rizika | Čo sa stane | Príkladové spúšťače |
|---|---|---|
Nechcené akcie | Deštruktívne operácie (DELETE, DROP, | Zneužitý nástroj, deaktivovaný Auto-Approve, nesprávne zarovnaná interpretácia úlohy |
Únik dát | Exfiltrácia zákazníckych, zamestnaneckých alebo obchodných dát cez legitímne kanály | Manipulovaný webový obsah, kompromitovaná reťaz nástrojov, nebezpečné delegovanie na sub-agentov |
Náklady („denial-of-wallet“) | Explózia nákladov na tokeny a API cez nadmerne invokované alebo rekurzívne plány | Búrky opakovaní (retry), neobmedzené viacstupňové plány, chýbajúce budget-cap-y |
Rozmer nákladov je vo svete agentov mimoriadne citlivý: OWASP ho vedie v LLM Top 10 ako LLM10:2025 Unbounded Consumption („denial-of-wallet“). Podľa výskumu viacstupňové plány násobia spotrebu tokenov, a preto je vynucovanie rozpočtu na plán nevyhnutné.
Zdokumentované incidenty (stav 2026)
Výskum uvádza viacero doložených prípadov, ktoré podčiarkujú potenciál škôd:
- Amazon Q Code Assistant (CVE-2025-8217, júl 2025): Útočníci kompromitovali GitHub-token a prepašovali škodlivé inštrukcie do VS-Code-rozšírenia v1.84.0. Deštruktívne prompty v kombinácii s
--trust-all-tools --no-interactiveby boli zmazali súborové systémy a cloudové zdroje bez potvrdenia. Rozšírenie bolo nainštalované u približne 1 milióna vývojárov; oprava prišla s v1.85.0. - OpenAI Operator (Embrace The Red, Johann Rehberger): Škodlivý obsah webových stránok naviedol agenta, aby otvoril autentifikované interné stránky a zverejnil adresy, telefónne čísla a e-maily z GitHubu a Booking.com.
- Langflow AI RCE (CVE-2025-34291): CrowdStrike pozoroval viacerých aktérov hrozieb, ktorí zneužívali neautentifikovanú code-injection v Langflowe – široko rozšírenom agentskom frameworku.
Názorným scenárom Excessive Agency je vo výskume zdokumentovaná kaskáda obstarávania vo výrobe (manufacturing-procurement, 2025): Obstarávací agent bol počas troch týždňov postupne „presvedčený“, že jeho autorizačný limit je 500 000 amerických dolárov. Následne útočník zadal falošné objednávky v hodnote 5 miliónov amerických dolárov cez 10 transakcií. Prípad spája Tool Misuse s rizikom, že ľudské schválenia sú automaticky odsúhlasené (ASI09).
Protiopatrenia: obrana vo vrstvách
Výskum štruktúruje opatrenia pozdĺž životného cyklu. Dôležité: žiadna jednotlivá ochrana nestačí – vrstvy sa dopĺňajú.
Vrstva | Opatrenie | Účinok |
|---|---|---|
Dizajn | Least-Privilege na každom nástroji; validácia schémy každého argumentu nástroja; pre-flight odhad nákladov pre drahé/deštruktívne nástroje | Obmedzuje, čo vôbec agent dokáže |
Build | Allow-/deny-zoznamy na agentskú rolu; vypnutie Auto-Approve pre DB, platby, komunikáciu, deployment | Zabraňuje rizikovým štandardným konfiguráciám |
Runtime | Human-in-the-Loop brány pre deštruktívne operácie; tool-approval-fronty; scope-obmedzené, krátkožijúce tokeny (oddelené pre čítanie/zápis/vykonávanie/delegovanie) | Brzdí kritické jednotlivé akcie |
Operations | Horné hranice nákladov s circuit-breakermi; rate-limity na nástroj, agenta a mandanta; SIEM-detekcia vzorcov tool-call-ov | Zastropuje náklady a rozpoznáva anomálie |
Doplnkovo výskum uvádza dva architektonické princípy pre prax v regióne DACH: po prvé gateway-/proxy-vzor pred každým agentom ako centrálne vynucovanie allow-zoznamov, validácie schémy, horných hraníc nákladov, rate-limitov a audit-loggingu. Po druhé otázku identity: každý agent je vlastná Non-Human-Identity (NHI) s vlastným credential-lifecycle, krátkožijúcimi tokenmi a just-in-time poskytovaním. Najčastejšou chybou pri nasadení v stredne veľkých firmách regiónu DACH je podľa výskumu prevádzkovať agenta „aby to fungovalo“ pod servisným účtom s právami ekvivalentnými administrátorovi. Bezpečnejšia je delegovaná používateľská identita – agent koná ako človek a je obmedzený na jeho práva.
Slovo k účinnosti ľudského schválenia: tieto brány sa v praxi často degradujú. OWASP to vedie ako samostatné riziko ASI09 (Human-Agent Trust Exploitation) – automation-bias a autoritatívne znejúci výstup vedú k automatickému odsúhlasovaniu. Účinné brány preto vynucujú nezávislé preskúmanie dôkazov, nielen odkývanie odporúčania agenta.
Príklad: oprávnenia pre newsletter-agenta
Marketingový agent má vytvárať a rozosielať návrhy newsletterov. Excessive Agency vzniká, keď dostane plný prístup k e-mailovému systému. Least-Privilege v pseudokóde:
```
agent_role: "newsletter-draft"
tools:
- read_segment: scope=audience.read rate_limit=20/min
- create_draft: scope=campaign.write rate_limit=10/min
- send_campaign: scope=campaign.send rate_limit=2/h
require_human_approval=true # Gate: preveriť príjemcov + obsah
deny: - delete_contact, export_audience, billing.*
budget:
token_cap=500000/day usd_cap=20/day circuit_breaker=on
token:
type=short_lived ttl=15min
```
Účinok: aj pri úspešnej Prompt Injection agent nemôže exportovať ani mazať kontakty, nemôže preťažiť spoplatnené hromadné API a nemôže odoslať kampaň bez ľudského schválenia. Krátkožijúci, scope-obmedzený token znehodnotí odcudzené credentials po 15 minútach.
Pre agentúry a B2B
Kto prevádzkuje agentov AI pre zákazníčky a zákazníkov v marketingu, predaji alebo službách, nesie zodpovednosť za ich dizajn oprávnení. Praktický začiatok: inventarizujte pri každom agentovi každý nástroj a každý scope, deaktivujte Auto-Approve pre všetko, čo maže dáta, pohybuje peniazmi alebo rozosiela správy, a stanovte tvrdé limity nákladov a rýchlosti skôr, než agent pôjde do produkcie. Blck Alpaca z Viedne sprevádza DACH-B2B-organizácie pri budovaní agentských architektúr v súlade s Least-Privilege pozdĺž OWASP Agentic Top 10. Poznámka: tento príspevok slúži na odbornú informáciu a nepredstavuje právne poradenstvo; konkrétne otázky compliance a zodpovednosti, prosím, vyjasnite s kvalifikovanými poradkyňami a poradcami.
Často kladené otázky
Aký je rozdiel medzi Excessive Agency a Tool Misuse?
Kde stojí Excessive Agency v zoznamoch OWASP?
Ktoré protiopatrenia sú proti Tool Misuse najúčinnejšie?
Čo sú scope-obmedzené tokeny a prečo sú dôležité?
Zabráni Human-in-the-Loop všetkým rizikám?
Ísť hlbšie?
Získajte nové analýzy priamo do schránky – alebo sa pozrite, ako tieto poznatky nasadzujeme pre firmy.