Tool Misuse a Excessive Agency: Keď agenti AI smú priveľa
Excessive Agency označuje príliš široko definovanú autonómiu, oprávnenie alebo funkcionalitu agenta AI, dokáže urobiť viac, než je pre jeho úlohu potrebné. Tool Misuse je zneužívajúce nasadenie legitímnych nástrojov: prístup je autorizovaný, použitie nie. Oboje vedie k nechceným akciám, úniku dát a nekontrolovaným nákladom.
Key Takeaways
- ✓Excessive Agency (v OWASP-LLM-Top-10 vedené ako LLM06:2025) je koncepčný most k OWASP Agentic Top 10 2026 a stojí priamo pred agentskými rizikami ASI02 (Tool Misuse), ASI03 (zneužitie privilégií) a ASI10 (Rogue Agents).
- ✓Tool Misuse (ASI02) znamená: agent koná v rámci svojich oprávnení, no legitímny nástroj používa nebezpečne, napríklad maže dáta, nadmerne volá spoplatnené API alebo rozosiela e-maily ako phishing.
- ✓Zdokumentované incidenty ako Amazon Q (CVE-2025-8217, júl 2025) ukazujú potenciál škôd: deštruktívne prompty s parametrami 'trust all tools' a 'no interactive' by boli zmazali súborové systémy a cloudové zdroje bez potvrdenia, pri približne 1 milióne inštalácií.
- ✓Najúčinnejšími protiopatreniami sú Least-Privilege na každom nástroji, scope-obmedzené a krátkožijúce tokeny, Human-in-the-Loop brány pre deštruktívne akcie, ako aj tvrdé limity rýchlosti a nákladov s circuit-breakermi.
- ✓Najčastejšou chybou pri nasadení v stredne veľkých firmách regiónu DACH je podľa výskumu prevádzkovať agenta 'aby to fungovalo' pod servisným účtom s právami ekvivalentnými administrátorovi.
- ✓Režimy Auto-Approve, resp. 'YOLO', ktoré deaktivujú potvrdzovacie prompty, sú zásadným multiplikátorom rizika a mali by byť vypnuté pre každý nástroj s prístupom k DB, platbám, komunikácii alebo deploymentu.
Excessive Agency označuje príliš široko definovanú autonómiu, oprávnenie alebo funkcionalitu agenta AI, dokáže urobiť viac, než je pre jeho úlohu potrebné. Tool Misuse je zneužívajúce nasadenie legitímnych nástrojov: prístup je autorizovaný, použitie nie. Oboje vedie k nechceným akciám, úniku dát a nekontrolovaným nákladom. V systematike OWASP tvorí Excessive Agency zátvorku, pod ktorou sa Tool Misuse materializuje ako konkrétne agentské riziko.
- Rýchla odpoveď 1: Excessive Agency je príčina (priveľa autonómie/práv), Tool Misuse je následok (legitímny nástroj sa použije nebezpečne alebo na nesprávny účel).
- Rýchla odpoveď 2: OWASP vedie túto tému v LLM Top 10 2025 ako LLM06:2025 a v Agentic Top 10 2026 ako ASI02 (Tool Misuse & Exploitation), zverejnené 9. decembra 2025.
- Rýchla odpoveď 3: Hlavnými protiopatreniami sú Least-Privilege, scope-obmedzené krátkožijúce tokeny, ľudské schválenie pre kritické akcie a tvrdé limity rýchlosti, resp. nákladov.
Prečo je „smieť priveľa“ vlastným problémom agentov
Klasické LLM-aplikácie odpovedajú: prompt vstúpi, completion vyjde. Agentské systémy plánujú, vyberajú nástroje, zapisujú do pamäte a konajú S minimálnym krokovým ľudským schválením. Práve tento skok od „odpovedať“ k „konať“ robí z otázky oprávnení centrálnu bezpečnostnú otázku.
OWASP to v LLM Top 10 2025 zhŕňa pod LLM06:2025 Excessive Agency: poskytovanie nepreverenej akčnej autonómie LLM pri nedostatočnom obmedzení oprávnení alebo ľudskom dohľade. Tento záznam bol v roku 2025 výslovne rozšírený na agentské architektúry a je, podľa výskumu, najväčším koncepčným mostom, ktorý si rozhodujúce osoby musia osvojiť. Excessive Agency stojí priamo pred viacerými agentskými rizikami OWASP Top 10 pre Agentic Applications 2026, menovite ASI02 (Tool Misuse), ASI03 (Identity & Privilege Abuse) a ASI10 (Rogue Agents).
Excessive Agency vzniká typicky na troch úrovniach:
- Priveľa oprávnení Agent zdedí príliš široké práva od používateľa alebo servisného účtu, pod ktorým beží.
- Priveľa funkcionality Agentovi sú k dispozícii nástroje, ktoré jeho úloha vôbec nevyžaduje (napríklad nástroj na mazanie alebo platby pri čisto čítacom use-case).
- Priveľa autonómie Kritické akcie bežia bez potvrdenia, napríklad cez aktivované režimy Auto-Approve alebo „YOLO“.
Tool Misuse (ASI02): legitímny prístup, nelegitímne použitie
Opis ASI02 od OWASP je presný: agent operuje v rámci svojich autorizovaných privilégií, no legitímny nástroj aplikuje nebezpečným alebo nezamýšľaným spôsobom, maže cenné dáta, nadmerne volá drahé API, vykonáva deštruktívne operácie alebo vynáša informácie. Vymedzenie voči ASI03 je dôležité: prístup je legitímny, použitie nie.
Typické útočné a chybové vektory podľa výskumu:
- Prompt Injection, ktorá nástroj zneužije na iný účel Napríklad
send_email, ktorý sa zrazu použije na phishing celej zákazníckej bázy. - Nesprávne zarovnanie medzi interpretáciou úlohy agentom a zámerom vývojára.
- Nebezpečné delegovanie Agent odovzdá mocný nástroj sub-agentovi bez kontextuálnych ochranných mechanizmov.
- Režimy Auto-Approve/„YOLO“, ktoré deaktivujú potvrdzovacie prompty.
Riziká konkrétne: akcie, dáta, náklady
Tri rozmery škôd možno jasne rozdeliť:
Rozmer rizika | Čo sa stane | Príkladové spúšťače |
|---|---|---|
Nechcené akcie | Deštruktívne operácie (DELETE, DROP, | Zneužitý nástroj, deaktivovaný Auto-Approve, nesprávne zarovnaná interpretácia úlohy |
Únik dát | Exfiltrácia zákazníckych, zamestnaneckých alebo obchodných dát cez legitímne kanály | Manipulovaný webový obsah, kompromitovaná reťaz nástrojov, nebezpečné delegovanie na sub-agentov |
Náklady („denial-of-wallet“) | Explózia nákladov na tokeny a API cez nadmerne invokované alebo rekurzívne plány | Búrky opakovaní (retry), neobmedzené viacstupňové plány, chýbajúce budget-cap-y |
Rozmer nákladov je vo svete agentov mimoriadne citlivý: OWASP ho vedie v LLM Top 10 ako LLM10:2025 Unbounded Consumption („denial-of-wallet“). Podľa výskumu viacstupňové plány násobia spotrebu tokenov, a preto je vynucovanie rozpočtu na plán nevyhnutné.
Zdokumentované incidenty (stav 2026)
Výskum uvádza viacero doložených prípadov, ktoré podčiarkujú potenciál škôd:
- Amazon Q Code Assistant (CVE-2025-8217, júl 2025): Útočníci kompromitovali GitHub-token a prepašovali škodlivé inštrukcie do VS-Code-rozšírenia v1.84.0. Deštruktívne prompty v kombinácii s
the trust all tools and no interactive flagsby boli zmazali súborové systémy a cloudové zdroje bez potvrdenia. Rozšírenie bolo nainštalované u približne 1 milióna vývojárov; oprava prišla s v1.85.0. - OpenAI Operator (Embrace The Red, Johann Rehberger): Škodlivý obsah webových stránok naviedol agenta, aby otvoril autentifikované interné stránky a zverejnil adresy, telefónne čísla a e-maily z GitHubu a Booking.com.
- Langflow AI RCE (CVE-2025-34291): CrowdStrike pozoroval viacerých aktérov hrozieb, ktorí zneužívali neautentifikovanú code-injection v Langflowe, široko rozšírenom agentskom frameworku.
Názorným scenárom Excessive Agency je vo výskume zdokumentovaná kaskáda obstarávania vo výrobe (manufacturing-procurement, 2025): Obstarávací agent bol počas troch týždňov postupne „presvedčený“, že jeho autorizačný limit je 500 000 amerických dolárov. Následne útočník zadal falošné objednávky v hodnote 5 miliónov amerických dolárov cez 10 transakcií. Prípad spája Tool Misuse s rizikom, že ľudské schválenia sú automaticky odsúhlasené (ASI09).
Protiopatrenia: obrana vo vrstvách
Výskum štruktúruje opatrenia pozdĺž životného cyklu. Dôležité: žiadna jednotlivá ochrana nestačí, vrstvy sa dopĺňajú.
Vrstva | Opatrenie | Účinok |
|---|---|---|
Dizajn | Least-Privilege na každom nástroji; validácia schémy každého argumentu nástroja; pre-flight odhad nákladov pre drahé/deštruktívne nástroje | Obmedzuje, čo vôbec agent dokáže |
Build | Allow-/deny-zoznamy na agentskú rolu; vypnutie Auto-Approve pre DB, platby, komunikáciu, deployment | Zabraňuje rizikovým štandardným konfiguráciám |
Runtime | Human-in-the-Loop brány pre deštruktívne operácie; tool-approval-fronty; scope-obmedzené, krátkožijúce tokeny (oddelené pre čítanie/zápis/vykonávanie/delegovanie) | Brzdí kritické jednotlivé akcie |
Operations | Horné hranice nákladov s circuit-breakermi; rate-limity na nástroj, agenta a mandanta; SIEM-detekcia vzorcov tool-call-ov | Zastropuje náklady a rozpoznáva anomálie |
Doplnkovo výskum uvádza dva architektonické princípy pre prax v regióne DACH: po prvé gateway-/proxy-vzor pred každým agentom ako centrálne vynucovanie allow-zoznamov, validácie schémy, horných hraníc nákladov, rate-limitov a audit-loggingu. Po druhé otázku identity: každý agent je vlastná Non-Human-Identity (NHI) s vlastným credential-lifecycle, krátkožijúcimi tokenmi a just-in-time poskytovaním. Najčastejšou chybou pri nasadení v stredne veľkých firmách regiónu DACH je podľa výskumu prevádzkovať agenta „aby to fungovalo“ pod servisným účtom s právami ekvivalentnými administrátorovi. Bezpečnejšia je delegovaná používateľská identita, agent koná ako človek a je obmedzený na jeho práva.
Slovo k účinnosti ľudského schválenia: tieto brány sa v praxi často degradujú. OWASP to vedie ako samostatné riziko ASI09 (Human-Agent Trust Exploitation) Automation-bias a autoritatívne znejúci výstup vedú k automatickému odsúhlasovaniu. Účinné brány preto vynucujú nezávislé preskúmanie dôkazov, nielen odkývanie odporúčania agenta.
Príklad: oprávnenia pre newsletter-agenta
Marketingový agent má vytvárať a rozosielať návrhy newsletterov. Excessive Agency vzniká, keď dostane plný prístup k e-mailovému systému. Least-Privilege v pseudokóde:
```
agent_role: "newsletter-draft"
tools:
- read_segment: scope=audience.read rate_limit=20/min
- create_draft: scope=campaign.write rate_limit=10/min
- send_campaign: scope=campaign.send rate_limit=2/h
require_human_approval=true # Gate: preveriť príjemcov + obsah
deny: - delete_contact, export_audience, billing.*
budget:
token_cap=500000/day usd_cap=20/day circuit_breaker=on
token:
type=short_lived ttl=15min
```
Účinok: aj pri úspešnej Prompt Injection agent nemôže exportovať ani mazať kontakty, nemôže preťažiť spoplatnené hromadné API a nemôže odoslať kampaň bez ľudského schválenia. Krátkožijúci, scope-obmedzený token znehodnotí odcudzené credentials po 15 minútach.
Pre agentúry a B2B
Kto prevádzkuje agentov AI pre zákazníčky a zákazníkov v marketingu, predaji alebo službách, nesie zodpovednosť za ich dizajn oprávnení. Praktický začiatok: inventarizujte pri každom agentovi každý nástroj a každý scope, deaktivujte Auto-Approve pre všetko, čo maže dáta, pohybuje peniazmi alebo rozosiela správy, a stanovte tvrdé limity nákladov a rýchlosti skôr, než agent pôjde do produkcie. Blck Alpaca z Viedne sprevádza DACH-B2B-organizácie pri budovaní agentských architektúr v súlade s Least-Privilege pozdĺž OWASP Agentic Top 10. Poznámka: tento príspevok slúži na odbornú informáciu a nepredstavuje právne poradenstvo; konkrétne otázky compliance a zodpovednosti, prosím, vyjasnite s kvalifikovanými poradkyňami a poradcami.
Často kladené otázky
Aký je rozdiel medzi Excessive Agency a Tool Misuse?
Kde stojí Excessive Agency v zoznamoch OWASP?
Ktoré protiopatrenia sú proti Tool Misuse najúčinnejšie?
Čo sú scope-obmedzené tokeny a prečo sú dôležité?
Zabráni Human-in-the-Loop všetkým rizikám?
Related Articles
Ísť hlbšie?
Získajte nové analýzy priamo do schránky, alebo sa pozrite, ako tieto poznatky nasadzujeme pre firmy.