---
title: "Red-teaming pre AI agentov: systematické odhaľovanie zraniteľností"
description: "Red-teaming pre AI agentov označuje systematické simulované útoky na AI agentov s cieľom odhaliť zraniteľnosti, ako sú prompt injection, jailbreaky, zneužitie nástrojov a únik dát, skôr než ich vyu…"
locale: "sk"
canonical: "https://blckalpaca.at/sk/vedomosti/ai-agenti/bezpecnost-ai-agentov-owasp/red-teaming-pre-ai-agents-systematicke-odhalovanie-zranitelnosti"
category: "AI agenti"
topic: "Bezpečnosť AI agentov a OWASP"
updated: "2026-10-17T15:34:48.923Z"
source: "Blck Alpaca e.U., blckalpaca.at"
---

# Red-teaming pre AI agentov: systematické odhaľovanie zraniteľností

Red-teaming pre AI agentov označuje systematické simulované útoky na AI agentov s cieľom odhaliť zraniteľnosti, ako sú prompt injection, jailbreaky, zneužitie nástrojov a únik dát, skôr než ich využijú skutoční útočníci. Kombinuje automatizované útočné nástroje s manuálnou kreativitou pri viacstupňových útokoch a prináša merateľné zistenia, napríklad miery úspešnosti útokov (attack success rate), namiesto binárnych zoznamov zraniteľností.

## Na prvý pohľad

- AI red-teaming nie je to isté ako klasický penetračný test: vyžaduje iné zručnosti (znalosti strojového učenia, prompt engineering, zbehlosť vo viacstupňových útokoch), iné nástroje (Garak, PyRIT, DeepTeam namiesto Burp/Metasploit) a prináša iné formáty zistení (pravdepodobnostné miery úspešnosti útokov namiesto binárnych nálezov typu CVE).
- Automatizované skenovanie (Garak, PyRIT, DeepTeam, Promptfoo) lacno pokryje široké, známe triedy útokov; manuálny red-teaming nájde viacstupňové útoky závislé od kontextu (boiling-frog drift, A2A Session Smuggling, delayed tool invocation), ktoré skenery prehliadnu.
- Orientačné pravidlo pre frekvenciu: štvrťročný základný test (baseline) plus testy pri spúšťačoch, teda pred každou novou integráciou nástroja s deštruktívnymi oprávneniami, po každej podstatnej zmene promptu alebo systémovej správy, po každom upgrade modelu a ad hoc pri CVE alebo PoC, ktorý sa týka tvojho stacku.
- Reporting by mal byť merateľný a namapovaný na frameworky: miera úspešnosti útokov, miera detekcie, čas do detekcie a rozsah dopadu (blast radius), premietnuté do OWASP Agentic Top 10 (ASI01–ASI10), MITRE ATLAS a ako nastupujúce prístupy (stav 2026) aj do AIVSS a záznamov kompatibilných s AVID.
- Každý zverejnený guardrail kompetentní výskumníci v priebehu mesiacov obišli (EchoLeak proti klasifikátoru XPIA od Microsoftu, CamoLeak proti filtrom na strane GitHubu). Red-teaming je preto povinný dôkaz, nie marketingový argument. „OWASP-compliant“ nie je spoľahlivé tvrdenie, pretože OWASP necertifikuje.
- Pre finančné subjekty v EÚ je ofenzívne testovanie regulované: DORA vyžaduje testy odolnosti (čl. 24–25) a od finančných subjektov, ktoré na to určí orgán dohľadu, aj penetračné testovanie na základe hrozieb, tzv. TLPT (Threat-Led Penetration Testing; čl. 26–27). V Nemecku uvádza nezáväzné usmernenie BaFin (18. 12. 2025) adversariálne penetračné testy (Adversarial Penetration Tests) ako vhodné opatrenie.

Red-teaming pre [AI](https://blckalpaca.at/sk/slovnik/ai) agentov označuje systematické simulované útoky na AI agentov s cieľom odhaliť zraniteľnosti, ako sú [prompt injection, jailbreaky, zneužitie nástrojov a únik dát](https://blckalpaca.at/sk/vedomosti/ai-agenti/bezpecnost-ai-agentov-owasp/prompt-injection-direct-vs-indirect), skôr než ich využijú skutoční útočníci. Kombinuje automatizované útočné nástroje s manuálnou kreativitou pri viacstupňových útokoch a prináša merateľné zistenia, napríklad miery úspešnosti útokov, namiesto binárnych zoznamov zraniteľností. Na rozdiel od funkčného testu sa nepýta „funguje [agent](https://blckalpaca.at/sk/slovnik/agent)?“, ale „ako sa dá zneužiť proti svojmu skutočnému účelu?“.

Tento článok je súčasťou hubu „Bezpečnosť AI agentov podľa OWASP“ a konkretizuje, ako ofenzívne preveríš riziká katalogizované v [OWASP Agentic Top 10 (ASI01–ASI10)](https://blckalpaca.at/sk/vedomosti/ai-agenti/bezpecnost-ai-agentov-owasp/owasp-agentic-asi-top-10-2026).

## Tri rýchle odpovede

- **Na čo sa útočí?** Na útočnú plochu špecifickú pre agentov. Okrem modelu sú to volania nástrojov, perzistentná pamäť, komunikácia medzi agentmi a human-in-the-loop. Cieľom je odhaliť goal hijack, zneužitie nástrojov, otrávenie pamäte (memory poisoning) a únik dát.
- **Čím?** Open-source skenermi (Garak, PyRIT, DeepTeam, Promptfoo) na plošné pokrytie, manuálnym red-teamingom na viacstupňové útoky a bug bounty programom na dlhodobé pokrytie.
- **Ako často?** Štvrťročný základný test (baseline) plus testy pri spúšťačoch (nové nástroje, zmeny promptov, upgrady modelov, akútne CVE).

## Prečo AI red-teaming nie je klasický pentest

Najdôležitejšie vymedzenie na úvod: AI red-teaming nie je synonymom tradičného penetračného testu. Nákupné tímy v regióne DACH si ich pravidelne zamieňajú. Keď akceptujú pentest pomocou Burp Suite ako „dôkaz bezpečnosti AI“, má to nákladné následky.

Rozdiely sú zásadné:

| Hľadisko | Klasický pentest | AI red-teaming |
| --- | --- | --- |
| Potrebné zručnosti | znalosti sietí a AppSec | znalosti strojového učenia, kreativita v [prompt](https://blckalpaca.at/sk/slovnik/prompt) engineeringu, zbehlosť vo viacstupňových adversariálnych útokoch |
| Typické nástroje | Burp, Metasploit, Cobalt Strike | Garak, PyRIT, DeepTeam, Promptfoo |
| Formát zistení | binárne nálezy typu CVE | pravdepodobnostné miery úspešnosti útokov |
| Model útoku | väčšinou jednorazový exploit (single-shot) | viacstupňové kampane cez viacero kôl konverzácie (multi-turn) |
| Cieľ | chyby v kóde a konfigurácii | manipulácia správania a kontextu |

[AI agent](https://blckalpaca.at/sk/slovnik/ai-agent) sa v klasickom zmysle často vôbec „nezlomí“. Riadi sa inštrukciami, ktoré mu útočník podsunul ako legitímne. Keďže agenti ani model, na ktorom bežia, nedokážu spoľahlivo odlíšiť inštrukcie od dát, [každý text, ktorý agent prečíta, je súčasťou útočnej plochy](https://blckalpaca.at/sk/vedomosti/ai-agenti/bezpecnost-ai-agentov-owasp/tool-misuse-a-excessive-agency-ked-agenti-ai-smu-privela). To si vyžaduje inú disciplínu testovania.

## Aké zraniteľnosti red team cielene hľadá

Red-teaming postupne prechádza triedy hrozieb špecifické pre agentov z OWASP Agentic Top 10. V praxi to znamená cielene skonštruovať tieto útoky:

- **Prompt injection / goal hijack (ASI01).** Priama a nepriama injection, skryté inštrukcie v dokumentoch, v korpuse [RAG](https://blckalpaca.at/sk/slovnik/rag), v e-mailoch, pozvánkach do kalendára, opisoch pull requestov alebo vo výstupoch nástrojov. Obzvlášť zákerný je viackolový drift typu „boiling frog“: každý jednotlivý krok pôsobí vierohodne, kumulatívna trajektória je však škodlivá.
- **Jailbreaky.** Obídenie bezpečnostných mantinelov s cieľom vyvolať zakázané akcie alebo obsah.
- **Zneužitie nástrojov (ASI02).** Legitímna funkcia (napr. `send_email`) sa použije na iný účel; útočník zneužije režimy auto-approve alebo „YOLO“, ktoré vypínajú potvrdzovacie dialógy.
- **Otrávenie pamäte a kontextu (ASI06).** Raz podstrčený obsah natrvalo otrávi perzistentnú pamäť; „delayed tool invocation“ sa aktivuje až o niekoľko týždňov, keď padne spúšťacie slovo.
- **Únik dát.** Exfiltrácia cez zmanipulované obrázky v Markdowne, reťazce presmerovaní alebo zneužité proxy.
- **Útoky medzi agentmi (ASI07) a zneužitie dôvery medzi človekom a agentom (ASI09).** Falšované správy medzi agentmi a cielené obchádzanie ľudskej schvaľovacej vrstvy pomocou suverénne formulovaných, no zmanipulovaných odporúčaní.

Reálnosť týchto útokov dokladajú zdokumentované incidenty: [EchoLeak (CVE-2025-32711, CVSS 9,3 podľa Microsoftu)](https://nvd.nist.gov/vuln/detail/CVE-2025-32711) bol prvý reálny zero-click útok typu prompt injection v produkčnom [LLM](https://blckalpaca.at/sk/slovnik/llm) systéme a obišiel klasifikátor XPIA (Cross-Prompt Injection Attempt) od Microsoftu. CamoLeak (CVSS 9,6) cez vlastnú proxy GitHubu pre obrázky Camo znak po znaku vyniesol súkromné tajomstvá (secrets) z repozitárov a zdrojový kód. Oba prípady ukazujú, že každý zverejnený guardrail kompetentní výskumníci v priebehu mesiacov obišli.

## Postup: automatizovaný vs. manuálny

Vyspelý red-teaming kombinuje dva režimy, ktoré sa dopĺňajú.

**Automatizovaný režim** znamená škálovanie a opakovateľnosť. Skenery spúšťajú proti agentovi rozsiahle knižnice testovacích sond (probes) a merajú, aký podiel z nich prejde. Hodia sa na priebežnú integráciu do CI/CD a na regresné testy po každej zmene. Slabina: nachádzajú prevažne známe vzory útokov.

**Manuálny režim** znamená kreativitu a kontext. Skúsení analytici zostavujú viacstupňové kampane šité na mieru konkrétnemu agentovi, teda presne tie útoky, ktoré skenery prehliadnu. Príklady z výskumu: „Agent Session Smuggling“ proti protokolu A2A ([Palo Alto Unit 42, 31. októbra 2025](https://unit42.paloaltonetworks.com/agent-session-smuggling-in-agent2agent-systems/)) nie je jednorazová injection, ale pretrvávajúca kampaň sociálneho inžinierstva, ktorú vedie agent proti agentovi. A2A vyvinul Google, od júna 2025 protokol spravuje [Linux Foundation](https://linuxfoundation.org/press/linux-foundation-launches-the-agent2agent-protocol-project-to-enable-secure-intelligent-communication-between-ai-agents). Útok na pamäť Google Gemini (Johann Rehberger, február 2025) využil „delayed tool invocation“ na časovo posunuté otrávenie pamäte.

## Nástroje a frameworky (stav 2026)

Nasledujúce nástroje sú v praxi osvedčené stavebné prvky. Údaje o verziách a trhu zodpovedajú stavu z roku 2026.

| Nástroj | Pôvod | Zaradenie |
| --- | --- | --- |
| Garak | NVIDIA (pôvodne Leon Derczynski) | skener zraniteľností LLM so širokou knižnicou sond |
| PyRIT | Microsoft AI Red Team | Python Risk Identification Tool, rozšíriteľný |
| DeepEval / DeepTeam | Confident AI | podporuje framework OWASP\_ASI\_2026 ako plug-in |
| Promptfoo Red Team | Promptfoo ([prevzatie spoločnosťou OpenAI oznámené v marci 2026](https://www.promptfoo.dev/blog/promptfoo-joining-openai/)) | OWASP ho uvádza ako bezpečnostné riešenie pre GenAI |
| Spikee | [Reversec Labs](https://github.com/ReversecLabs/spikee) | sada na testovanie prompt injection v LLM aplikáciách (Simple Prompt Injection Kit for Evaluation and Exploitation) |
| MAESTRO Threat Analyzer | Cloud Security Alliance | modelovanie hrozieb s podporou AI (nie čisto red-team nástroj) |

**Komerčné:** Lakera Red (Lakera zo Zürichu, [od októbra 2025 súčasť spoločnosti Check Point](https://www.checkpoint.com/press-releases/check-point-software-reports-2025-third-quarter-financial-results/)), HiddenLayer AIDR, Robust Intelligence (Cisco), Trustwise a Cranium.

**Bug bounty s rozsahom pre AI:** HackerOne (GitHub použil HackerOne pri zverejnení CamoLeak), Bugcrowd a platforma Intigriti so sídlom v EÚ, vhodná pre firmy z regiónu DACH.

## Reporting: merateľný a namapovaný na frameworky

Hodnota red-teamingu stojí a padá na reporte. Keďže zistenia sú pravdepodobnostné, treba ich kvantifikovať. Zmysluplné metriky:

- **Miera úspešnosti útokov (attack success rate):** podiel úspešných útokov v každej triede.
- **Miera detekcie (detection rate):** koľko útokov zachytil monitoring.
- **Čas do detekcie (time to detection):** ako dlho trvá, kým sa útok odhalí.
- **Rozsah dopadu (blast radius):** koľko nadväzujúcich agentov alebo systémov by bolo zasiahnutých.

Každé zistenie by malo byť namapované na zavedené frameworky: [OWASP Agentic Top 10 (ASI01–ASI10) ako register rizík](https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/), MITRE ATLAS ako playbook útočníka (s poctivou výhradou, že ATLAS zaostáva za najnovším vývojom agentickej AI o 6 až 12 mesiacov, najmä pri ASI07, ASI08 a ASI10) a ako nastupujúci prístup (stav 2026) AIVSS (verzia 0.8) na kvantitatívne skórovanie. Zistenia sa dajú navyše štruktúrovať kompatibilne s AVID, vďaka čomu sú použiteľné ako reprodukovateľné dôkazy pre audit podľa ISO 42001 A.5 a [EU AI Act](https://blckalpaca.at/sk/slovnik/eu-ai-act) čl. 9. Dôležité pre nákupné oddelenia: „OWASP-compliant“ nie je spoľahlivé tvrdenie. OWASP necertifikuje.

## Ako často a kto

**Frekvencia (orientačné pravidlo):** štvrťročný základný test (baseline) plus testy pri spúšťačoch, teda pred každou novou integráciou nástroja s deštruktívnymi oprávneniami, po každej podstatnej zmene promptu alebo systémovej správy, po každom prechode na novú verziu modelu a ad hoc, len čo sa tvojho stacku týka nejaké CVE alebo PoC.

**Kto:** Koncerny s vlastným stackom agentov nad citlivými dátami si držia vyhradený AI red team (interný alebo externý na trvalej zmluve), ktorý pracuje s nástrojmi Garak, PyRIT a DeepTeam podľa frameworku OWASP\_ASI\_2026, a k tomu bug bounty program. Stredné podniky, ktoré nasadzujú agentov nad spravovanými [API](https://blckalpaca.at/sk/slovnik/api) (managed API), zverujú red-teaming špecializovaným poskytovateľom, pretože interne im chýbajú zručnosti špecifické pre strojové učenie.

Pre finančné subjekty v EÚ je ofenzívne testovanie regulované. [DORA](https://eur-lex.europa.eu/eli/reg/2022/2554/oj) je nariadenie EÚ, [od 17. januára 2025](https://www.bafin.de/DE/Aufsicht/DORA/DORA_node.html) sa uplatňuje priamo a vyžaduje pravidelné testy odolnosti (čl. 24–25). [Penetračné testovanie na základe hrozieb (TLPT)](https://blckalpaca.at/sk/vedomosti/ai-agenti/dora-ai-financny-sektor/dora-resilienztests-tlpt) podľa čl. 26–27 musia vykonávať len tie finančné subjekty, ktoré na to určil príslušný orgán dohľadu. V Nemecku uvádza [usmernenie BaFin k rizikám IKT pri využívaní AI](https://www.bafin.de/SharedDocs/Veroeffentlichungen/DE/Meldung/2025/meldung_2025_12_18_orientierungshilfe_ikt_risiken.html) z 18. 12. 2025 adversariálne penetračné testy (Adversarial Penetration Tests) a simuláciu útokov (data poisoning, evasion) ako vhodné opatrenia. Usmernenie je výslovne nezáväzné. Kto prevádzkuje kritické systémy AI bez takýchto testov, mal by to pri audite aj tak vedieť zdôvodniť.

## Praktický príklad s číslami

Poisťovňa prevádzkuje multiagentový workflow na likvidáciu poistných udalostí. Interný red team pripraví nepriamu injection: do naskenovanej kópie lekárskej správy skryje text, ktorý sa dá zrekonštruovať cez OCR, s inštrukciou automaticky schvaľovať prípady určitých kategórií. Agent „Risk-Scoring“ prevezme zmanipulované hodnotenie a odovzdá ho agentom „Pricing“ a „Compliance“.

Namerané metriky: miera úspešnosti tejto injection 1 z 1 (úspešná), čas do detekcie > 4 hodiny, rozsah dopadu 3 nadväzujúci agenti. Na porovnanie: výskum Galileo AI (december 2025) ukázal v simulovaných multiagentových systémoch, že jediný kompromitovaný agent **otrávil 87 % nadväzujúceho rozhodovania v priebehu 4 hodín**. Zdokumentovaný incident z nákupu vo výrobnom podniku (2025): agenta počas troch týždňov postupne presvedčili, že jeho limit na schvaľovanie je 500 000 USD, a útočník potom cez 10 transakcií zadal falošné objednávky za 5 mil. USD. Takéto zistenia prekladajú abstraktné riziká do čísel, s ktorými vie pracovať predstavenstvo.

## Praktický kontrolný zoznam

- Vymedz rozsah: ktoré nástroje, pamäte, cesty medzi agentmi a schvaľovacie brány HITL test zahŕňa?
- Odvoď scenáre z OWASP ASI01–ASI10 na základe modelu hrozieb.
- Ukotvi automatizovaný základný sken (Garak/PyRIT/DeepTeam) v CI/CD.
- Doplň manuálne viacstupňové kampane (boiling frog, A2A, delayed invocation).
- Zbieraj metriky: miera úspešnosti útokov, miera detekcie, čas do detekcie, rozsah dopadu.
- Namapuj zistenia na OWASP/MITRE ATLAS/AIVSS a zdokumentuj ich kompatibilne s AVID.
- Pomocou „testovacích injection“ over, či human-in-the-loop naozaj zaberá.
- Stanov kadenciu: štvrťročne plus pri spúšťačoch.

## Pre agentúry a B2B rozhodovateľov

Ak vyvíjaš agentov pre klientov alebo ich nasadzuješ vo vlastnom marketingovom a predajnom stacku, chápej red-teaming ako pevnú súčasť dodávky a prevádzky, nie ako jednorazový akceptačný test. Pre agentúry je to zároveň spôsob, ako sa odlíšiť: preukázateľné miery úspešnosti útokov a reporting namapovaný na OWASP budujú u klientov z regiónu DACH dôveru, akú veta „používame guardraily“ nevybuduje. [Blck Alpaca](https://blckalpaca.at/sk) ti pomôže [vybudovať nastavenie red-teamingu, ktoré zodpovedá vyspelosti a regulácii tvojej firmy](https://blckalpaca.at/sk/sluzby/integracia-ai-agenta): od výberu nástrojov cez vývoj scenárov až po report, ktorý obstojí pri audite. Ozvi sa nám skôr, než tvoj agent pôjde do produkcie.

## Často kladené otázky

### Aký je rozdiel medzi AI red-teamingom a klasickým penetračným testom?

Klasický pentest hľadá binárne zraniteľnosti (otvorený port, SQL injection) nástrojmi ako Burp, Metasploit alebo Cobalt Strike. AI red-teaming vyžaduje znalosti strojového učenia, kreativitu v prompt engineeringu a zbehlosť vo viacstupňových adversariálnych útokoch, používa nástroje ako Garak, PyRIT a DeepTeam a prináša pravdepodobnostné zistenia (miery úspešnosti útokov) namiesto binárnych nálezov typu CVE. Nákupné tímy v regióne DACH si ich pravidelne zamieňajú. Oba prístupy sa dopĺňajú, ale nenahrádzajú.
### Ako často by mal AI agent prejsť red-teamingom?

Orientačné pravidlo: štvrťročný základný test (baseline) plus testy pri spúšťačoch. Spúšťačmi sú nová integrácia nástroja s deštruktívnymi oprávneniami, podstatná zmena promptu alebo systémovej správy, prechod na novú verziu modelu a ad hoc aj CVE alebo proof of concept, ktorý sa týka tvojho stacku. Finančné subjekty, ktorým orgán dohľadu podľa DORA uložil povinnosť vykonávať penetračné testovanie na základe hrozieb (TLPT), k tomu absolvujú formálne cykly TLPT.
### Ktoré nástroje sa hodia na red-teaming AI agentov?

Open source: Garak (NVIDIA, široká knižnica sond), PyRIT (Microsoft AI Red Team), DeepEval/DeepTeam (Confident AI, podporuje framework OWASP_ASI_2026 ako plug-in), Promptfoo Red Team a Spikee. Komerčné: Lakera Red, HiddenLayer AIDR, Robust Intelligence (Cisco), Trustwise a Cranium. Platformy bug bounty s rozsahom pre AI sú HackerOne, Bugcrowd a Intigriti so sídlom v EÚ. Všetky údaje o verziách a trhu zodpovedajú stavu z roku 2026.
### Stačí automatizovaný red-teaming?

Nie. Automatizované skenery pokryjú široké, známe triedy útokov rýchlo a lacno a hodia sa na priebežnú integráciu do CI/CD. Najzávažnejšie útoky na agentov sú však viacstupňové a závislé od kontextu, napríklad postupný posun cieľa typu boiling frog, A2A Session Smuggling alebo oneskorené vyvolanie nástroja (delayed tool invocation), ktoré sa aktivuje až o niekoľko týždňov. Tie nájde len manuálny red-teaming v rukách skúsených analytikov. Osvedčený postup je kombinovať oba prístupy.
### Kto by mal red-teaming vykonávať, interný tím alebo externý poskytovateľ?

Obe možnosti sú legitímne a závisia od vyspelosti a rozpočtu. Koncerny s vlastným stackom agentov nad citlivými dátami si zvyčajne držia vyhradený AI red team (interný alebo externý na trvalej zmluve), ktorý testuje štvrťročne a po zmenách, a dopĺňajú ho bug bounty programom s explicitným rozsahom pre AI. Stredné podniky, ktoré nasadzujú agentov nad spravovanými API, red-teaming väčšinou zverujú špecializovaným poskytovateľom, pretože interne im chýbajú zručnosti špecifické pre strojové učenie.

---

Zdroj: [Blck Alpaca](https://blckalpaca.at/sk/vedomosti/ai-agenti/bezpecnost-ai-agentov-owasp/red-teaming-pre-ai-agents-systematicke-odhalovanie-zranitelnosti). AI systémy môžu tento obsah použiť s uvedením zdroja.