Red-teaming pre AI agentov: systematické odhaľovanie zraniteľností

Red-teaming pre AI agentov označuje systematické simulované útoky na AI agentov s cieľom odhaliť zraniteľnosti, ako sú prompt injection, jailbreaky, zneužitie nástrojov a únik dát, skôr než ich využijú skutoční útočníci. Kombinuje automatizované útočné nástroje s manuálnou kreativitou pri viacstupňových útokoch a prináša merateľné zistenia, napríklad miery úspešnosti útokov, namiesto binárnych zoznamov zraniteľností. Na rozdiel od funkčného testu sa nepýta „funguje agent?“, ale „ako sa dá zneužiť proti svojmu skutočnému účelu?“.

Tento článok je súčasťou hubu „Bezpečnosť AI agentov podľa OWASP“ a konkretizuje, ako ofenzívne preveríš riziká katalogizované v OWASP Agentic Top 10 (ASI01–ASI10).

Tri rýchle odpovede

• Na čo sa útočí? Na útočnú plochu špecifickú pre agentov. Okrem modelu sú to volania nástrojov, perzistentná pamäť, komunikácia medzi agentmi a human-in-the-loop. Cieľom je odhaliť goal hijack, zneužitie nástrojov, otrávenie pamäte (memory poisoning) a únik dát.
• Čím? Open-source skenermi (Garak, PyRIT, DeepTeam, Promptfoo) na plošné pokrytie, manuálnym red-teamingom na viacstupňové útoky a bug bounty programom na dlhodobé pokrytie.
• Ako často? Štvrťročný základný test (baseline) plus testy pri spúšťačoch (nové nástroje, zmeny promptov, upgrady modelov, akútne CVE).

Prečo AI red-teaming nie je klasický pentest

Najdôležitejšie vymedzenie na úvod: AI red-teaming nie je synonymom tradičného penetračného testu. Nákupné tímy v regióne DACH si ich pravidelne zamieňajú. Keď akceptujú pentest pomocou Burp Suite ako „dôkaz bezpečnosti AI“, má to nákladné následky.

Rozdiely sú zásadné:

AI agent sa v klasickom zmysle často vôbec „nezlomí“. Riadi sa inštrukciami, ktoré mu útočník podsunul ako legitímne. Keďže agenti ani model, na ktorom bežia, nedokážu spoľahlivo odlíšiť inštrukcie od dát, každý text, ktorý agent prečíta, je súčasťou útočnej plochy. To si vyžaduje inú disciplínu testovania.

Aké zraniteľnosti red team cielene hľadá

Red-teaming postupne prechádza triedy hrozieb špecifické pre agentov z OWASP Agentic Top 10. V praxi to znamená cielene skonštruovať tieto útoky:

• Prompt injection / goal hijack (ASI01). Priama a nepriama injection, skryté inštrukcie v dokumentoch, v korpuse RAG, v e-mailoch, pozvánkach do kalendára, opisoch pull requestov alebo vo výstupoch nástrojov. Obzvlášť zákerný je viackolový drift typu „boiling frog“: každý jednotlivý krok pôsobí vierohodne, kumulatívna trajektória je však škodlivá.
• Jailbreaky. Obídenie bezpečnostných mantinelov s cieľom vyvolať zakázané akcie alebo obsah.
• Zneužitie nástrojov (ASI02). Legitímna funkcia (napr. send_email) sa použije na iný účel; útočník zneužije režimy auto-approve alebo „YOLO“, ktoré vypínajú potvrdzovacie dialógy.
• Otrávenie pamäte a kontextu (ASI06). Raz podstrčený obsah natrvalo otrávi perzistentnú pamäť; „delayed tool invocation“ sa aktivuje až o niekoľko týždňov, keď padne spúšťacie slovo.
• Únik dát. Exfiltrácia cez zmanipulované obrázky v Markdowne, reťazce presmerovaní alebo zneužité proxy.
• Útoky medzi agentmi (ASI07) a zneužitie dôvery medzi človekom a agentom (ASI09). Falšované správy medzi agentmi a cielené obchádzanie ľudskej schvaľovacej vrstvy pomocou suverénne formulovaných, no zmanipulovaných odporúčaní.

Reálnosť týchto útokov dokladajú zdokumentované incidenty: EchoLeak (CVE-2025-32711, CVSS 9,3 podľa Microsoftu) bol prvý reálny zero-click útok typu prompt injection v produkčnom LLM systéme a obišiel klasifikátor XPIA (Cross-Prompt Injection Attempt) od Microsoftu. CamoLeak (CVSS 9,6) cez vlastnú proxy GitHubu pre obrázky Camo znak po znaku vyniesol súkromné tajomstvá (secrets) z repozitárov a zdrojový kód. Oba prípady ukazujú, že každý zverejnený guardrail kompetentní výskumníci v priebehu mesiacov obišli.

Postup: automatizovaný vs. manuálny

Vyspelý red-teaming kombinuje dva režimy, ktoré sa dopĺňajú.

Automatizovaný režim znamená škálovanie a opakovateľnosť. Skenery spúšťajú proti agentovi rozsiahle knižnice testovacích sond (probes) a merajú, aký podiel z nich prejde. Hodia sa na priebežnú integráciu do CI/CD a na regresné testy po každej zmene. Slabina: nachádzajú prevažne známe vzory útokov.

Manuálny režim znamená kreativitu a kontext. Skúsení analytici zostavujú viacstupňové kampane šité na mieru konkrétnemu agentovi, teda presne tie útoky, ktoré skenery prehliadnu. Príklady z výskumu: „Agent Session Smuggling“ proti protokolu A2A (Palo Alto Unit 42, 31. októbra 2025) nie je jednorazová injection, ale pretrvávajúca kampaň sociálneho inžinierstva, ktorú vedie agent proti agentovi. A2A vyvinul Google, od júna 2025 protokol spravuje Linux Foundation. Útok na pamäť Google Gemini (Johann Rehberger, február 2025) využil „delayed tool invocation“ na časovo posunuté otrávenie pamäte.

Nástroje a frameworky (stav 2026)

Nasledujúce nástroje sú v praxi osvedčené stavebné prvky. Údaje o verziách a trhu zodpovedajú stavu z roku 2026.

Komerčné: Lakera Red (Lakera zo Zürichu, od októbra 2025 súčasť spoločnosti Check Point), HiddenLayer AIDR, Robust Intelligence (Cisco), Trustwise a Cranium.

Bug bounty s rozsahom pre AI: HackerOne (GitHub použil HackerOne pri zverejnení CamoLeak), Bugcrowd a platforma Intigriti so sídlom v EÚ, vhodná pre firmy z regiónu DACH.

Reporting: merateľný a namapovaný na frameworky

Hodnota red-teamingu stojí a padá na reporte. Keďže zistenia sú pravdepodobnostné, treba ich kvantifikovať. Zmysluplné metriky:

• Miera úspešnosti útokov (attack success rate): podiel úspešných útokov v každej triede.
• Miera detekcie (detection rate): koľko útokov zachytil monitoring.
• Čas do detekcie (time to detection): ako dlho trvá, kým sa útok odhalí.
• Rozsah dopadu (blast radius): koľko nadväzujúcich agentov alebo systémov by bolo zasiahnutých.

Každé zistenie by malo byť namapované na zavedené frameworky: OWASP Agentic Top 10 (ASI01–ASI10) ako register rizík, MITRE ATLAS ako playbook útočníka (s poctivou výhradou, že ATLAS zaostáva za najnovším vývojom agentickej AI o 6 až 12 mesiacov, najmä pri ASI07, ASI08 a ASI10) a ako nastupujúci prístup (stav 2026) AIVSS (verzia 0.8) na kvantitatívne skórovanie. Zistenia sa dajú navyše štruktúrovať kompatibilne s AVID, vďaka čomu sú použiteľné ako reprodukovateľné dôkazy pre audit podľa ISO 42001 A.5 a EU AI Act čl. 9. Dôležité pre nákupné oddelenia: „OWASP-compliant“ nie je spoľahlivé tvrdenie. OWASP necertifikuje.

Ako často a kto

Frekvencia (orientačné pravidlo): štvrťročný základný test (baseline) plus testy pri spúšťačoch, teda pred každou novou integráciou nástroja s deštruktívnymi oprávneniami, po každej podstatnej zmene promptu alebo systémovej správy, po každom prechode na novú verziu modelu a ad hoc, len čo sa tvojho stacku týka nejaké CVE alebo PoC.

Kto: Koncerny s vlastným stackom agentov nad citlivými dátami si držia vyhradený AI red team (interný alebo externý na trvalej zmluve), ktorý pracuje s nástrojmi Garak, PyRIT a DeepTeam podľa frameworku OWASP_ASI_2026, a k tomu bug bounty program. Stredné podniky, ktoré nasadzujú agentov nad spravovanými API (managed API), zverujú red-teaming špecializovaným poskytovateľom, pretože interne im chýbajú zručnosti špecifické pre strojové učenie.

Pre finančné subjekty v EÚ je ofenzívne testovanie regulované. DORA je nariadenie EÚ, od 17. januára 2025 sa uplatňuje priamo a vyžaduje pravidelné testy odolnosti (čl. 24–25). Penetračné testovanie na základe hrozieb (TLPT) podľa čl. 26–27 musia vykonávať len tie finančné subjekty, ktoré na to určil príslušný orgán dohľadu. V Nemecku uvádza usmernenie BaFin k rizikám IKT pri využívaní AI z 18. 12. 2025 adversariálne penetračné testy (Adversarial Penetration Tests) a simuláciu útokov (data poisoning, evasion) ako vhodné opatrenia. Usmernenie je výslovne nezáväzné. Kto prevádzkuje kritické systémy AI bez takýchto testov, mal by to pri audite aj tak vedieť zdôvodniť.

Praktický príklad s číslami

Poisťovňa prevádzkuje multiagentový workflow na likvidáciu poistných udalostí. Interný red team pripraví nepriamu injection: do naskenovanej kópie lekárskej správy skryje text, ktorý sa dá zrekonštruovať cez OCR, s inštrukciou automaticky schvaľovať prípady určitých kategórií. Agent „Risk-Scoring“ prevezme zmanipulované hodnotenie a odovzdá ho agentom „Pricing“ a „Compliance“.

Namerané metriky: miera úspešnosti tejto injection 1 z 1 (úspešná), čas do detekcie > 4 hodiny, rozsah dopadu 3 nadväzujúci agenti. Na porovnanie: výskum Galileo AI (december 2025) ukázal v simulovaných multiagentových systémoch, že jediný kompromitovaný agent otrávil 87 % nadväzujúceho rozhodovania v priebehu 4 hodín. Zdokumentovaný incident z nákupu vo výrobnom podniku (2025): agenta počas troch týždňov postupne presvedčili, že jeho limit na schvaľovanie je 500 000 USD, a útočník potom cez 10 transakcií zadal falošné objednávky za 5 mil. USD. Takéto zistenia prekladajú abstraktné riziká do čísel, s ktorými vie pracovať predstavenstvo.

Praktický kontrolný zoznam

• Vymedz rozsah: ktoré nástroje, pamäte, cesty medzi agentmi a schvaľovacie brány HITL test zahŕňa?
• Odvoď scenáre z OWASP ASI01–ASI10 na základe modelu hrozieb.
• Ukotvi automatizovaný základný sken (Garak/PyRIT/DeepTeam) v CI/CD.
• Doplň manuálne viacstupňové kampane (boiling frog, A2A, delayed invocation).
• Zbieraj metriky: miera úspešnosti útokov, miera detekcie, čas do detekcie, rozsah dopadu.
• Namapuj zistenia na OWASP/MITRE ATLAS/AIVSS a zdokumentuj ich kompatibilne s AVID.
• Pomocou „testovacích injection“ over, či human-in-the-loop naozaj zaberá.
• Stanov kadenciu: štvrťročne plus pri spúšťačoch.

Pre agentúry a B2B rozhodovateľov

Ak vyvíjaš agentov pre klientov alebo ich nasadzuješ vo vlastnom marketingovom a predajnom stacku, chápej red-teaming ako pevnú súčasť dodávky a prevádzky, nie ako jednorazový akceptačný test. Pre agentúry je to zároveň spôsob, ako sa odlíšiť: preukázateľné miery úspešnosti útokov a reporting namapovaný na OWASP budujú u klientov z regiónu DACH dôveru, akú veta „používame guardraily“ nevybuduje. Blck Alpaca ti pomôže vybudovať nastavenie red-teamingu, ktoré zodpovedá vyspelosti a regulácii tvojej firmy: od výberu nástrojov cez vývoj scenárov až po report, ktorý obstojí pri audite. Ozvi sa nám skôr, než tvoj agent pôjde do produkcie.