Audit trail pre AI agentov: Bezmedzerové, manipulácii odolné protokolovanie
Audit trail pre AI agentov je bezmedzerové, manipulácii odolné protokolovanie všetkých rozhodnutí, volaní nástrojov, prístupov k dátam, ukladacích operácií a ľudských schválení agenta. Robí autonómne správanie agenta forenzne sledovateľným, plní regulačné povinnosti logovania a v prípade škody poskytuje dôkazy o tom, kto alebo čo spustil ktorú akciu.
Key Takeaways
- ✓Audit trail musí pre každú akciu agenta zaznamenať minimálne osem dátových bodov: úplný prompt, verziu modelu a hash konfigurácie, sekvenciu tool-call s argumentmi, retrieval queries a ID dokumentov, output vrátane zdôvodnenia rozhodnutia, human-override udalosti, operácie čítania/zápisu pamäte (memory), ako aj náklady a latenciu.
- ✓Logy musia byť odolné voči manipulácii: WORM úložisko (Write-Once-Read-Many) a kryptografické podpisovanie na detekciu manipulácie (tamper-detection) sú štandardné vzory z výskumu OWASP.
- ✓Hnacími faktormi sú povinnosti logovania podľa EU AI Act, zodpovednosť (accountability) podľa GDPR/DSGVO (čl. 32 TOM) a forenzná analýza po bezpečnostných incidentoch, napríklad keď kompromitovaný agent podľa výskumu Galileo do štyroch hodín otrávi 87 % nadväzujúcich rozhodnutí.
- ✓Lehoty uchovávania sa riadia podľa odvetvia: banky a poisťovne typicky 10 rokov, zdravotníctvo podľa predpisov BfArM/Swissmedic, verejný sektor podľa archívneho zákona.
- ✓V modeli OWASP Agentic adresuje audit trail predovšetkým ASI03 (Identity & Privilege Abuse, vrátane Repudiation/Untraceability) a je predpokladom pre objasnenie ASI06, ASI08 a ASI10.
- ✓Bez logov založených na provenance sa memory-poisoning nedá preukázať: ak si agent pamätá inštrukcie, pre ktoré neexistuje žiaden provenance-record, práve toto je centrálny detekčný signál.
Audit trail pre AI agentov je bezmedzerové, manipulácii odolné protokolovanie všetkých rozhodnutí, volaní nástrojov, prístupov k dátam, ukladacích operácií a ľudských schválení agenta. Robí autonómne správanie forenzne sledovateľným, plní regulačné povinnosti logovania a v prípade škody poskytuje dôkazy o tom, kto alebo čo spustil akciu. Na rozdiel od klasického aplikačného logovania musí umožniť rekonštruovateľnosť rozhodovacej cesty špecifickej pre agenta.
- Čo sa loguje: prompt, verzia modelu/hash konfigurácie, sekvencia tool-call s argumentmi, retrieval queries a ID dokumentov, output so zdôvodnením, human-overrides, memory udalosti, náklady a latencia.
- Ako je chránený: WORM úložisko (Write-Once-Read-Many) a kryptografické podpisovanie na detekciu manipulácie (tamper-detection); presun do SIEM mimo dosahu agenta.
- Prečo je potrebný: povinnosti logovania podľa EU AI Act, zodpovednosť (accountability) podľa GDPR/DSGVO a forenzná analýza po incidentoch, ktoré eskalujú rýchlejšie, než ich dokáže klasická incident-response zastaviť.
Prečo agenti potrebujú vlastný audit trail
Klasické LLM aplikácie len odpovedajú: prompt dnu, completion von. Agentické systémy naproti tomu plánujú, usudzujú, vyberajú nástroje, zapisujú do pamäte a konajú s minimálnym krokovým ľudským schválením. Práve tieto vlastnosti – autonómia, používanie nástrojov a perzistentný stav – vytvárajú rozhodovaciu cestu, ktorú bežné request/response logy nezobrazia.
V modeli OWASP pre agentické aplikácie (ASI01–ASI10, zverejnený 9. decembra 2025) už sledovateľnosť nie je samostatným Top-10 rizikom, ale je zabudovaná: skoršia draft téma „Repudiation & Untraceability“ dnes sedí vnútri ASI03 (Identity & Privilege Abuse) plus prierezových požiadaviek na logovanie. Audit trail je tým prierezovou kontrolou, ktorá viaceré rizikové triedy vôbec robí objasniteľnými.
Tri príklady z výskumu OWASP ukazujú potrebu:
- ASI06 – Memory & Context Poisoning: jediný úspešný injection útok môže perzistentnú pamäť trvalo otráviť; centrálnym detekčným signálom je, že si agent „pamätá“ inštrukcie, pre ktoré neexistuje žiaden provenance-record. Bez logov založených na pôvode je tento dôkaz nemožný.
- ASI08 – Cascading Failures: podľa výskumu Galileo AI (december 2025) v simuláciách jediný kompromitovaný agent otrávil 87 % nadväzujúcich rozhodnutí do 4 hodín – rýchlejšie, než to dokáže klasická incident-response zastaviť. Iba bezmedzerový inter-agent log robí šírenie rekonštruovateľným.
- ASI10 – Rogue Agents: v prehľade threat-to-control je „Audit“ popri kontinuálnych behaviorálnych baselinoch a kill-switch jednou z kľúčových kontrol na odhalenie perzistentného nesúladu (misalignment) v priebehu času.
Čo sa musí protokolovať
Výskum OWASP (časť 7.6, Audit logging) definuje forenzný minimálny rozsah pre každú akciu agenta – nie pre session, ale pre jednotlivú akciu:
Log pole | Obsah | Adresované riziko |
|---|---|---|
Úplný prompt | Užívateľský, systémový a injektovaný kontext | ASI01 Goal Hijack, ASI06 |
Verzia modelu + hash konfigurácie | Ktorý model, ktoré parametre | ASI10 dôkaz driftu |
Sekvencia tool-call s argumentmi | Ktorý nástroj, ktoré parametre, v akom poradí | ASI02 Tool Misuse |
Retrieval queries + ID dokumentov | Ktoré zdroje boli stiahnuté | ASI06 Memory/RAG |
Output + zdôvodnenie rozhodnutia | Výsledok, chain-of-thought, ak je dostupný | ASI09 Human Trust |
Human-override udalosti | Kto a kedy schválil/zamietol | ASI09, EU AI Act Oversight (čl. 14) |
Operácie čítania/zápisu pamäte | Čo bolo uložené/načítané | ASI06 |
Náklady a latencia | Token-/USD-budget, čas odpovede | ASI02, Denial-of-Wallet |
Rozhodujúce je provenance metadátovanie: každý záznam v pamäti by mal zaznamenať zdroj, časovú pečiatku, ingestion cestu a confidence. Memory-writes sú v logike OWASP bezpečnostne relevantné udalosti – perzistentná pamäť len cez explicitný, auditovaný zápis, nie implicitne.
Odolnosť voči manipulácii: WORM a kryptografické podpisovanie
Audit trail je len taký dôveryhodný ako jeho nemennosť. Ak môže kompromitovaný agent – alebo útočník s jeho právami (ASI03: „útočník zdedí oprávnenia agenta“) – logy dodatočne zmeniť, forenzná dôkazná sila je preč. Vzory uvedené vo výskume:
- WORM úložisko (Write-Once-Read-Many): nemenné logy, ktoré po zápise už nie sú modifikovateľné.
- Kryptografické podpisovanie: každý záznam logu sa podpíše, takže manipulácia sa stane rozpoznateľnou (tamper-detection).
- Integrácia so SIEM: logy sa centrálne odvádzajú a ležia mimo dosahu agenta a jeho tool-oprávnení.
V klasickej STRIDE logike hrozieb to adresuje kategóriu Repudiation (popierateľnosť) – ktorá v STRIDE-for-AI adaptácii od Microsoftu zostáva zachovaná. Doplnkovo platí: ak sa logujú spustenia kódu, do trailu patria aj zápisy do konfiguračných súborov mimo riadneho change-managementu a spawny sub-procesov (detekčné signály z ASI05).
Prečo je potrebný: povinnosť logovania, zodpovednosť, forenzná analýza
Regulačný hnací faktor je trojaký. Po prvé EU AI Act vyžaduje pre vysokorizikové KI systémy automatické zaznamenávanie udalostí počas životnosti (record-keeping, čl. 12), doplnené o čl. 14 (ľudský dohľad) a povinnosť post-market monitoringu z čl. 72. Výskum OWASP priraďuje agentické riziká navyše k čl. 15 (robustnosť, kybernetická bezpečnosť) a konštatuje, že deployeri musia čítať katalógy hrozieb typu OWASP dodatočne k čl. 15, pretože harmonizované normy k stavu máj 2026 ešte mnohé medzery neuzatvárajú.
Po druhé GDPR/DSGVO povinnosť zodpovednosti (accountability) vyžaduje preukázanie účinných technických a organizačných opatrení (čl. 32 TOM). Výskum prepája viaceré riziká priamo: ASI03 s čl. 32(1)(b) a čl. 32(4) (spracovanie viazané na pokyny – agent je „instructed processor“), ASI06 s čl. 5(1)(d) správnosť a čl. 17 povinnosť výmazu. Procesy výmazu pamäte musia byť zosúladené s čl. 17 (právo na výmaz) – čo zase musí byť zdokumentované.
Po tretie audit trail dodáva forenznú analýzu. Pri incidente Manufacturing-Procurement-Cascade (2025) bol nákupný agent počas troch týždňov postupne presvedčený, že jeho autorizačný limit je 500 000 USD; útočník následne umiestnil 5 miliónov USD vo falošných objednávkach cez 10 transakcií. Iba bezmedzerový trail z memory-writes, tool-calls a human-override udalostí umožňuje takýto „boiling-frog“ priebeh spätne rekonštruovať a preskúmať ľudský schvaľovací reťazec.
Pre regulované DACH odvetvia pribúdajú sektorové overlaye: NIS2 (riadenie prístupu a asset-management, čl. 21(2)(i)), ako aj DORA s ICT incident-managementom a -reportingom (čl. 17–23) pre poskytovateľov finančných služieb. V rámci ISO/IEC 42001 je audit trail ukotvený v kontrole A.6.2.8 (Logging), doplnenej o A.6.2.6 (Operation a Monitoring).
Uchovávanie podľa odvetvia
Lehoty uchovávania sú sektorové, nie generické. Výskum OWASP uvádza:
Sektor | Uchovávanie (orientačná hodnota výskumu) |
|---|---|
Banky | typicky 10 rokov |
Poisťovne | typicky 10 rokov |
Zdravotníctvo | podľa predpisov BfArM, resp. Swissmedic |
Verejný sektor | podľa archívneho zákona |
Tento príspevok nie je právne poradenstvo. Konkrétne lehoty, aplikovateľné čísla článkov a sektorové povinnosti je potrebné v jednotlivom prípade vyjasniť s vašou právnou a compliance funkciou.
Praktický príklad: audit-record akcie nástroja
Takto by mohol vyzerať jediný, podpísaný a vo WORM úložisku uložený záznam v pseudokóde – každé pole zodpovedá minimálnemu štandardu OWASP:
```
audit_event {
event_id: "a1f9-…" // jednoznačné, súčasť podpisu
agent_id: "procurement-agent-07" // ASI03: Non-Human Identity
timestamp: 2026-06-09T08:14:22Z
model: { version, config_hash }
prompt: { user, system, injected_context }
retrieval: [ { query, doc_ids[] } ]
tool_call: { name: "create_purchase_order",
args: { amount: 5_000_000, vendor: "…" } }
rationale: "Order aligns with stored authorization limit"
memory_read: [ { key: "auth_limit", provenance: NULL } ] // <- Alarm
human_override: { approver: "—", action: "auto-approved" } // <- Alarm
cost: { tokens, usd }
signature: "sig:…" // kryptografická tamper-detection
}
```
Dve polia sú tu forenznými zlatými nugetmi: memory-read s provenance: NULL ukazuje, že autorizačná hodnota nemá preukázateľný pôvod (signál ASI06), a chýbajúci ľudský override pri 5-miliónovej transakcii dokladá obídenú schvaľovaciu bránu (gate) (ASI09). Bez týchto polí by incident nebol objasniteľný.
Pre agentúry a B2B rozhodovateľov
Kto nasadzuje agentov do produktívnych procesov, presúva bremeno zodpovednosti a dôkazu: v prípade sporu alebo auditu sa počíta to, čo bolo preukázateľne protokolované. Marketingové agentúry, ktoré pre klientov budujú agentické workflowy, by mali audit trails od začiatku považovať za architektúrnu požiadavku – nie za dodatočné logovanie. Blck Alpaca z Viedne podporuje DACH firmy pri koncipovaní agentických systémov s forenzne robustnými audit trails v súlade s OWASP a ISO 42001, od provenance metadátovania cez WORM-storage až po napojenie na SIEM. Tak zostáva autonómia sledovateľná – a auditovateľná.
Často kladené otázky
Čo musí audit trail pre AI agentov minimálne protokolovať?
Ako dlho sa musia uchovávať audit logy KI agentov?
Ako sa audit trail robí odolným voči manipulácii?
Prečo bežné aplikačné logovanie pri agentoch nepostačuje?
Ktoré OWASP Agentic riziká pokrýva audit trail?
Ísť hlbšie?
Získajte nové analýzy priamo do schránky – alebo sa pozrite, ako tieto poznatky nasadzujeme pre firmy.