Zabránenie Memory Poisoning: zabezpečenie dlhodobej a vektorovej pamäte AI agentov

Memory Poisoning označuje cielené vkladanie manipulovaného obsahu do dlhodobej alebo vektorovej pamäte AI agenta. Na rozdiel od jednorazovej prompt injection, ktorá pôsobí len v rámci jednej odpovede, ostáva škodlivý obsah perzistentne uložený. Pri každom neskoršom načítaní kompromituje správanie agenta. V zozname OWASP Top 10 for Agentic Applications 2026 je táto hrozba uvedená ako ASI06 (Memory & Context Poisoning).

Rozhodujúci rozdiel oproti obyčajným chatbotom: tie medzi reláciami zabúdajú, kým agentické systémy udržiavajú perzistentnú pamäť: históriu konverzácií, preferencie používateľov, naučený kontext a úložiská RAG. Práve to vytvára trvalú útočnú plochu. Útočníkovi stačí jedna injekcia, payload potom pôsobí neobmedzene ďalej a každá budúca relácia zdedí kompromitáciu.

• Perzistencia je hlavné riziko: Jediný úspešný zápis môže pamäť trvalo otráviť, manipulácia prežije týždne bežnej prevádzky.
• Kritickým momentom je načítanie, nie vstup: Škoda nevzniká pri zápise, ale až keď sa otrávený záznam neskôr načíta a agent ho spracuje ako dôveryhodný kontext.
• Validácia pri zápise plus evidencia pôvodu plus audity pamäte sú tri nosné piliere obrany, žiadne jednotlivé opatrenie nestačí.

Útočné vektory: ako sa obsah dostáva do pamäte

Memory Poisoning využíva viacero vstupných brán, ktoré sa dajú čiastočne kombinovať. Agent nedokáže spoľahlivo rozlíšiť inštrukciu od údajov, každý text, ktorý prečíta a uloží, je súčasťou útočnej plochy.

• Priama injekcia do pamäte: Agent uloží nepriateľský obsah s vysokou mierou istoty ako naučený fakt.
• Otrávenie úložiska RAG: Manipulovaný obsah sa dostane do referencovanej znalostnej databázy.
• Manipulácia embeddingov: Adversariálne vstupy v priestore embeddingov posúvajú sémantickú reprezentáciu.
• Delayed Tool Invocation: Spúšťacie frázy aktivujú payload až o týždne neskôr, ako spáč v pamäti.
• Vloženie do vektorového úložiska (vector-store insertion): Útoky na embeddingy zdieľané naprieč tenantmi prenášajú otravu cez hranice tenantov.

Riziko perzistencie: prečo je pamäť nebezpečnejšia ako vstup

Záludnosť Memory Poisoningu spočíva v časovom oddelení útoku a účinku. Otrávená pamäť vedie k posunu správania (behavioral drift), ktorý nastáva bez zmeny kódu alebo modelu, a tým uniká klasickým kontrolám riadenia zmien. Ako spoľahlivo pôsobia otrávené záznamy, ktoré sa prejavia až neskôr, ukazuje preprint Hidden in Memory: Sleeper Memory Poisoning in LLM Agents z mája 2026: pripravené dokumenty, webové stránky alebo repozitáre priviedli asistentov založených na LLM k tomu, že si o používateľovi uložili vymyslené spomienky. Keď sa tieto záznamy neskôr načítali, spustili v závislosti od modelu v 60 až 89 percentách vyhodnotení akciu agenta, ktorú útočník zamýšľal.

Pre B2B scenáre v regióne DACH sú obzvlášť relevantné tri vzorce:

• Poisťovňa s agentom na triáž poistných udalostí: Agent sa z jediného otráveného príkladu naučí, že „poistníci z PSČ X sa schvaľujú prednostne“. Toto skreslenie typu spáč prežije týždne bežnej prevádzky.
• Prevádzkovateľ kritickej infraštruktúry s agentom na prediktívnu údržbu: Z otrávenej telemetrie sa agent naučí, že istá prahová hodnota vibrácií je „normálna“, spáč, ktorý môže prispieť k výpadku.
• Agent pre compliance v banke: Chápanie „podozrivej aktivity“ sa postupne posúva v dôsledku dlhodobého otravovania pamäte relácie.

Protiopatrenia: štyri obranné úrovne

Účinná obrana proti Memory Poisoningu sleduje princíp hĺbkovej obrany (defense in depth) na úrovniach návrh, build, runtime a prevádzka. Žiadna jednotlivá vrstva nestačí, rozhoduje kombinácia.

Validácia a evidencia pôvodu ako jadro

Najúčinnejšia páka je samotný zápis. Každý záznam v pamäti by mal niesť metadáta o pôvode: zdroj, časovú pečiatku, vstupnú cestu a mieru istoty. Pri načítaní skóre dôveryhodnosti zdroja (source-confidence score) váži záznamy podľa toho, nakoľko sa im dá dôverovať. Záznamy, ktoré nemožno priradiť k žiadnemu overiteľnému zdroju, sa nesmú považovať za overené poznatky. Obsah by sa mal pred vytvorením embeddingu validovať a označiť podľa úrovne dôvery (trust tier), napríklad „interne overené“, „externe nepotvrdené“, „vytvorené používateľom“.

Oddelenie dôveryhodných zdrojov a izolácia tenantov

Vektorové úložiská potrebujú riadenie prístupu na úrovni riadkov alebo menných priestorov. Úložiská embeddingov sa nikdy nesmú zdieľať cez hranice tenantov, každý tenant dostane samostatný vektorový index. Pamäť sa šifruje v pokoji (at rest), ideálne kľúčmi spravovanými zákazníkom. Proti inverzii embeddingov pomáha obmedzenie frekvencie dopytov, diferenciálne súkromie (differential privacy) na embeddingoch a detekcia anomálií v priestore embeddingov.

Audity pamäte a signály na detekciu

Audity pamäte kontrolujú vzorky obsahu a overujú ich pôvod. Na Memory Poisoning poukazujú tieto signály:

• Posun základného správania agenta bez zmeny kódu alebo modelu.
• Neoveriteľné záznamy v pamäti bez evidencie pôvodu.
• Sémantické odľahlé hodnoty vo vektorovom úložisku.
• Agent tvrdí, že si „pamätá“ inštrukcie, pre ktoré neexistuje evidencia pôvodu.

Úplné auditné logovanie každej akcie agenta (stav 2026) by malo zahŕňať aspoň udalosti zápisu do pamäte a čítania z nej, vyhľadávacie dopyty s vrátenými ID dokumentov a zdôvodnenie rozhodnutia, ideálne ako WORM logy (write-once-read-many) s kryptografickým podpisom na odhalenie manipulácie.

Konkrétny príklad: Delayed Tool Invocation

Google Gemini Memory Attack (február 2025, zdokumentoval Johann Rehberger) názorne ukazuje tento mechanizmus. Nahratý dokument obsahoval skryté prompty, ktoré Gemini inštruovali, aby nepravdivé informácie uložil až vtedy, keď sa v budúcej konverzácii objavia spúšťacie slová ako „yes“, „no“ alebo „sure“. Výsledok: Gemini si výskumníka „pamätal“ ako 102-ročného zástancu teórie plochej Zeme. Google zaradil riziko medzi riziká zneužitia s nízkou pravdepodobnosťou a nízkym dopadom.

V pseudokóde možno útok načrtnúť takto:

```

Fáza 1. Injekcia (jednorazovo, cez manipulovaný dokument)

AK vstup_pouzivatela OBSAHUJE spustacie_slovo ("yes" | "no" | "sure"):
memory.zapis(zaznam="Používateľ má 102 rokov", istota=vysoka)
# žiadna evidencia pôvodu, žiadna validácia pri zápise

Fáza 2. Aktivácia (o týždne neskôr, ľubovoľná relácia)

pri nacitani: memory.citaj("Profil používateľa")
-> vráti otrávený záznam ako overený fakt
```

Obrana s validáciou pri zápise by záznam vo fáze 1 odmietla: žiadna dohľadateľná evidencia pôvodu, externý a neoverený zdroj, nízka úroveň dôvery. Pri načítaní vo fáze 2 by váženie podľa dôveryhodnosti zdroja záznam zaradilo nižšie. Pri útoku Calendar Invite Poisoning (Targeted Promptware Attacks, 2025) manipulované pozvánky v kalendári implantovali perzistentné inštrukcie do funkcie „Saved Info“ v Gemini. Autori ohodnotili 73 percent analyzovaných hrozieb ako High až Critical (Nassi et al. 2025). Týchto 14 scenárov siaha od spamu až po ovládanie zariadení inteligentnej domácnosti.

Ukotvenie compliance v Nemecku a Rakúsku

Memory Poisoning je technická aj regulačná téma. Obsahovo zodpovedá ASI06 technike MITRE ATLAS AML.T0080 (AI Agent Context Poisoning), samotný Memory Poisoning konkrétne podtechnike AML.T0080.000 (Memory). Obe pribudli v rámci spolupráce so spoločnosťou Zenity z októbra 2025. Úzko príbuzná je už predtým existujúca technika AML.T0020 (Poison Training Data), ktorá ako tréningový náprotivok predchádza ASI06. Samotný dokument OWASP k Top 10 for Agentic Applications priraďuje ASI06 k hrozbe T1 Memory Poisoning z príručky OWASP Agentic AI Threats and Mitigations. Pre nasadzujúce subjekty v Nemecku a Rakúsku sú relevantné tieto oporné body (stav 2026):

• GDPR: čl. 5(1)(d) (správnosť), čl. 17 (právo na vymazanie), čl. 32 (technické a organizačné opatrenia).
• EU AI Act: čl. 10 (správa údajov) a čl. 15 (kybernetická bezpečnosť), oba len pre vysokorizikové systémy AI. Útoky typu embedding inversion zatiaľ nie sú v normách osobitne kodifikované, túto medzeru zaceľuje nasadzujúci subjekt.
• ISO/IEC 42001: A.7 (údaje pre systémy AI), A.7.4 (kvalita údajov), A.6.2.8 (logovanie).

Postupy mazania pamäte musia byť zladené s GDPR čl. 17. Právo na vymazanie platí pre osobné údaje bez ohľadu na miesto uloženia, a teda aj pre perzistentné úložiská agentov a úložiská embeddingov, pokiaľ obsahujú osobné údaje.

Pre agentúry a B2B rozhodovateľov

Kto nasadzuje agentickú AI pre zákazníkov alebo vo vlastnej prevádzke, nemal by bezpečnosť pamäte riešiť až dodatočne ako detail. Pred každým nasadením si ujasni tri otázky: Ktoré zdroje vôbec smú zapisovať do perzistentnej pamäte? Nesie každý záznam metadáta o pôvode? Sú indexy tenantov čisto oddelené? Pre marketingové a digitálne agentúry, ktoré prevádzkujú agentické systémy pre viacerých zákazníkov, je izolácia vektorových úložísk medzi tenantmi najdôležitejšou jednotlivou pákou, kontaminácia pamäte medzi tenantmi ohrozuje dôveru a zároveň zakladá riziko zodpovednosti. Blck Alpaca pomáha firmám v Nemecku a Rakúsku nastaviť validáciu pamäte, koncepty evidencie pôvodu a pravidelné audity pamäte v súlade s OWASP ASI06, EU AI Act a GDPR, pragmaticky a tak, aby obstáli pri audite.