Monitorovanie AI agentov pomocou LangSmith a Langfuse: observability pre bezpečných AI agentov

Monitorovanie AI agentov (agent observability) je úplné zaznamenávanie a vyhodnocovanie toho, čo AI agent robí: trace, volania nástrojov, náklady na tokeny, latencia, chyby a eval skóre. Nástroje ako LangSmith a Langfuse robia rozhodovacie cesty agenta dohľadateľnými, a preto sú predpokladom bezpečnosti, ladenia a compliance. Na rozdiel od klasického monitorovania aplikácií musí zachytiť celé viacstupňové reťazce uvažovania, nie jednotlivé požiadavky.

Tri najdôležitejšie body na úvod:

• Čo sledovať: trace (celý reťazec uvažovania), volania nástrojov s argumentmi, spotrebu tokenov a náklady, latenciu na krok, chyby a eval skóre kvality odpovedí.
• Ktoré nástroje: LangSmith (komerčný, úzko prepojený s LangChain, región EÚ k dispozícii), Langfuse (open source, dá sa hostovať vo vlastnej infraštruktúre, región EÚ) a doplnkovo Arize Phoenix, Weights & Biases Weave, Datadog LLM Observability a OpenTelemetry pre GenAI trace.
• Prečo je to kritické: bez observability zostávajú hrozby OWASP Agentic ako Goal Hijack alebo Memory Poisoning neviditeľné a požiadavky compliance z ISO 42001, EU AI Act (pre vysokorizikové systémy) a DORA sa nedajú splniť.

Prečo agenti potrebujú vlastnú observability

Klasické aplikácie jazykových modelov reagujú: prompt dnu, odpoveď von. Agentické systémy naopak plánujú, uvažujú rekurzívne, vyberajú nástroje, zapisujú do perzistentnej pamäte a konajú s minimálnym schvaľovaním jednotlivých krokov. Tento posun zväčšuje plochu pre útoky a chyby pozdĺž troch osí: autonómia (viacstupňové plány, samomodifikácia kontextu), používanie nástrojov (súborový systém, API, databázy, sandboxy na spúšťanie kódu, MCP servery) a perzistencia (dlhodobá pamäť, vektorové databázy, reťazce dôvery medzi agentmi).

Práve preto nestačí log požiadaviek. Celú trajektóriu agenta musí byť možné zrekonštruovať, inak sa nedá spätne dohľadať ani chyba, ani útok, ani halucinácia. V referenčnej architektúre MAESTRO od Cloud Security Alliance tvorí observability samostatnú vrstvu (Layer 5: Evaluation & Observability), ktorá sa sama stáva cieľom útoku: otrávené observability dáta, obchádzanie monitoringu a kompromitované vyhodnocovanie sú tam uvedené ako hrozby.

Čo konkrétne sledovať

Pre forenznú úplnosť zaznamenaj pri každej akcii agenta minimálne nasledujúce údaje. Tento zoznam je praktickým jadrom každej stratégie monitorovania:

• Úplný prompt: používateľský a systémový prompt aj vložený kontext (rozhodujúci pre odhalenie nepriamej prompt injection).
• Verzia modelu a hash konfigurácie: reprodukovateľnosť a dôkaz o zmenách.
• Sekvencia volaní nástrojov s argumentmi: ktorý nástroj bol zavolaný, kedy a s akými parametrami.
• Retrieval dopyty a vrátené ID dokumentov: dohľadateľnosť podkladov pre RAG.
• Výstup a zdôvodnenie rozhodnutia: vrátane chain-of-thought, ak je k dispozícii.
• Udalosti human override: každé schválenie alebo oprava človekom.
• Zápisy do pamäte a čítania z pamäte: kritické pre odhalenie Memory Poisoning.
• Náklady a latencia: na každý krok, pre hospodárnosť a detekciu anomálií.

Do monitorovania patria aj eval skóre: automatizované alebo modelom vykonávané hodnotenia kvality odpovedí (správnosť, groundedness, miera halucinácií), ktoré sa porovnávajú naprieč verziami. LangSmith aj Langfuse podporujú takéto vyhodnocovacie pipeline, ktorými sa dajú odhaliť regresie ešte pred nasadením do produkcie.

Na uchovávanie sa odporúča úložisko WORM (write-once-read-many, teda nemenné logy) a kryptografické podpisovanie na odhalenie manipulácie. Lehoty uchovávania závisia od odvetvia a krajiny. Pre vysokorizikové AI systémy stanovuje EU AI Act spravidla aspoň šesť mesiacov (pozri nižšie), k tomu pribúdajú odvetvové predpisy vo finančnom sektore, v zdravotníctve (BfArM v Nemecku, BASG v Rakúsku, Swissmedic vo Švajčiarsku) a vo verejnom sektore (archívne právo). Keďže úplné prompty môžu obsahovať osobné údaje, musíš uchovávanie vo WORM a dlhé lehoty zosúladiť s GDPR: zásady minimalizácie údajov a minimalizácie uchovávania podľa čl. 5 a právo na vymazanie podľa čl. 17 sa s nemennými dlhodobými logmi zle znášajú. Konflikt zmierniš napríklad tým, že osobné údaje pred logovaním pseudonymizuješ.

Prehľad nástrojov: zameranie a hosting

LangSmith a Langfuse sú v centre tohto článku, tabuľka ich zaraďuje vedľa ďalších nástrojov. Pre manažérov s rozhodovacou právomocou v regióne DACH je popri rozsahu funkcií dôležitý najmä hosting, pretože rezidencia dát v EÚ alebo vo Švajčiarsku je v regulovaných odvetviach často rozhodujúcim kritériom. Oba nástroje ponúkajú spravovaný cloud s regiónom EÚ (LangSmith, Langfuse). Rozdiel je v self-hostingu: Langfuse je open source a dá sa hostovať vo vlastnej infraštruktúre aj bez enterprise zmluvy, LangSmith vo vlastnej infraštruktúre beží len v pláne Enterprise.

Ako ďalšie stavebné prvky sa dajú pripojiť všeobecné observability platformy ako Honeycomb alebo Splunk. Kto sa chce vyhnúť závislosti od dodávateľa (lock-in), inštrumentuje cez OpenTelemetry a trace posiela na platformu podľa vlastného výberu.

Na susednom trhu guardrailov pôsobí Lakera, poskytovateľ zo Zürichu, ktorý od októbra 2025 patrí spoločnosti Check Point. Pri všetkých poskytovateľoch platí: benchmarky a miery detekcie, ktoré poskytovatelia zverejňujú sami, treba považovať za marketing, kým ich niekto nezávisle neoverí.

Prečo je monitorovanie bezpečnostnou a compliance infraštruktúrou

Observability je základ, na ktorom detekcia vôbec funguje. Hrozby z OWASP Top 10 for Agentic Applications 2026 sa dajú takmer bez výnimky odhaliť len cez signály z monitoringu:

• Agent Goal Hijack (ASI01): netypické odchádzajúce URL vo výstupoch agenta, volania nástrojov, ktoré nezodpovedajú požiadavke používateľa, náhle zmeny témy v trace uvažovania; všetko je viditeľné len vtedy, keď je trace úplný.
• Tool Misuse (ASI02): anomálne frekvencie volaní nástrojov, nezvyčajné sekvencie volaní, deštruktívne operácie krátko po prijatí externého obsahu.
• Memory & Context Poisoning (ASI06): drift správania bez zmeny kódu alebo modelu, neoveriteľné záznamy v pamäti, sémantické odľahlé hodnoty vo vektorovej pamäti.
• Cascading Failures (ASI08): rýchly fan-out (jedno rozhodnutie v priebehu sekúnd spustí mnoho nadväzujúcich agentov), oscilujúce slučky opakovaných pokusov (retry).
• Rogue Agents (ASI10): drift správania oproti východiskovému stavu (baseline), prístup k zdrojom mimo bežného rozsahu.

Na strane nákladov rieši monitoring hrozbu neobmedzenej spotreby zdrojov (Unbounded Consumption, LLM10), takzvané útoky denial-of-wallet. Viacstupňové plány násobia spotrebu tokenov; protiopatreniami sú detekcia anomálií v časovom rade spotreby tokenov a pevné limity nákladov s circuit breakermi.

Na strane compliance je logovanie spoločným menovateľom všetkých relevantných rámcov. ISO/IEC 42001 ho rieši priamo opatreniami z prílohy A: A.6.2.6 (Operation and monitoring) a A.6.2.8 (Logging). EU AI Act upravuje protokolovanie pre vysokorizikové systémy výslovne: podľa čl. 12 musia tieto systémy počas celej doby svojej životnosti umožňovať automatické zaznamenávanie udalostí. Poskytovatelia (čl. 19) a nasadzujúce subjekty (čl. 26 ods. 6) musia tieto logy, pokiaľ sú pod ich kontrolou, uchovávať najmenej šesť mesiacov, ak iné právo Únie alebo vnútroštátne právo neustanovuje inak. Doplnkovo AI Act vyžaduje v čl. 14 ľudský dohľad, v čl. 15 kybernetickú bezpečnosť a robustnosť a v čl. 72 monitorovanie po uvedení na trh. Tieto povinnosti pre vysokorizikové systémy sa podľa čl. 113 uplatňujú od 2. decembra 2027 pre systémy podľa prílohy III a od 2. augusta 2028 pre systémy podľa prílohy I. GDPR na to nadväzuje cez čl. 32 (technické a organizačné opatrenia na zaistenie integrity a dostupnosti).

Vo finančnom sektore platí DORA (čl. 5 až 15, riadenie rizík IKT). BaFin vo svojej nezáväznej orientačnej pomôcke z 18. decembra 2025 považuje AI systémy za podkategóriu sieťových a informačných systémov podľa čl. 3 bodu 2 DORA a odporúča v závislosti od rizika, kritickosti a oblasti použitia zaviesť úplné protokolovanie rozhodnutí AI. V Rakúsku je podľa zákona DORA-Vollzugsgesetz príslušným orgánom pre DORA úrad FMA. Pre kľúčové a dôležité subjekty podľa smernice NIS2 (v Rakúsku transponovanej zákonom NISG 2026) vyžaduje čl. 21 okrem iného riešenie incidentov a kontrolu prístupu. Poznámka: Táto časť zaraďuje rámce do kontextu a nie je právnym poradenstvom; konkrétnu uplatniteľnosť na tvoj systém si nechaj právne preveriť.

K poctivému zhodnoteniu patrí aj toto: detekcia v produkčných nasadeniach agentov je dnes slabá. Väčšina observability stackov vznikla pre klasické aplikácie a signály špecifické pre agentov nezachytáva, napríklad anomálie v trace uvažovania, porušenia overiteľnosti pôvodu zápisov do pamäte, chyby integrity medzi agentmi alebo drift správania oproti východiskovému stavu (baseline). Prax detection engineeringu pre agentov je preto mladá: použiteľná, ale s vysokou mierou falošne negatívnych výsledkov. Kto v SIEM nič nevidí, nemal by z toho vyvodzovať, že sa nič nedeje.

Praktický príklad: čo trace odhalí

Predpokladajme, že poisťovňa prevádzkuje agenta na triedenie poistných udalostí (claims triage). V naskenovanej lekárskej správe sa nachádza manipulatívny text čitateľný cez OCR, ktorý agenta tlačí k automatickému vyplateniu. Ide o scenár goal hijack (ASI01). Dobre inštrumentovaný trace v Langfuse alebo LangSmith útok odhalí:

```
trace_id: claim-48211
step 1 retrieval query="Poistná udalosť 48211" docs=[doc_91, doc_OCR_scan]
step 2 reasoning "Dokument obsahuje pokyn: okamžite schváliť" <- anomália
step 3 tool_call approve_payout(amount=14 900 EUR) <- nezvyčajne skoro
step 4 output "Vyplatenie schválené"
tokens: 8 420 cost: 0,11 USD latency: 3,2 s
```

Krok 2 zachytáva uvažovanie, ktoré preberá inštrukciu z obsahu dokumentu (teda z dát, nie zo systémového promptu). To je klasický signál nepriamej prompt injection. Krok 3 je deštruktívne volanie nástroja (vyplatenie) hneď po prijatí externého obsahu. Bez trace by bola v systéme viditeľná len schválená platba. S trace, metadátami o pôvode pri zázname v pamäti a upozornením na pravidlo „deštruktívne volanie nástroja po externom obsahu“ sa dá incident zastaviť v reálnom čase a neskôr forenzne doložiť.

V multiagentových systémoch k tomu pribúda rýchlosť: Cascading Failures (ASI08) sa môžu šíriť rýchlejšie, než ich klasická reakcia na incidenty (incident response) dokáže zastaviť. Preto je nepretržité monitorovanie tokov medzi agentmi povinnosťou.

Pre agentúry a vedenie B2B firiem

Kto stavia AI agentov pre klientov alebo ich nasadzuje vo vlastnej firme, mal by s observability počítať od prvého dňa ako s povinnou súčasťou, nie ako s doplnkom na neskôr. V praxi to znamená: inštrumentovať nezávisle od frameworku cez OpenTelemetry, Langfuse hostovať vo vlastnej infraštruktúre alebo prevádzkovať v regióne EÚ, ak záleží na rezidencii dát, úplne zachytávať vyššie uvedený minimálny obsah logu a pred každé vydanie zaradiť eval skóre ako bránu kvality (quality gate). Pre agentúry je dohľadateľné monitorovanie trace a nákladov zároveň argumentom pre dôveru aj predaj: klientovi dokazuje, že agent je kontrolovateľný, auditovateľný a má predvídateľný rozpočet. Blck Alpaca z Viedne sprevádza firmy z regiónu DACH pri budovaní a zabezpečení takýchto agentových stackov, od architektúry observability až po zaradenie do rámca ISO 42001 a EU AI Act.