RAG evaluácia: porovnanie RAGAS, TruLens a DeepEval

RAG evaluácia je systematická, merateľná kontrola kvality systému Retrieval-Augmented Generation. Odpovedá na dve oddelené otázky: Nájde retrieval správne dokumenty a vychádza generovaná odpoveď verne práve z týchto dokumentov? Bez tohto oddelenia ostáva nejasné, či zlá odpoveď pochádza z retrievalu, alebo z jazykového modelu. Frameworky ako RAGAS, TruLens, DeepEval a LangSmith toto meranie automatizujú pomocou štandardizovaných metrík.

• Čo sa meria? Štyri základné metriky: Faithfulness/Groundedness, Answer Relevance, Context Precision a Context Recall.
• Čím? RAGAS (de facto štandard), TruLens (RAG triáda), DeepEval (štýl Pytest), LangSmith (tracing + dataset-eval) a Arize Phoenix (OSS tracing).
• Prečo? Bez evaluácie vzniká tichá regresia kvality: zmena pipeline zhorší odpovede bez toho, aby si to niekto všimol, až kým sa nezačnú sťažovať používatelia.

Prečo má RAG dva zdroje chýb

RAG systém môže zlyhať dvoma navzájom nezávislými spôsobmi. Po prvé, retrieval môže dodať nesprávne alebo neúplné kontexty a model potom nemá vôbec šancu na správnu odpoveď. Po druhé, model môže halucinovať napriek správnemu kontextu, teda tvrdiť veci, ktoré v získanom materiáli nie sú. Tento druhý jav sa nazýva context-unfaithful generation: model cituje zdroje, obsahovo sa však od nich odchyľuje.

Práve preto nestačí jediná celková známka. RAG evaluácia rozkladá kvalitu na os retrievalu a os generovania. Až toto oddelenie umožňuje ladenie: ak klesne Context Recall, optimalizuje sa chunking, embeddingy alebo hybridné vyhľadávanie. Ak klesne Faithfulness pri dobrom kontexte, optimalizuje sa prompt, citation forcing alebo guardrails.

Štyri kľúčové RAG metriky

RAGAS meria kvalitu RAG pomocou metrík Faithfulness, Answer Relevancy, Context Precision a Context Recall. Tieto štyri pojmy sú spoločným slovníkom celého odvetvia, aj keď ich jednotlivé nástroje pomenúvajú inak.

Faithfulness / Groundedness (os generovania)

Meria, či je každé jednotlivé tvrdenie odpovede podložené získaným kontextom. LLM-as-Judge rozloží odpoveď na atomické tvrdenia a každé porovná s kontextom. Hodnota je podiel podložených tvrdení. Nízka Faithfulness znamená halucináciu napriek RAG, najčastejšiu pascu dôvery v produkčných systémoch.

Answer Relevance (os generovania)

Meria, či odpoveď skutočne odpovedá na položenú otázku a neodbieha od nej ani nezostáva neúplná. Odpoveď môže byť verná zdrojom (faithful), ale irelevantná, napríklad keď správne opisuje vedľajší aspekt, no netrafí jadro otázky. Obe metriky preto treba vždy posudzovať spoločne.

Context Precision (os retrievalu)

Meria, či relevantné chunky stoja na horných priečkach výsledkov retrievalu. Vysoká precision znamená: málo šumu, dôležité pasáže prichádzajú ako prvé. Je to rozhodujúce, pretože príliš veľa irelevantného kontextu vedie k efektu lost in the middle a znižuje kvalitu generovania.

Context Recall (os retrievalu)

Meria, či sa vôbec získali všetky informácie potrebné na ideálnu odpoveď. Recall potrebuje referenčnú odpoveď (Ground Truth), podľa ktorej sa overuje, či každá potrebná informácia bola v získaných kontextoch. Nízky recall je klasickým symptómom zlého chunkingu alebo embedding modelu, ktorý sa na daný jazyk nehodí.

Doplnkovo ponúkajú frameworky ďalšie metriky, ako Answer Correctness, Noise Sensitivity (RAGAS) alebo Hallucination (DeepEval).

Porovnanie nástrojov na RAG evaluáciu

Nasledujúce frameworky sú v roku 2026 etablovanými nástrojmi. Všetky pracujú prevažne na princípe LLM-as-Judge, výstup teda hodnotí druhý model.

Stav k októbru 2026: verzie a názvy metrík sa rýchlo menia. Údaje o RAGAS vychádzajú z dokumentácie RAGAS k aktuálnej verzii 0.4.3 z januára 2026. Metrika Answer Relevancy sa tam nazýva aj Response Relevancy a datasety používajú polia user_input, response, retrieved_contexts a reference. Príklady k RAGAS 0.1 ešte používajú question a ground_truth. Balík trulens-eval sa od verzie TruLens 1.0 volá už len trulens. Pred produkčným nasadením si over aktuálnu dokumentáciu príslušného nástroja.

Zostavenie evaluačného datasetu (goldset)

Každá spoľahlivá evaluácia potrebuje goldset, teda starostlivo zostavený dataset reprezentatívnych otázok. Záznam sa zvyčajne skladá zo štyroch polí:

• user_input: reálna alebo realistická otázka používateľa
• reference: ideálna, fakticky správna odpoveď (Ground Truth)
• reference_contexts (voliteľné): chunky, ktoré odpoveď dokladajú
• metadata (voliteľné): tenant, zdroj, stupeň náročnosti

Postup v praxi:

1. Ručne zostaviť: zozbieraj 30 až 100 skutočných otázok z logov zákazníckej podpory, obchodných dopytov alebo odborných oddelení a doplň k nim odpovede expertov. Kvalita má prednosť pred kvantitou.
2. Synteticky doplniť: RAGAS a DeepEval ponúkajú generátory testovacích sád, ktoré z vlastného korpusu dokumentov automaticky vytvárajú páry otázka-odpoveď. Tieto páry bezpodmienečne ručne skontroluj na náhodnej vzorke.
3. Naplánovať hraničné prípady: otázky, ktorých odpoveď sa v korpuse vôbec nenachádza (systém má vtedy odpovedať „neviem“), aj otázky na presné kódy alebo ID, ktoré samotné embeddingy často minú.
4. Verziovať: goldset patrí do repozitára. Každá zmena je dohľadateľná a výsledky evaluácie zostávajú v čase porovnateľné.

Kde úplný goldset chýba, dajú sa ako prechodné riešenie použiť metriky bez referencie (Faithfulness, Answer Relevancy) a k tomu implicitné signály (kliknutia, palec hore/dole).

Konkrétny príklad: evaluácia vo vývojovom cykle

Stredne veľká firma z regiónu DACH prevádzkuje interného RAG asistenta nad technickou dokumentáciou. Goldset obsahuje 60 otázok. Evaluácia beží automaticky pri každom pull requeste (pseudokód):

goldset = load("eval/goldset_v3.json") # 60 záznamov

metrics = [faithfulness, answer_relevancy, context_precision, context_recall]

results = ragas.evaluate(dataset=goldset, metrics=metrics)

assert results["faithfulness"] >= 0.90

assert results["context_recall"] >= 0.80

assert results["answer_relevancy"] >= 0.85

# build zlyhá pri každom poklese pod prah

Vo východiskovom stave dosahuje pipeline Faithfulness 0,88 a Context Recall 0,71. Vývojár doplní cross-encoder reranker a kontextovú hlavičku ku každému chunku. Podľa spoločnosti Anthropic znižuje Contextual Retrieval chybovosť retrievalu o 49 percent, v kombinácii s rerankingom o 67 percent (Anthropic, stav 09/2024). V goldsete potom Context Recall stúpne na 0,86 a Faithfulness na 0,93, všetky prahové hodnoty sú splnené a build prejde.

O tri týždne neskôr niekto skúšobne zníži top_k z 8 na 3. Faithfulness zostane stabilná, ale Context Recall klesne na 0,74. Automatický evaluačný beh zablokuje merge skôr, než sa zhoršenie vôbec dostane k používateľovi. Presne na to slúži evaluácia v CI: zviditeľniť tichú regresiu kvality.

Faithfulness ako guardrail za behu

Evaluácia sa nasadením nekončí. To isté meranie Faithfulness sa dá použiť ako guardrail za behu: ak je skóre Faithfulness konkrétnej odpovede pod prahovou hodnotou, systém odpoveď odmietne alebo ju eskaluje na človeka namiesto toho, aby poskytol možno halucinovanú informáciu. V kombinácii s citation forcing (každé tvrdenie musí uviesť zdrojový chunk) tak vzniká dvojitá poistka proti halucináciám. EU AI Act túto techniku nepredpisuje. Pri vysokorizikových systémoch však vyžaduje primeranú úroveň presnosti (čl. 15) a účinný ľudský dohľad (čl. 14). Guardrail a eskalácia na človeka sú konkrétnym stavebným prvkom pre oboje.

Pre agentúry a B2B

Pre marketingové agentúry a manažérov, ktorí v B2B rozhodujú, je RAG evaluácia rozdielom medzi hračkou vhodnou na demo a znalostným systémom pripraveným na produkciu. Kto predáva klientovi RAG asistenta, mal by vedieť doložiť kvalitu číslami, nie anekdotami. Zdokumentovaný goldset a CI gate na Faithfulness a Context Recall sú konkrétny, overiteľný prísľub kvality a zároveň odlišujúci prvok pri predstavení klientovi. Blck Alpaca z Viedne sprevádza firmy v regióne DACH pri budovaní RAG pipeline, ktorú možno evaluovať, od zostavenia goldsetu cez výber nástrojov až po integráciu evaluácie do vývojového cyklu. Ozvi sa nám, ak chceš svoj RAG systém spraviť merateľným.