RAG-evaluacia je systematicka, meratelna kontrola kvality systemu Retrieval-Augmented Generation. Odpoveda na dve oddelene otazky: Najde retrieval spravne dokumenty a vychadza generovana odpoved verne prave z tychto dokumentov? Bez tohto oddelenia ostava nejasne, ci zla odpoved pochadza z retrievalu alebo z jazykoveho modelu. Frameworky ako RAGAS, TruLens, DeepEval a LangSmith automatizuju toto meranie pomocou standardizovanych metrik.

• Co sa meria? Styri zakladne metriky: Faithfulness/Groundedness, Answer Relevance, Context Precision a Context Recall.
• Cim? RAGAS (de facto standard), TruLens (RAG-triada), DeepEval (style Pytest), LangSmith (tracing + dataset-eval) ako aj Arize Phoenix (OSS-tracing).
• Preco? Bez evaluacie vznika ticha regresia kvality: zmena pipeline zhorsi odpovede bez toho, aby si to niekto vsimol, az kym sa nezacnu stazovat pouzivatelia.

Preco ma RAG dva zdroje chyb

RAG-systemy mozu zlyhat dvoma navzajom nezavislymi sposobmi. Po prve, retrieval moze dodat nespravne alebo nekompletne kontexty, vtedy model nema vobec sancu na spravnu odpoved. Po druhe, model moze halucinovat napriek spravnemu kontextu, teda robit tvrdenia, ktore sa v odberanom materiali nenachadzaju. Tento druhy jav sa nazyva context-unfaithful generation: model cituje zdroje, obsahovo sa od nich vsak odchyli.

Prave preto nestaci jedina celkova znamka. RAG-evaluacia rozklada kvalitu na os retrievalu a os generacie. Az toto oddelenie umoznuje debugovanie: ak klesne Context Recall, optimalizuje sa chunking, embeddings alebo hybrid search. Ak klesne Faithfulness pri dobrom kontexte, optimalizuje sa prompt, citation-forcing alebo guardrails.

Styri klucove RAG-metriky

RAGAS meria kvalitu RAG pozdlz Faithfulness, Answer Relevancy, Context Precision a Context Recall. Tieto styri pojmy su spolocnym slovnikom celeho odvetvia, aj ked jednotlive nastroje ich pomenuvaju inak.

Faithfulness / Groundedness (os generacie)

Meria, ci je kazde jednotlive tvrdenie odpovede pokryte odberanym kontextom. LLM-as-Judge rozklada odpoved na atomicke tvrdenia a kazde overuje voci kontextu. Hodnotou je podiel doloziteľnych tvrdeni. Nizka Faithfulness znamena halucinaciu napriek RAG, najcastejsia pasca doveryhodnosti v produkcnych systemoch.

Answer Relevance (os generacie)

Meria, ci odpoved skutocne odpoveda na polozenu otazku a neodbocuje ani neostava nekompletna. Odpoved moze byt faithful, ale irelevantna, napriklad ked spravne uvadza vedlajsi aspekt, ale netrafí jadro otazky. Obe metriky sa preto musia vzdy posudzovat spolocne.

Context Precision (os retrievalu)

Meria, ci relevantne chunks stoja na hornych priekach vysledkov retrievalu. Vysoka precision znamena: malo sumu, dolezite pasaze prichadzaju ako prve. To je rozhodujuce, pretoze prilis vela irelevantneho kontextu vedie k efektu lost-in-the-middle a znizuje kvalitu generacie.

Context Recall (os retrievalu)

Meria, ci sa vobec odobrali vsetky informacie potrebne pre idealnu odpoved. Recall vyzaduje referencnu odpoved (Ground Truth), voci ktorej sa overuje, ci kazda potrebna informacia bola pritomna v odberanych kontextoch. Nizky recall je klasickym symptomom zleho chunkingu alebo embedding-modelu nevhodneho pre dany jazyk.

Doplnkovo ponukaju frameworky dalsie metriky ako Answer Correctness, Noise Sensitivity (RAGAS) alebo Hallucination (DeepEval).

Porovnanie nastrojov na RAG-evaluaciu

Nasledujuce frameworky su v roku 2026 etablovanymi nastrojmi. Vsetky pracuju prevazne podla principu LLM-as-Judge, druhy model teda hodnoti vystup.

Poznamka stav 2026: oznacenia verzii a metrik sa rychlo dalej vyvijaju. Tu uvedene RAGAS-metriky sa vztahuju na dokumentaciu verzie v0.1.21; pred produkcnym nasadenim overte aktualnu dokumentaciu prislusneho nastroja.

Vybudovanie eval-datoveho suboru (Goldset)

Kazda spolahliva evaluacia potrebuje Goldset, teda kurovany datovy subor z reprezentativnych otazok. Zaznam typicky pozostava zo styroch poli:

• question: realna alebo realisticka pouzivatelska otazka
• ground_truth: idealna, fakticky spravna odpoved
• reference_contexts (volitelne): chunks, ktore odpoved dokladaju
• metadata (volitelne): tenant, zdroj, stupen obtiaznosti

Postup v praxi:

1. Manualne kurovat: zozbierat 30 az 100 realnych otazok zo support-logov, obchodnych dopytov alebo odbornych oddeleni a doplnit ich odpovedami expertov. Kvalita prevyšuje kvantitu.
2. Synteticky doplnit: RAGAS a DeepEval ponukaju generatory test-setov, ktore z vlastneho korpusu dokumentov automaticky vytvaraju pary otazka-odpoved. Tie treba bezpodmienecne nahodne manualne overit.
3. Naplanovat edge cases: otazky, ktorych odpoved sa v korpuse vobec nenachadza (system ma vtedy odpovedat „neviem"), ako aj otazky na presne kody alebo ID, ktore ciste embeddings casto minu.
4. Verzovat: Goldset patri do repozitara. Kazda zmena je dohladatelna a eval-vysledky ostavaju casom porovnatelne.

Tam, kde chyba uplny Goldset, sa daju ako prechodne riesenie pouzit reference-free metriky (Faithfulness, Answer Relevancy) plus implicitne signaly (kliky, palec hore/dole).

Konkretny priklad: eval vo vyvojovom cykle

Stredne velky podnik z regionu DACH prevadzkuje interneho RAG-asistenta na technickej dokumentacii. Goldset zahrna 60 otazok. Evaluacia bezi pri kazdom pull requeste automaticky (pseudokod):

```
goldset = load("eval/goldset_v3.json") # 60 zaznamov
results = ragas.evaluate(
dataset = goldset,
metrics = [faithfulness, answer_relevancy,
context_precision, context_recall]
)

assert results["faithfulness"] >= 0.90
assert results["context_recall"] >= 0.80
assert results["answer_relevancy"] >= 0.85

Build sa preruci, ak sa nedosiahne prahova hodnota

```

Vo vychodiskovom stave dodava pipeline Faithfulness 0,88 a Context Recall 0,71. Vyvojar doplni cross-encoder-reranker a contextual-header pre kazdy chunk. Anthropic vycislil efekt Contextual Retrieval na znizenie chybovosti retrievalu o 49 percent, v kombinacii s rerankingom o 67 percent (Anthropic, stav 09/2024). V Goldsete potom Context Recall stupne na 0,86 a Faithfulness na 0,93, vsetky prahove hodnoty su splnene, build prejde.

O tri tyzdne neskor niekto skusmo znizi top_k z 8 na 3. Faithfulness ostava stabilna, ale Context Recall klesne na 0,74. Automatizovany eval-beh zablokuje merge skor, nez zhorsenie vobec dosiahne pouzivatela. Prave to je zmysel evaluacie v CI: zviditelnit tichu regresiu kvality (anti-pattern AP5: nasadenie bez merania Faithfulness).

Faithfulness ako guardrail za behu

Evaluacia nekonci pri nasadeni. Tie iste meranie Faithfulness sa da pouzit ako runtime-guardrail: ak je Faithfulness-skore konkretnej odpovede pod prahovou hodnotou, system odmietne odpovedat alebo eskaluje na cloveka namiesto toho, aby dodal mozno halucinovanu informaciu. V kombinacii s citation-forcing (kazde tvrdenie musi uviest chunk-zdroj) tak vznika dvojita poistka proti halucinaciam, ktora je v regulovanych odvetviach povinnostou.

Pre agentury a B2B

Pre marketingove agentury a B2B-rozhodovatelov je RAG-evaluacia rozdielom medzi hrackou vhodnou len na demo a produkcne pripravenym znalostnym systemom. Kto zakaznikovi predava RAG-asistenta, mal by vediet dolozit kvalitu v cislach, nie v anekdotach. Dokumentovany Goldset plus CI-gate z Faithfulness a Context Recall je konkretny, overiteIny prislub kvality a zaroven diferenciacny prvok v pitchi. Blck Alpaca z Viedne sprevadza podniky v regione DACH pri budovani evaluovatelnych RAG-pipeline, od kurovania Goldsetu cez vyber nastrojov az po integraciu evaluacie do vyvojoveho cyklu. Ozvite sa nam, ak chcete svoj RAG-system spravit meratelnym.