Ewaluacja RAG: porównanie RAGAS, TruLens i DeepEval

Ewaluacja RAG to systematyczna, mierzalna kontrola jakości systemu Retrieval-Augmented Generation. Odpowiada na dwa odrębne pytania: czy wyszukiwanie znajduje właściwe dokumenty i czy wygenerowana odpowiedź wiernie opiera się właśnie na tych dokumentach? Bez tego rozdzielenia nie wiadomo, czy słaba odpowiedź wynika z wyszukiwania, czy z modelu językowego. Frameworki takie jak RAGAS, TruLens, DeepEval i LangSmith automatyzują ten pomiar za pomocą standardowych metryk.

• Co się mierzy? Cztery kluczowe metryki: Faithfulness/Groundedness, Answer Relevance, Context Precision i Context Recall.
• Czym? RAGAS (standard de facto), TruLens (triada RAG), DeepEval (styl Pytest), LangSmith (tracing + ewaluacja na zbiorach danych) oraz Arize Phoenix (tracing open source).
• Dlaczego? Bez ewaluacji pojawia się cicha regresja jakości: zmiana w pipelinie pogarsza odpowiedzi i nikt tego nie zauważa, dopóki użytkownicy nie zaczną się skarżyć.

Dlaczego RAG ma dwa źródła błędów

System RAG może zawieść na dwa niezależne od siebie sposoby. Po pierwsze, wyszukiwanie może dostarczyć niewłaściwe lub niekompletne konteksty, a wtedy model nie ma żadnych szans na poprawną odpowiedź. Po drugie, model może halucynować mimo poprawnego kontekstu, czyli formułować stwierdzenia, których nie ma w pobranym materiale. To drugie zjawisko nazywa się context-unfaithful generation: model cytuje źródła, ale merytorycznie od nich odbiega.

Właśnie dlatego jedna ogólna ocena nie wystarczy. Ewaluacja RAG rozkłada jakość na oś wyszukiwania i oś generowania. Dopiero to rozdzielenie umożliwia debugowanie: gdy spada Context Recall, optymalizujesz chunking, embeddingi lub wyszukiwanie hybrydowe. Gdy spada Faithfulness przy dobrym kontekście, optymalizujesz prompt, citation forcing lub guardraile.

Cztery kluczowe metryki RAG

RAGAS mierzy jakość RAG pod kątem Faithfulness, Answer Relevancy, Context Precision i Context Recall. Te cztery pojęcia to wspólne słownictwo całej branży, nawet jeśli poszczególne narzędzia nazywają je inaczej.

Faithfulness / Groundedness (oś generowania)

Mierzy, czy każde pojedyncze stwierdzenie w odpowiedzi ma pokrycie w pobranym kontekście. LLM-as-Judge rozkłada odpowiedź na atomowe twierdzenia i sprawdza każde z nich względem kontekstu. Wynikiem jest odsetek twierdzeń potwierdzonych w kontekście. Niska Faithfulness oznacza halucynacje mimo RAG, czyli najczęstszą pułapkę zaufania w systemach produkcyjnych.

Answer Relevance (oś generowania)

Mierzy, czy odpowiedź faktycznie odpowiada na zadane pytanie, nie zbacza z tematu i nie pozostaje niekompletna. Odpowiedź może być wierna źródłom, ale nietrafiona, na przykład gdy poprawnie omawia wątek poboczny, a mija się z sednem pytania. Dlatego obie metryki zawsze trzeba analizować razem.

Context Precision (oś wyszukiwania)

Mierzy, czy istotne chunki znajdują się na najwyższych pozycjach wyników wyszukiwania. Wysoka precyzja oznacza mało szumu: najważniejsze fragmenty pojawiają się jako pierwsze. To kluczowe, bo zbyt dużo nieistotnego kontekstu prowadzi do efektu lost in the middle i obniża jakość generowania.

Context Recall (oś wyszukiwania)

Mierzy, czy w ogóle pobrano wszystkie informacje potrzebne do idealnej odpowiedzi. Recall wymaga odpowiedzi referencyjnej (ground truth), względem której sprawdza się, czy każda potrzebna informacja była obecna w pobranych kontekstach. Niski recall to klasyczny objaw słabego chunkingu lub modelu embeddingów nieodpowiedniego dla danego języka.

Frameworki oferują też dodatkowe metryki, takie jak Answer Correctness, Noise Sensitivity (RAGAS) czy Hallucination (DeepEval).

Porównanie narzędzi do ewaluacji RAG

Poniższe frameworki to w 2026 roku uznane narzędzia. Wszystkie działają głównie na zasadzie LLM-as-Judge, czyli drugi model ocenia wynik.

Stan na październik 2026: wersje i nazwy metryk szybko się zmieniają. Informacje o RAGAS opierają się na dokumentacji RAGAS dla aktualnej wersji 0.4.3 ze stycznia 2026. Metryka Answer Relevancy nazywa się tam także Response Relevancy, a zbiory danych używają pól user_input, response, retrieved_contexts i reference. Przykłady dla RAGAS 0.1 używają jeszcze question i ground_truth. Pakiet trulens-eval nazywa się od wersji TruLens 1.0 po prostu trulens. Przed wdrożeniem produkcyjnym sprawdź aktualną dokumentację danego narzędzia.

Budowa zbioru ewaluacyjnego (goldset)

Każda wiarygodna ewaluacja potrzebuje goldsetu, czyli starannie dobranego zbioru reprezentatywnych pytań. Pojedynczy wpis składa się zwykle z czterech pól:

• user_input: prawdziwe lub realistyczne pytanie użytkownika
• reference: idealna, poprawna merytorycznie odpowiedź (ground truth)
• reference_contexts (opcjonalnie): chunki, które potwierdzają odpowiedź
• metadata (opcjonalnie): tenant, źródło, poziom trudności

Jak to wygląda w praktyce:

1. Ręczna selekcja: zbierz od 30 do 100 prawdziwych pytań z logów supportu, zapytań sprzedażowych lub działów merytorycznych i dodaj do nich odpowiedzi ekspertów. Jakość wygrywa z ilością.
2. Uzupełnienie syntetyczne: RAGAS i DeepEval oferują generatory zestawów testowych, które automatycznie tworzą pary pytań i odpowiedzi z Twojego własnego korpusu dokumentów. Koniecznie sprawdzaj je ręcznie na wybranych próbkach.
3. Przypadki brzegowe: uwzględnij pytania, na które odpowiedzi w ogóle nie ma w korpusie (system powinien wtedy odpowiedzieć „nie wiem”), oraz pytania o dokładne kody lub identyfikatory, które same embeddingi często pomijają.
4. Wersjonowanie: goldset powinien trafić do repozytorium. Każda zmiana jest wtedy identyfikowalna, a wyniki ewaluacji pozostają porównywalne w czasie.

Jeśli brakuje pełnego goldsetu, jako rozwiązanie przejściowe możesz użyć metryk bez referencji (Faithfulness, Answer Relevancy) oraz sygnałów pośrednich (kliknięcia, kciuk w górę/w dół).

Konkretny przykład: ewaluacja w cyklu deweloperskim

Firma z sektora MŚP z regionu DACH (Niemcy, Austria, Szwajcaria) korzysta z wewnętrznego asystenta RAG opartego na dokumentacji technicznej. Goldset obejmuje 60 pytań. Ewaluacja uruchamia się automatycznie przy każdym pull requeście (pseudokod):

goldset = load("eval/goldset_v3.json") # 60 Einträge

metrics = [faithfulness, answer_relevancy, context_precision, context_recall]

results = ragas.evaluate(dataset=goldset, metrics=metrics)

assert results["faithfulness"] >= 0.90

assert results["context_recall"] >= 0.80

assert results["answer_relevancy"] >= 0.85

# jede Unterschreitung bricht den Build ab

W stanie wyjściowym pipeline osiąga Faithfulness 0,88 i Context Recall 0,71. Programista dodaje reranker typu cross-encoder i nagłówki kontekstowe dla każdego chunka. Anthropic szacuje efekt Contextual Retrieval na spadek odsetka błędów wyszukiwania o 49 procent, a w połączeniu z rerankingiem o 67 procent (Anthropic, stan na 09/2024). Na goldsecie Context Recall rośnie następnie do 0,86, a Faithfulness do 0,93: wszystkie progi są spełnione i build przechodzi.

Trzy tygodnie później ktoś na próbę zmniejsza top_k z 8 do 3. Faithfulness pozostaje stabilna, ale Context Recall spada do 0,74. Automatyczna ewaluacja blokuje merge, zanim pogorszenie dotrze do jakiegokolwiek użytkownika. Właśnie po to jest ewaluacja w CI: żeby cicha regresja jakości stała się widoczna.

Faithfulness jako guardrail w czasie działania

Ewaluacja nie kończy się na wdrożeniu. Ten sam pomiar Faithfulness można wykorzystać jako guardrail w czasie działania systemu: jeśli wynik Faithfulness konkretnej odpowiedzi spada poniżej progu, system odmawia odpowiedzi lub eskaluje sprawę do człowieka, zamiast przekazać informację, która może być halucynacją. W połączeniu z citation forcing (każde stwierdzenie musi wskazywać chunk jako źródło) daje to podwójne zabezpieczenie przed halucynacjami. Unijny AI Act nie nakazuje tej techniki. W przypadku systemów wysokiego ryzyka wymaga jednak odpowiedniego poziomu dokładności (art. 15) i skutecznego nadzoru ze strony człowieka (art. 14). Guardrail i eskalacja do człowieka to konkretny element spełnienia obu wymogów.

Dla agencji i B2B

Dla agencji marketingowych i decydentów B2B ewaluacja RAG to różnica między zabawką na demo a gotowym do produkcji systemem wiedzy. Kto sprzedaje klientowi asystenta RAG, powinien umieć udowodnić jakość liczbami, a nie anegdotami. Udokumentowany goldset i bramka CI oparta na Faithfulness i Context Recall to konkretna, weryfikowalna obietnica jakości, a zarazem wyróżnik w pitchu. Blck Alpaca z Wiednia pomaga firmom w Europie budować pipeline'y RAG, które da się ewaluować, od doboru goldsetu przez wybór narzędzi aż po integrację ewaluacji z cyklem deweloperskim. Odezwij się, jeśli chcesz, aby Twój system RAG był mierzalny.