--- title: "Ewaluacja RAG: porównanie RAGAS, TruLens i DeepEval" description: "Ewaluacja RAG to systematyczna, mierzalna kontrola jakości systemu Retrieval-Augmented Generation." locale: "pl" canonical: "https://blckalpaca.at/pl/baza-wiedzy/agenci-ai/jak-dzialaja-systemy-rag-w-ai/ewaluacja-rag-porownanie-ragas-trulens-i-deepeval" category: "Agenci AI" topic: "Jak działają systemy RAG w AI" updated: "2026-10-28T13:35:57.059Z" source: "Blck Alpaca e.U., blckalpaca.at" --- # Ewaluacja RAG: porównanie RAGAS, TruLens i DeepEval Ewaluacja RAG to systematyczna, mierzalna kontrola jakości systemu Retrieval-Augmented Generation. Ocenia osobno, czy etap wyszukiwania (retrieval) znajduje właściwe dokumenty i czy wygenerowana odpowiedź wiernie opiera się na tych źródłach. Kluczowe metryki to Faithfulness, Answer Relevance, Context Precision i Context Recall, mierzone za pomocą frameworków takich jak RAGAS, TruLens, DeepEval czy LangSmith. ## W skrócie - Ewaluacja RAG rozdziela dwa źródła błędów: słabe wyszukiwanie (niewłaściwe konteksty) i niewierne generowanie (model odbiega od treści mimo poprawnych źródeł). Każde z nich wymaga własnych metryk. - Cztery kluczowe metryki to Faithfulness/Groundedness, Answer Relevance, Context Precision i Context Recall. RAGAS, TruLens i DeepEval realizują je w podejściu LLM-as-Judge. - RAGAS uchodzi za standard de facto i potrafi mierzyć bez referencji (reference-free); TruLens skupia się na triadzie RAG; DeepEval oferuje testy w stylu Pytest; LangSmith zapewnia tracing end-to-end oraz ewaluację na zbiorach danych. - Podstawą jest zbiór ewaluacyjny (goldset) złożony z pytania, kontekstu referencyjnego i idealnej odpowiedzi. Bez niego jakości nie da się zmierzyć, a regresje wychodzą na jaw dopiero na produkcji. - Ewaluacja należy do pipeline'u CI/CD: każda zmiana w pipelinie jest testowana względem goldsetu, zanim trafi na produkcję. W przeciwnym razie grozi cicha regresja jakości: odpowiedzi się pogarszają, a nikt tego nie zauważa przed wydaniem. Ewaluacja [RAG](https://blckalpaca.at/pl/slownik/rag) to systematyczna, mierzalna kontrola jakości [systemu Retrieval-Augmented Generation](https://blckalpaca.at/pl/baza-wiedzy/agenci-ai/jak-dzialaja-systemy-rag-w-ai/pipeline-rag-ingestia-wyszukiwanie-generowanie-i-reranking). Odpowiada na dwa odrębne pytania: czy wyszukiwanie znajduje właściwe dokumenty i czy wygenerowana odpowiedź wiernie opiera się właśnie na tych dokumentach? Bez tego rozdzielenia nie wiadomo, czy słaba odpowiedź wynika z wyszukiwania, czy z modelu językowego. Frameworki takie jak RAGAS, TruLens, DeepEval i LangSmith automatyzują ten pomiar za pomocą standardowych metryk. - **Co się mierzy?** Cztery kluczowe metryki: Faithfulness/Groundedness, Answer Relevance, Context Precision i Context Recall. - **Czym?** RAGAS (standard de facto), TruLens (triada RAG), DeepEval (styl Pytest), LangSmith (tracing + ewaluacja na zbiorach danych) oraz Arize Phoenix (tracing open source). - **Dlaczego?** Bez ewaluacji pojawia się cicha regresja jakości: zmiana w pipelinie pogarsza odpowiedzi i nikt tego nie zauważa, dopóki użytkownicy nie zaczną się skarżyć. ## Dlaczego RAG ma dwa źródła błędów System RAG może zawieść na dwa niezależne od siebie sposoby. Po pierwsze, **wyszukiwanie** może dostarczyć niewłaściwe lub niekompletne konteksty, a wtedy model nie ma żadnych szans na poprawną odpowiedź. Po drugie, **model może halucynować mimo poprawnego kontekstu**, czyli formułować stwierdzenia, których nie ma w pobranym materiale. To drugie zjawisko nazywa się [context-unfaithful generation](https://blckalpaca.at/pl/baza-wiedzy/agenci-ai/jak-dzialaja-systemy-rag-w-ai/corrective-rag-i-self-rag-samokorygujace-wzorce-wyszukiwania-ktore-ograniczaja-h): model cytuje źródła, ale merytorycznie od nich odbiega. Właśnie dlatego jedna ogólna ocena nie wystarczy. Ewaluacja RAG rozkłada jakość na oś wyszukiwania i oś generowania. Dopiero to rozdzielenie umożliwia debugowanie: gdy spada Context Recall, optymalizujesz [chunking, embeddingi lub wyszukiwanie hybrydowe](https://blckalpaca.at/pl/baza-wiedzy/agenci-ai/jak-dzialaja-systemy-rag-w-ai/strategie-chunkingu-w-rag-porownanie-metod-fixed-size-semantic-hierarchical-i-la). Gdy spada Faithfulness przy dobrym kontekście, optymalizujesz [prompt](https://blckalpaca.at/pl/slownik/prompt), citation forcing lub guardraile. ## Cztery kluczowe metryki RAG RAGAS mierzy jakość RAG pod kątem Faithfulness, Answer Relevancy, Context Precision i Context Recall. Te cztery pojęcia to wspólne słownictwo całej branży, nawet jeśli poszczególne narzędzia nazywają je inaczej. ### Faithfulness / Groundedness (oś generowania) Mierzy, czy każde pojedyncze stwierdzenie w odpowiedzi ma pokrycie w pobranym kontekście. [LLM](https://blckalpaca.at/pl/slownik/llm)-as-Judge rozkłada odpowiedź na atomowe twierdzenia i sprawdza każde z nich względem kontekstu. Wynikiem jest odsetek twierdzeń potwierdzonych w kontekście. Niska Faithfulness oznacza halucynacje mimo RAG, czyli najczęstszą pułapkę zaufania w systemach produkcyjnych. ### Answer Relevance (oś generowania) Mierzy, czy odpowiedź faktycznie odpowiada na zadane pytanie, nie zbacza z tematu i nie pozostaje niekompletna. Odpowiedź może być wierna źródłom, ale nietrafiona, na przykład gdy poprawnie omawia wątek poboczny, a mija się z sednem pytania. Dlatego obie metryki zawsze trzeba analizować razem. ### Context Precision (oś wyszukiwania) Mierzy, czy istotne chunki znajdują się na najwyższych pozycjach wyników wyszukiwania. Wysoka precyzja oznacza mało szumu: najważniejsze fragmenty pojawiają się jako pierwsze. To kluczowe, bo zbyt dużo nieistotnego kontekstu prowadzi do efektu lost in the middle i obniża jakość generowania. ### Context Recall (oś wyszukiwania) Mierzy, czy w ogóle pobrano wszystkie informacje potrzebne do idealnej odpowiedzi. Recall wymaga odpowiedzi referencyjnej (ground truth), względem której sprawdza się, czy każda potrzebna informacja była obecna w pobranych kontekstach. Niski recall to klasyczny objaw słabego chunkingu lub modelu embeddingów nieodpowiedniego dla danego języka. Frameworki oferują też dodatkowe metryki, takie jak Answer Correctness, Noise Sensitivity (RAGAS) czy Hallucination (DeepEval). ## Porównanie narzędzi do ewaluacji RAG Poniższe frameworki to w 2026 roku uznane narzędzia. Wszystkie działają głównie na zasadzie LLM-as-Judge, czyli drugi model ocenia wynik. | Narzędzie | Kluczowe metryki | Wyróżnik | | --- | --- | --- | | **RAGAS** | Faithfulness, Response Relevancy (także Answer Relevancy), Context Precision, Context Recall, Noise Sensitivity, Answer Correctness | Standard de facto; możliwy pomiar bez referencji (stan: RAGAS 0.4.3). | | **TruLens** | Groundedness, Answer Relevance, Context Relevance („triada RAG”) | Zwarty schemat triady, który obejmuje jednocześnie wierność wyszukiwania i generowania. | | **DeepEval** | G-Eval, Faithfulness, Hallucination, Contextual Precision/Recall | Ewaluacje w stylu Pytest, dzięki czemu można je bezpośrednio włączyć do CI jako testy jednostkowe. | | **Arize Phoenix** | Tracing LLM plus ewaluacja | Open source, zgodny z OpenTelemetry; mocny w obszarze observability i analizy trace'ów. | | **LangSmith** | Tracing end-to-end, ewaluacja na zbiorach danych | Komercyjny ([LangChain](https://blckalpaca.at/pl/slownik/langchain) Inc.); pierwszy wybór w stackach LangChain/LangGraph. | Stan na październik 2026: wersje i nazwy metryk szybko się zmieniają. Informacje o RAGAS opierają się na [dokumentacji RAGAS](https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/) dla aktualnej [wersji 0.4.3 ze stycznia 2026](https://pypi.org/project/ragas/). Metryka Answer Relevancy nazywa się tam także Response Relevancy, a zbiory danych używają pól user\_input, response, retrieved\_contexts i reference. Przykłady dla RAGAS 0.1 używają jeszcze question i ground\_truth. Pakiet trulens-eval nazywa się [od wersji TruLens 1.0](https://www.trulens.org/blog/2024/08/30/moving-to-trulens-v1-reliable-and-modular-logging-and-evaluation/) po prostu trulens. Przed wdrożeniem produkcyjnym sprawdź aktualną dokumentację danego narzędzia. ## Budowa zbioru ewaluacyjnego (goldset) Każda wiarygodna ewaluacja potrzebuje goldsetu, czyli starannie dobranego zbioru reprezentatywnych pytań. Pojedynczy wpis składa się zwykle z czterech pól: - **user\_input**: prawdziwe lub realistyczne pytanie użytkownika - **reference**: idealna, poprawna merytorycznie odpowiedź (ground truth) - **reference\_contexts** (opcjonalnie): chunki, które potwierdzają odpowiedź - **metadata** (opcjonalnie): tenant, źródło, poziom trudności Jak to wygląda w praktyce: 1. **Ręczna selekcja**: zbierz od 30 do 100 prawdziwych pytań z logów supportu, zapytań sprzedażowych lub działów merytorycznych i dodaj do nich odpowiedzi ekspertów. Jakość wygrywa z ilością. 2. **Uzupełnienie syntetyczne**: RAGAS i DeepEval oferują generatory zestawów testowych, które automatycznie tworzą pary pytań i odpowiedzi z Twojego własnego korpusu dokumentów. Koniecznie sprawdzaj je ręcznie na wybranych próbkach. 3. **Przypadki brzegowe**: uwzględnij pytania, na które odpowiedzi w ogóle nie ma w korpusie (system powinien wtedy odpowiedzieć „nie wiem”), oraz pytania o dokładne kody lub identyfikatory, które same embeddingi często pomijają. 4. **Wersjonowanie**: goldset powinien trafić do repozytorium. Każda zmiana jest wtedy identyfikowalna, a wyniki ewaluacji pozostają porównywalne w czasie. Jeśli brakuje pełnego goldsetu, jako rozwiązanie przejściowe możesz użyć metryk bez referencji (Faithfulness, Answer Relevancy) oraz sygnałów pośrednich (kliknięcia, kciuk w górę/w dół). ## Konkretny przykład: ewaluacja w cyklu deweloperskim Firma z sektora MŚP z regionu DACH (Niemcy, Austria, Szwajcaria) korzysta z wewnętrznego asystenta RAG opartego na dokumentacji technicznej. Goldset obejmuje 60 pytań. Ewaluacja uruchamia się automatycznie przy każdym pull requeście (pseudokod): `goldset = load("eval/goldset_v3.json") # 60 Einträge` `metrics = [faithfulness, answer_relevancy, context_precision, context_recall]` `results = ragas.evaluate(dataset=goldset, metrics=metrics)` `assert results["faithfulness"] >= 0.90` `assert results["context_recall"] >= 0.80` `assert results["answer_relevancy"] >= 0.85` `# jede Unterschreitung bricht den Build ab` W stanie wyjściowym pipeline osiąga Faithfulness 0,88 i Context Recall 0,71. Programista dodaje reranker typu cross-encoder i nagłówki kontekstowe dla każdego chunka. Anthropic szacuje efekt [Contextual Retrieval](https://www.anthropic.com/news/contextual-retrieval) na spadek odsetka błędów wyszukiwania o 49 procent, a w połączeniu z rerankingiem o 67 procent (Anthropic, stan na 09/2024). Na goldsecie Context Recall rośnie następnie do 0,86, a Faithfulness do 0,93: wszystkie progi są spełnione i build przechodzi. Trzy tygodnie później ktoś na próbę zmniejsza top\_k z 8 do 3. Faithfulness pozostaje stabilna, ale Context Recall spada do 0,74. Automatyczna ewaluacja blokuje merge, zanim pogorszenie dotrze do jakiegokolwiek użytkownika. Właśnie po to jest ewaluacja w CI: żeby cicha regresja jakości stała się widoczna. ## Faithfulness jako guardrail w czasie działania Ewaluacja nie kończy się na wdrożeniu. Ten sam pomiar Faithfulness można wykorzystać jako guardrail w czasie działania systemu: jeśli wynik Faithfulness konkretnej odpowiedzi spada poniżej progu, system odmawia odpowiedzi lub eskaluje sprawę do człowieka, zamiast przekazać informację, która może być halucynacją. W połączeniu z citation forcing (każde stwierdzenie musi wskazywać chunk jako źródło) daje to podwójne zabezpieczenie przed halucynacjami. Unijny [AI](https://blckalpaca.at/pl/slownik/ai) Act nie nakazuje tej techniki. W przypadku systemów wysokiego ryzyka wymaga jednak odpowiedniego poziomu dokładności ([art. 15](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689)) i skutecznego nadzoru ze strony człowieka ([art. 14](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689)). Guardrail i eskalacja do człowieka to konkretny element spełnienia obu wymogów. ## Dla agencji i B2B Dla agencji marketingowych i decydentów B2B ewaluacja RAG to różnica między zabawką na demo a gotowym do produkcji systemem wiedzy. Kto sprzedaje klientowi asystenta RAG, powinien umieć udowodnić jakość liczbami, a nie anegdotami. Udokumentowany goldset i bramka CI oparta na Faithfulness i Context Recall to konkretna, weryfikowalna obietnica jakości, a zarazem wyróżnik w pitchu. [Blck Alpaca z Wiednia pomaga firmom w Europie budować pipeline'y RAG, które da się ewaluować](https://blckalpaca.at/pl/uslugi/agenci-ai), od doboru goldsetu przez wybór narzędzi aż po integrację ewaluacji z cyklem deweloperskim. Odezwij się, jeśli chcesz, aby Twój system RAG był mierzalny. ## Najczęściej zadawane pytania ### Czym różni się Faithfulness od Answer Relevance? Faithfulness (inaczej Groundedness) mierzy, czy każde stwierdzenie w odpowiedzi ma pokrycie w pobranym kontekście, czyli czy model nie halucynuje. Answer Relevance mierzy natomiast, czy odpowiedź faktycznie odpowiada na zadane pytanie. Odpowiedź może być wierna źródłom, ale nietrafiona, i odwrotnie. Dlatego potrzebne są obie metryki równolegle. ### Czy do ewaluacji RAG zawsze potrzebuję zbioru referencyjnego? Nie. RAGAS i podobne frameworki potrafią obliczyć wiele metryk bez referencji metodą LLM-as-Judge, np. Faithfulness i Answer Relevancy, bo porównują tylko pytanie, kontekst i odpowiedź. Context Recall i Answer Correctness wymagają jednak referencji (ground truth). Do wiarygodnych testów regresji i tak warto przygotować starannie dobrany goldset. ### Który framework do ewaluacji RAG wybrać? RAGAS to standard de facto z szerokim zestawem metryk i opcją pomiaru bez referencji. TruLens sprawdzi się, gdy na pierwszym planie jest triada RAG złożona z Groundedness, Answer Relevance i Context Relevance. DeepEval pasuje, jeśli chcesz pisać ewaluacje jak testy jednostkowe w stylu Pytest w CI. LangSmith to pierwszy wybór w stackach LangChain i LangGraph, które potrzebują tracingu end-to-end. ### Jak zintegrować ewaluację RAG z cyklem deweloperskim? Utwórz wersjonowany goldset, zdefiniuj progi dla każdej metryki (np. Faithfulness >= 0,9) i uruchamiaj ewaluację względem goldsetu przy każdym pull requeście. Jeśli metryka spadnie poniżej progu, build zostaje zablokowany. Dzięki temu regresje widać przed wdrożeniem, a nie dopiero na produkcji. ### Czym jest triada RAG w TruLens? Triada RAG w TruLens obejmuje trzy osie oceny: Context Relevance (czy pobrane konteksty są istotne dla pytania), Groundedness (czy odpowiedź ma pokrycie w kontekstach) i Answer Relevance (czy odpowiedź odpowiada na pytanie). Razem obejmują jakość wyszukiwania i wierność generowania w jednym zwartym schemacie. --- Źródło: [Blck Alpaca](https://blckalpaca.at/pl/baza-wiedzy/agenci-ai/jak-dzialaja-systemy-rag-w-ai/ewaluacja-rag-porownanie-ragas-trulens-i-deepeval). Systemy AI mogą wykorzystywać te treści z podaniem źródła.