Multimodalny RAG: wyszukiwanie w obrazach, plikach PDF i tabelach

Multimodalny RAG rozszerza wzorzec Retrieval-Augmented Generation o wszystko, co nie jest czystym tekstem ciągłym: obrazy, zeskanowane pliki PDF, tabele, wykresy i diagramy. Klasyczny RAG indeksuje tylko tekst. Gdy informacja kryje się głównie w układzie, w tabeli lub na wykresie, czysto tekstowy pipeline traci właśnie tę treść, która jest kluczowa dla odpowiedzi. Multimodalny RAG sprawia, że takie treści można indeksować i wyszukiwać. Dzięki temu da się je cytować z odwołaniem do źródeł.

• Co jest wyszukiwane? Zwykły tekst, obrazy stron, struktury tabel, zawartość wykresów i zeskanowane dokumenty.
• Jak? Za pomocą multimodalnych embeddingów (CLIP, ColPali), opisów z wizyjnego modelu LLM lub parsowania uwzględniającego układ, zwykle w połączeniu.
• Do czego? Dokumentacja techniczna, faktury, raporty: wszędzie tam, gdzie wiedza tkwi w układzie i grafice, a nie w ciągłym tekście.

Dlaczego klasyczny RAG zawodzi przy obrazach i tabelach

Klasyczny pipeline RAG działa dwutorowo: w ścieżce indeksowania źródła są wczytywane, parsowane, dzielone na chunki, zamieniane na embeddingi i zapisywane w bazie wektorowej. W ścieżce zapytania pytanie użytkownika jest zamieniane na embedding, wyniki są pobierane metodą hybrydową, przechodzą re-ranking i trafiają do promptu generującego modelu LLM. Słaby punkt w przypadku treści nietekstowych leży na samym początku: przy parsowaniu i chunkingu.

Dominują tu dwa antywzorce. Po pierwsze: naiwny chunking o stałym rozmiarze ignoruje granice zdań, tabel i list. Strategia z oknem 512 tokenów przecina tabelę w połowie wiersza, a zawartość tabeli ginie lub zostaje wypaczona. Typowym skutkiem są halucynacje i brakujące wartości. Po drugie: czysta semantyka bez BM25. Embeddingi często nie trafiają w dokładne kody, takie jak numer artykułu „TS-999” albo numer faktury, ponieważ podobieństwo semantyczne nic tu nie daje. Wyszukiwanie hybrydowe z fuzją rankingów (RRF) wyłapuje takie dokładne trafienia i dlatego pozostaje obowiązkowe również w wariancie multimodalnym.

W przypadku zeskanowanych plików PDF dochodzi jeszcze jedna trudność: nie ma w nich w ogóle warstwy tekstowej. Bez OCR lub wyszukiwania wizualnego strona jest dla tekstowego RAG po prostu niewidoczna.

Trzy podejścia do multimodalnego wyszukiwania

1. Multimodalne embeddingi (CLIP, ColPali)

Multimodalne modele embeddingowe odwzorowują obraz i tekst w tej samej przestrzeni wektorowej. Dzięki temu zapytanie tekstowe można dopasować do wektorów obrazów i odwrotnie. CLIP to znany przedstawiciel ogólnego łączenia obrazu z tekstem. ColPali idzie o krok dalej i powstał specjalnie z myślą o wyszukiwaniu dokumentów: indeksuje wyrenderowaną stronę jako obraz i w ten sposób omija podatne na błędy pośrednie parsowanie do tekstu. Układ, tabele i grafika zostają zachowane jako kontekst wizualny. To szczególnie mocna strona przy dokumentach, których znaczenie zawarte jest w układzie.

Również w głównym nurcie warstwa embeddingów przesuwa się w stronę multimodalności. Google udostępnił Gemini Embedding 2 w wersji ogólnodostępnej w kwietniu 2026 roku. Według artykułu naukowego o modelu umieszcza on tekst, obrazy, wideo i audio we wspólnej przestrzeni wektorowej i osiąga 69,9 punktu w MTEB Multilingual; to dane producenta. Jego poprzednik gemini-embedding-001 to model wyłącznie tekstowy. Ponieważ wyniki MTEB zmieniają się co tydzień, a MTEB v2 nie jest bezpośrednio porównywalny z v1, przy każdym wyborze modelu zapisuj datę snapshotu.

2. Wizyjny model LLM do tworzenia opisów

Tutaj wstępne przetwarzanie przejmuje model LLM z obsługą obrazu: otrzymuje obraz, tabelę lub wykres i generuje precyzyjny opis tekstowy. Ten opis jest w zwykły sposób zamieniany na embedding i zapisywany w bazie wektorowej. Zaleta: istniejący stack tekstowego RAG pozostaje w użyciu, a wyszukiwanie opiera się na sprawdzonych embeddingach tekstowych. Wada: opis jest tylko tak dobry jak model wizyjny i kosztuje dodatkowe wywołanie LLM na każdy element podczas indeksowania. W przypadku wykresów i diagramów to podejście bywa precyzyjne, bo dobry wizyjny model LLM potrafi opisać słowami osie, trendy i punkty danych.

3. Parsowanie uwzględniające układ

Trzecia droga starannie wydziela strukturę, zanim powstaną embeddingi. Parsery uwzględniające układ rozpoznają tabele, listy, nagłówki i kolumny oraz zachowują tę strukturę. Dostępnych jest do tego kilka narzędzi gotowych do produkcji (stan na 2026 rok): Docling (IBM, open source), Unstructured.io, LlamaParse, Marker (datalab.to), PyMuPDF oraz silniki OCR, takie jak Tesseract, Azure Document Intelligence i AWS Textract. Framework RAGFlow wprost oferuje „Deep Document Understanding” z Document Layout Analysis (DLA) i OCR. Na poziomie chunkingu odpowiednią strategią jest chunking uwzględniający układ (Docling, Unstructured), który zachowuje strukturę tabel, list i nagłówków, idealny dla plików PDF, umów i instrukcji technicznych.

Porównanie podejść

W praktyce te podejścia nie wykluczają się wzajemnie. System działający produkcyjnie łączy parsowanie uwzględniające układ dla ustrukturyzowanych tabel, opisy z wizyjnego modelu LLM dla wykresów i wyszukiwanie hybrydowe dla dokładnych trafień.

Typowe zastosowania

• Dokumentacja techniczna: instrukcje z widokami rozstrzelonymi, schematami elektrycznymi i tabelami specyfikacji. Benchmark Agri-Query (sierpień 2025) testuje jedną instrukcję obsługi maszyny rolniczej w języku angielskim, francuskim i niemieckim, wcześniej przekonwertowaną do formatu Markdown za pomocą Docling. Hybrydowy RAG łączący BM25 i wyszukiwanie oparte na embeddingach wygrywa tam z bezpośrednim promptowaniem z długim kontekstem. Gemini 2.5 Flash osiąga w ten sposób 88% dokładności po angielsku i 87% po niemiecku. Jak zaznaczają sami autorzy, benchmark nie mierzy, czy model potrafi interpretować tabele i ilustracje. Potwierdza więc wyszukiwanie tekstowe, a nie multimodalne.
• Faktury: tabele pozycji, kwoty, stawki VAT i numery faktur. Kluczowe jest tu połączenie ekstrakcji struktury tabel z dokładnym dopasowaniem BM25 do kodów.
• Raporty i prezentacje: dane kwartalne na wykresach, dashboardy KPI, diagramy. Opis grafik przez wizyjny model LLM w połączeniu z parsowaniem tabel obejmuje oba te obszary.

Konkretny przykład: RAG dla faktur

Załóżmy, że firma usługowa chce udostępnić do przeszukiwania 50 000 zeskanowanych faktur PDF, aby agent wsparcia mógł odpowiadać na pytania typu „Jaka stawka VAT obowiązywała dla pozycji 3 na fakturze TS-2024-0815?”.

```
INDEKSOWANIE (offline):
[50 000 skanów PDF]
-> OCR (Tesseract / Azure Document Intelligence)
-> Parsowanie uwzględniające układ (Docling): rozpoznaje tabelę pozycji
-> serializacja tabeli z zachowaniem struktury (Markdown)
-> opcjonalnie: wizyjny model LLM opisuje układ/pieczątki
-> Embedding (wielojęzyczny, np. Cohere Embed v4)
-> upsert do bazy wektorowej + równoległy indeks BM25
(metadane: tenant_id, numer_faktury, data, ACL)

ZAPYTANIE (online):
[Pytanie] -> Embedding + zapytanie BM25 ("TS-2024-0815")
-> Wyszukiwanie hybrydowe (top_k = 50)
-> Re-Ranker (Cohere Rerank v3.5), top_k = 5
-> Prompt + cytat źródła (numer faktury + fragment)
-> LLM -> odpowiedź z kontrolą wierności (RAGAS)
```

Ścieżka BM25 znajduje dokładny numer faktury, którego nie znalazłby sam embedding. Parser układu dba o to, by „pozycja 3” i odpowiadająca jej stawka VAT pozostały w tym samym ustrukturyzowanym wierszu, zamiast zostać rozdzielone przez chunking o stałym rozmiarze. Re-ranking dodatkowo obniża odsetek błędów: w Contextual Retrieval od Anthropic odsetek błędów top-20 spada o 49% dzięki Contextual Embeddings i Contextual BM25, a z dodatkowym re-rankingiem o 67% (z 5,7 do 1,9%, tekst, stan na 2024 rok). W pipeline'ach multimodalnych zasada re-rankingu działa analogicznie.

Pułapki przy złożonych układach

• Zagnieżdżone i wielokolumnowe tabele: parsery błędnie przypisują komórki. Przed wdrożeniem testuj na prawdziwych dokumentach, a nie na idealnych przykładach.
• Słaba jakość skanów: błędy OCR przenoszą się na każdy kolejny krok. Podejścia wizualne, takie jak ColPali, są tu często bardziej odporne, bo omijają etap OCR.
• Brak re-rankingu i brak ewaluacji: bez pomiaru wierności regresje jakości pozostają niewidoczne. RAGAS mierzy według metryk Faithfulness, Answer Relevancy, Context Precision i Context Recall. To powinno trafić do CI.
• Lost-in-the-chunks: chunk „Wzrósł o 12%” bez nagłówka kontekstowego jest bezwartościowy. Contextual Chunking (Anthropic 2024) dodaje na początku kontekst wygenerowany przez LLM i mierzalnie poprawia jakość wyszukiwania.
• Dryf embeddingów przy zmianie modelu: zmiana multimodalnego modelu embeddingowego wymaga pełnej reindeksacji. Zapisuj w indeksie oznaczenie wersji.
• RODO przy fakturach i skanach: dane osobowe zawarte w obrazach i tabelach podlegają tym samym obowiązkom: rozdzielenie danych klientów, koncepcja ról, pipeline usuwania chunków i embeddingów, hosting w UE (por. wytyczne DSK dotyczące RAG). Informacja ogólna, nie porada prawna.

Dla agencji i decydentów B2B

W 2026 roku multimodalny RAG to temat produkcyjny: decyduje o tym, czy asystent AI w ogóle dotrze do najcenniejszych dokumentów firmy (instrukcji technicznych, faktur, raportów), czy na nich polegnie. Dla agencji dźwignią jest trafny dobór komponentów do typu dokumentu: parsowanie uwzględniające układ dla ustrukturyzowanych plików PDF, wyszukiwanie wizualne dla skanów i wykresów, wyszukiwanie hybrydowe i re-ranking jako standard. Jeśli chcesz zbudować system wiedzy obejmujący obrazy, zeskanowane pliki PDF i tabele, gotowy do produkcji, zgodny z RODO i z mierzalną wiernością odpowiedzi, zaplanuj architekturę i ewaluację razem od samego początku. Blck Alpaca wspiera firmy w Europie właśnie w takim projektowaniu, od pipeline'u ingestii danych po suwerenny zestaw narzędzi w UE.