Multimodálny RAG: vyhľadávanie obrázkov, PDF a tabuliek

Multimodálny RAG rozširuje vzor Retrieval-Augmented Generation o všetko, čo nie je čistý súvislý text: obrázky, naskenované PDF, tabuľky, grafy a diagramy. Klasický RAG indexuje len text. Len čo informácia leží predovšetkým v layoute, v tabuľke alebo v grafike, čisto textová pipeline stratí práve tú podstatu, ktorá je pre odpoveď rozhodujúca. Multimodálny RAG robí tento obsah indexovateľným a vyhľadateľným. Vďaka tomu ho možno citovať s odkazom na zdroj.

• Čo sa vyhľadáva? Čistý text, obrázky strán, štruktúry tabuliek, obsah grafov a naskenované dokumenty.
• Ako? Cez multimodálne embeddingy (CLIP, ColPali), popisy z Vision-LLM alebo parsovanie so zohľadnením layoutu, väčšinou v kombinácii.
• Na čo? Technická dokumentácia, faktúry, reporty: všade tam, kde sú znalosti uložené v layoute a grafike, a nie v súvislom texte.

Prečo klasický RAG zlyháva pri obrázkoch a tabuľkách

Klasická RAG pipeline beží v dvoch vetvách. V indexačnej vetve sa zdroje načítajú, parsujú, rozdelia na chunky, prevedú na embeddingy a zapíšu do vektorovej databázy. V query vetve sa dopyt prevedie na embedding, cez Hybrid Retrieval sa vyhľadajú zodpovedajúce chunky, prejdú re-rankingom a vložia sa do promptu generátorového LLM. Slabé miesto pre netextový obsah je hneď na začiatku: pri parsovaní a chunkingu.

Prevládajú tu dva anti-patterny. Prvý: naivný fixed-size chunking ignoruje hranice viet, tabuliek a zoznamov. Stratégia s oknom 512 tokenov rozsekne tabuľku uprostred riadka a obsah tabuľky sa stratí alebo skreslí. Typickým dôsledkom sú halucinácie a chýbajúce hodnoty. Druhý: čistá sémantika bez BM25. Presné kódy, napríklad katalógové číslo „TS-999“ alebo číslo faktúry, embeddingy často minú, pretože sémantická podobnosť tu nepomáha. Hybrid Search s rank fusion (RRF) takéto presné zhody zachytí, a preto zostáva povinnou súčasťou aj v multimodálnom variante.

Pri naskenovaných PDF situáciu ešte sťažuje to, že textová vrstva vôbec neexistuje. Bez OCR alebo vizuálneho retrievalu je strana pre textový RAG jednoducho neviditeľná.

Tri prístupy k multimodálnemu retrievalu

1. Multimodálne embeddingy (CLIP, ColPali)

Multimodálne embedding modely zobrazujú obrázok a text do toho istého vektorového priestoru. Textový dopyt tak možno porovnať s obrazovými vektormi a naopak. CLIP je známy predstaviteľ všeobecného prepojenia obrázka a textu. ColPali ide o krok ďalej a je navrhnutý špeciálne na retrieval dokumentov: indexuje vyrenderovanú stranu ako obrázok, a tak obchádza medzikrok parsovania do textu, ktorý je náchylný na chyby. Layout, tabuľky a grafika zostávajú zachované ako vizuálny kontext. To je obzvlášť silné pri dokumentoch, ktorých význam spočíva v layoute.

Aj v mainstreame sa vrstva embeddingov posúva k multimodalite. Google sprístupnil Gemini Embedding 2 všeobecne v apríli 2026. Podľa publikácie k modelu ukladá text, obrázky, video a audio do spoločného vektorového priestoru a na MTEB Multilingual dosahuje 69,9 bodu, čo je údaj výrobcu. Predchodca gemini-embedding-001 je čisto textový model. Keďže sa hodnoty MTEB menia týždenne a MTEB v2 nie je priamo porovnateľný s v1, pri každej voľbe modelu si zaznamenaj dátum snapshotu.

2. Vision-LLM na popis

Tu preberá predspracovanie LLM, ktoré dokáže spracovať obraz: dostane obrázok, tabuľku alebo graf a vytvorí presný textový popis. Z tohto popisu sa bežným spôsobom vytvorí embedding a zapíše sa do vektorovej databázy. Výhoda: existujúci textový RAG stack zostáva použiteľný a retrieval beží cez osvedčené textové embeddingy. Nevýhoda: popis je len taký dobrý ako vision model a pri indexovaní stojí jedno LLM volanie navyše na každý asset. Pre grafy a diagramy je tento prístup často presný, pretože dobrý Vision-LLM dokáže slovne opísať osi, trendy a dátové body.

3. Layout-aware parsing

Tretia cesta čisto vyčlení štruktúru ešte pred tvorbou embeddingov. Parsery so zohľadnením layoutu rozpoznávajú tabuľky, zoznamy, hlavičky a stĺpce a túto štruktúru zachovávajú. Na to je k dispozícii viacero nástrojov pripravených na produkčné nasadenie (stav 2026): Docling (IBM, open source), Unstructured.io, LlamaParse, Marker (datalab.to), PyMuPDF a OCR enginy ako Tesseract, Azure Document Intelligence a AWS Textract. Framework RAGFlow výslovne prináša „Deep Document Understanding“ s Document Layout Analysis (DLA) a OCR. Na úrovni chunkingu je vhodnou stratégiou chunking so zohľadnením layoutu (Docling, Unstructured), ktorý zachováva štruktúru tabuliek, zoznamov a hlavičiek a je ideálny pre PDF, zmluvy a technické manuály.

Porovnanie prístupov

V praxi tieto prístupy nie sú voľbou typu buď, alebo. Systém v produkčnej prevádzke kombinuje parsovanie so zohľadnením layoutu pre štruktúrované tabuľky, popisy z Vision-LLM pre grafy a Hybrid Search pre presné zhody.

Typické prípady použitia

• Technická dokumentácia: manuály s výkresmi v rozloženom stave, schémami zapojenia a tabuľkami špecifikácií. Benchmark Agri-Query (august 2025) testuje jednu príručku k poľnohospodárskemu stroju v angličtine, francúzštine a nemčine, ktorá bola predtým prevedená nástrojom Docling do formátu Markdown. Hybrid RAG z BM25 a vyhľadávania cez embeddingy tam prekonáva priame long-context promptovanie. Gemini 2.5 Flash s ním dosahuje v angličtine 88 a v nemčine 87 percent accuracy. Či model dokáže interpretovať tabuľky a obrázky, benchmark podľa vlastného vyjadrenia nemeria. Dokladá teda textový retrieval, nie multimodálny retrieval.
• Faktúry: tabuľky položiek, sumy, daňové sadzby a čísla faktúr. Rozhodujúca je tu kombinácia extrakcie štruktúry tabuliek a presnej zhody cez BM25 na kódoch.
• Reporty a prezentácie: štvrťročné čísla v grafoch, KPI dashboardy, diagramy. Popis grafiky cez Vision-LLM a k tomu parsovanie tabuliek pokryje oboje.

Konkrétny príklad: RAG pre faktúry

Povedzme, že poskytovateľ služieb chce sprístupniť na vyhľadávanie 50 000 naskenovaných faktúr vo formáte PDF, aby agent zákazníckej podpory mohol odpovedať na otázky ako „Aká daňová sadzba platila pre položku 3 na faktúre TS-2024-0815?“.

```
INDEXING (offline):
[50 000 PDF skenov]
-> OCR (Tesseract / Azure Document Intelligence)
-> Layout-aware parsing (Docling): rozpozná tabuľku položiek
-> tabuľku serializovať so zachovaním štruktúry (Markdown)
-> voliteľne: Vision-LLM opíše layout/pečiatky
-> Embedding (viacjazyčný, napr. Cohere Embed v4)
-> upsert do vektorovej DB + paralelný BM25 index
(metadáta: tenant_id, cislo_faktury, datum, ACL)

QUERY (online):
[Otázka] -> Embedding + BM25 query ("TS-2024-0815")
-> Hybrid Retrieval (top_k = 50)
-> Re-Ranker (Cohere Rerank v3.5), top_k = 5
-> Prompt + citácia zdroja (číslo faktúry + úryvok)
-> LLM -> odpoveď s kontrolou faithfulness (RAGAS)
```

BM25 vetva nájde presné číslo faktúry, ktoré by čistý embedding minul. Layout parser zabezpečí, že „položka 3“ a k nej patriaca daňová sadzba zostanú v tom istom štruktúrovanom riadku a fixed-size chunking ich neroztrhne. Re-ranking ďalej znižuje chybovosť: pri Anthropic Contextual Retrieval klesne chybovosť top-20 s Contextual Embeddings a Contextual BM25 o 49 percent, s dodatočným re-rankingom o 67 percent (z 5,7 na 1,9 percenta, text, stav 2024). Pre multimodálne pipeline platí princíp re-rankingu analogicky.

Nástrahy pri komplexných layoutoch

• Vnorené a viacstĺpcové tabuľky: parsery priraďujú bunky nesprávne. Pred nasadením testuj na reálnych dokumentoch, nie na ideálnych príkladoch.
• Zlá kvalita skenov: chyby OCR sa prenášajú do každého ďalšieho kroku. Vizuálne prístupy ako ColPali sú tu často odolnejšie, pretože krok OCR obchádzajú.
• Chýbajúci re-ranking a chýbajúca evaluácia: bez merania faithfulness zostáva zhoršenie kvality neviditeľné. RAGAS meria faithfulness, answer relevancy, context precision a context recall. To patrí do CI.
• Lost-in-the-chunks: chunk „Zvýšil sa o 12 percent“ bez kontextovej hlavičky je bezcenný. Contextual chunking (Anthropic 2024) pridáva na začiatok chunku kontext vygenerovaný LLM a merateľne zvyšuje kvalitu retrievalu.
• Embedding drift pri zmene modelu: zmena multimodálneho embedding modelu si vyžaduje úplnú reindexáciu. Ukladaj do indexu reťazec s verziou modelu.
• GDPR pri faktúrach a skenoch: osobné údaje v obrázkoch a tabuľkách podliehajú rovnakým povinnostiam: oddelenie tenantov (klientov), koncept rolí, mazacia pipeline pre chunky a embeddingy, hosting v EÚ (porov. orientačnú pomôcku DSK k RAG). Informatívne, nejde o právne poradenstvo.

Pre agentúry a rozhodovateľov v B2B

V roku 2026 je multimodálny RAG témou produkčného nasadenia: rozhoduje o tom, či AI asistent najcennejšie firemné dokumenty (technické manuály, faktúry, reporty) vôbec sprístupní, alebo na nich zlyhá. Pre agentúry je kľúčom správna voľba komponentov podľa typu dokumentu: parsovanie so zohľadnením layoutu pre štruktúrované PDF, vizuálny retrieval pre skeny a grafy, Hybrid Search a re-ranking ako štandard. Kto chce postaviť znalostný systém s obrázkami, naskenovanými PDF a tabuľkami pripravený na produkciu, v súlade s GDPR a s merateľnou faithfulness, mal by plánovať architektúru a evaluáciu od začiatku spoločne. Blck Alpaca sprevádza firmy v regióne DACH práve pri tomto návrhu, od ingestion pipeline až po toolchain so suverenitou v EÚ.