RAG multimodal : récupération d'images, de PDF et de tableaux

Le RAG multimodal étend le schéma de la Retrieval-Augmented Generation à tout ce qui n'est pas du texte courant propre : images, PDF scannés, tableaux, graphiques et diagrammes. Le RAG classique n'indexe que du texte. Dès que l'information réside principalement dans la mise en page, dans un tableau ou dans un graphique, un pipeline purement textuel perd précisément la substance décisive pour la réponse. Le RAG multimodal rend ces contenus indexables et récupérables. Ils deviennent ainsi citables, sources à l'appui.

• Qu'est-ce qui est récupéré ? Texte brut, images de pages, structures de tableaux, contenus de graphiques et documents scannés.
• Comment ? Grâce aux embeddings multimodaux (CLIP, ColPali), aux descriptions par un LLM de vision ou au parsing sensible à la mise en page, le plus souvent combinés.
• Pour quoi faire ? Documentation technique, factures, rapports : partout où le savoir se trouve dans la mise en page et les graphiques plutôt que dans le texte courant.

Pourquoi le RAG classique échoue avec les images et les tableaux

Un pipeline RAG classique suit deux chemins. Dans le chemin d'indexation, les sources sont chargées, parsées, découpées en chunks, vectorisées puis écrites dans une base de données vectorielle. Dans le chemin de requête, la question est vectorisée, les passages sont récupérés par recherche hybride, réordonnés par reranking et insérés dans le prompt du LLM générateur. Le point faible pour les contenus non textuels se situe dès le début : au parsing et au chunking.

Deux anti-patterns dominent ici. Premièrement : le chunking naïf à taille fixe ignore les limites des phrases, des tableaux et des listes. Une stratégie de fenêtres de 512 tokens coupe un tableau au milieu d'une ligne, et le contenu du tableau est perdu ou dénaturé. Les conséquences typiques sont des hallucinations et des valeurs manquantes. Deuxièmement : la sémantique pure sans BM25. Les embeddings ratent souvent des codes exacts comme une référence d'article « TS-999 » ou un numéro de facture, car la similarité sémantique n'aide pas ici. La recherche hybride avec fusion de rangs (RRF) rattrape ces correspondances exactes et reste donc indispensable dans la variante multimodale aussi.

Avec les PDF scannés, une difficulté s'ajoute : il n'y a même pas de couche texte. Sans OCR ni récupération visuelle, la page est tout simplement invisible pour un RAG textuel.

Les trois approches de la récupération multimodale

1. Embeddings multimodaux (CLIP, ColPali)

Les modèles d'embedding multimodaux projettent l'image et le texte dans le même espace vectoriel. Une requête textuelle peut ainsi être comparée à des vecteurs d'images, et inversement. CLIP est le représentant connu pour l'association générique entre image et texte. ColPali va plus loin et a été conçu spécialement pour la récupération de documents : il indexe la page rendue sous forme d'image et évite ainsi le parsing intermédiaire en texte, source d'erreurs. La mise en page, les tableaux et les graphiques sont conservés comme contexte visuel. C'est particulièrement efficace pour les documents dont le sens réside dans la mise en page.

Chez les grands acteurs aussi, la couche d'embedding évolue vers la multimodalité. Google a mis Gemini Embedding 2 en disponibilité générale en avril 2026. Selon l'article scientifique consacré au modèle, il place le texte, les images, la vidéo et l'audio dans un espace vectoriel commun et atteint 69,9 points sur MTEB Multilingual, un chiffre communiqué par l'éditeur. Son prédécesseur gemini-embedding-001 est un modèle purement textuel. Comme les scores MTEB changent chaque semaine et que MTEB v2 n'est pas directement comparable à v1, note la date du snapshot à chaque choix de modèle.

2. LLM de vision pour la description

Ici, un LLM doté de capacités de vision se charge du prétraitement : il reçoit l'image, le tableau ou le graphique et produit une description textuelle précise. Cette description est vectorisée de manière tout à fait classique et écrite dans la base de données vectorielle. Avantage : la stack RAG textuelle existante reste utilisable, et la récupération s'appuie sur des embeddings de texte éprouvés. Inconvénient : la description ne vaut que ce que vaut le modèle de vision et coûte un appel LLM supplémentaire par élément lors de l'indexation. Pour les graphiques et les diagrammes, cette approche est souvent précise, car un bon LLM de vision sait verbaliser les axes, les tendances et les points de données.

3. Parsing sensible à la mise en page

La troisième voie isole proprement la structure avant le calcul des embeddings. Les parseurs sensibles à la mise en page reconnaissent les tableaux, les listes, les en-têtes et les colonnes, et conservent cette structure. Plusieurs outils prêts pour la production sont disponibles pour cela (en 2026) : Docling (IBM, open source), Unstructured.io, LlamaParse, Marker (datalab.to), PyMuPDF ainsi que des moteurs OCR comme Tesseract, Azure Document Intelligence et AWS Textract. Le framework RAGFlow intègre explicitement le « Deep Document Understanding » avec Document Layout Analysis (DLA) et OCR. Au niveau du chunking, la stratégie adaptée est le chunking sensible à la mise en page (Docling, Unstructured), qui préserve la structure des tableaux, des listes et des en-têtes, idéal pour les PDF, les contrats et les manuels techniques.

Comparatif des approches

En pratique, ces approches ne s'excluent pas. Un système en production combine le parsing sensible à la mise en page pour les tableaux structurés, les descriptions par LLM de vision pour les graphiques et la recherche hybride pour les correspondances exactes.

Cas d'usage typiques

• Documentation technique : manuels avec vues éclatées, schémas électriques et tableaux de spécifications. Le benchmark Agri-Query (août 2025) teste un seul manuel de machine agricole en anglais, en français et en allemand, converti au préalable en Markdown avec Docling. Le RAG hybride combinant BM25 et recherche par embeddings y bat le prompting direct en contexte long. Gemini 2.5 Flash atteint ainsi 88 % d'exactitude en anglais et 87 % en allemand. De son propre aveu, le benchmark ne mesure pas si un modèle sait interpréter les tableaux et les figures. Il démontre donc la récupération de texte, pas la récupération multimodale.
• Factures : tableaux de lignes, montants, taux de TVA et numéros de facture. Ici, la combinaison de l'extraction de la structure des tableaux et de la correspondance BM25 exacte sur les codes est décisive.
• Rapports et présentations : chiffres trimestriels sous forme de graphiques, tableaux de bord KPI, diagrammes. La description des graphiques par un LLM de vision, associée au parsing des tableaux, couvre les deux.

Exemple concret : RAG sur des factures

Imaginons qu'un prestataire de services veuille rendre consultables 50 000 factures PDF scannées, pour qu'un agent du support puisse répondre à des questions comme « Quel taux de TVA s'appliquait à la ligne 3 de la facture TS-2024-0815 ? »

```
INDEXATION (hors ligne):
[50 000 scans PDF]
-> OCR (Tesseract / Azure Document Intelligence)
-> Parsing sensible à la mise en page (Docling): détecte le tableau des lignes
-> sérialiser le tableau en préservant sa structure (Markdown)
-> optionnel: un LLM de vision décrit la mise en page/les tampons
-> Embedding (multilingue, p. ex. Cohere Embed v4)
-> upsert dans la BD vectorielle + index BM25 parallèle
(métadonnées: tenant_id, numero_facture, date, ACL)

REQUÊTE (en ligne):
[Question] -> Embedding + requête BM25 ("TS-2024-0815")
-> Récupération hybride (top_k = 50)
-> Re-Ranker (Cohere Rerank v3.5), top_k = 5
-> Prompt + citation de la source (numéro de facture + extrait)
-> LLM -> réponse avec contrôle de fidélité (RAGAS)
```

Le chemin BM25 trouve le numéro de facture exact qu'un embedding seul raterait. Le parseur de mise en page veille à ce que « ligne 3 » et son taux de TVA restent dans la même rangée structurée, au lieu d'être séparés par un chunking à taille fixe. Le reranking réduit encore le taux d'erreur : avec Contextual Retrieval d'Anthropic, le taux d'erreur top-20 baisse de 49 % avec Contextual Embeddings et Contextual BM25, et de 67 % avec un reranking supplémentaire (de 5,7 à 1,9 %, texte, données de 2024). Pour les pipelines multimodaux, le principe du reranking s'applique de la même manière.

Les pièges des mises en page complexes

• Tableaux imbriqués et sur plusieurs colonnes : les parseurs attribuent mal les cellules. Teste avant le déploiement sur des documents réels, pas sur des exemples idéaux.
• Mauvaise qualité de scan : les erreurs d'OCR se propagent à chaque étape suivante. Les approches visuelles comme ColPali sont alors souvent plus robustes, car elles contournent l'étape d'OCR.
• Absence de reranking et d'évaluation : sans mesure de la fidélité, les régressions de qualité restent invisibles. RAGAS mesure selon Faithfulness, Answer Relevancy, Context Precision et Context Recall. Cela a sa place dans la CI.
• Lost-in-the-chunks : un chunk « Il a augmenté de 12 % » sans en-tête de contexte ne vaut rien. Le Contextual Chunking (Anthropic 2024) ajoute en tête un contexte généré par un LLM et améliore de façon mesurable la qualité de la récupération.
• Dérive des embeddings lors d'un changement de modèle : changer de modèle d'embedding multimodal impose une réindexation complète. Consigne la chaîne de version dans l'index.
• RGPD pour les factures et les scans : les données personnelles contenues dans les images et les tableaux sont soumises aux mêmes obligations : cloisonnement des clients, modèle de rôles, pipeline de suppression pour les chunks et les embeddings, hébergement dans l'UE (cf. guide d'orientation de la DSK sur le RAG). À titre informatif, ne constitue pas un conseil juridique.

Pour les agences et les décideurs B2B

En 2026, le RAG multimodal est un sujet de production : il détermine si un assistant IA parvient à exploiter les documents les plus précieux de l'entreprise (manuels techniques, factures, rapports) ou s'il échoue face à eux. Pour les agences, le levier réside dans le bon choix des composants selon le type de document : parsing sensible à la mise en page pour les PDF structurés, récupération visuelle pour les scans et les graphiques, recherche hybride et reranking en standard. Si tu veux mettre en place un système de connaissances avec des images, des PDF scannés et des tableaux, prêt pour la production, conforme au RGPD et doté d'une fidélité mesurable, tu devrais planifier l'architecture et l'évaluation ensemble dès le départ. Blck Alpaca accompagne les entreprises de toute l'Europe précisément dans cette conception, du pipeline d'ingestion jusqu'à une chaîne d'outils souveraine dans l'UE.