Embedding-Modelle 2026 im Vergleich: text-embedding-3, Cohere, BGE-M3, Voyage & Jina

Ein Embedding-Modell wandelt Text in numerische Vektoren um, die semantische Ähnlichkeit messbar machen. Diese Vektoren sind die Grundlage jedes RAG-Systems. Ein fundierter Embedding-Modelle-Vergleich bewertet die Kandidaten nach Dimensionen, Kontextlänge, MTEB/MMTEB-Benchmarks, Mehrsprachigkeit, Kosten, Self-Hosting-Fähigkeit und Lizenz. Für den DACH-Raum gilt: Der englische MTEB-Rang ist kein deutscher Rang. Maßgeblich sind MMTEB, MIRACL und MTEB-DE.

• Bestes Deutsch (proprietär): Cohere Embed v4, multilingualer Leader, per API, über Azure oder als Private Deployment in der eigenen VPC bzw. On-Premises nutzbar (Stand 2026).
• Open-Source-Standard für Multilingual-RAG: BGE-M3 (MIT), SOTA auf MIRACL, kombiniert Dense, Sparse und Multi-Vector in einem Modell.
• Höchster MMTEB-Wert der offenen Modelle im Vergleich: Qwen3-Embedding-8B (Apache 2.0), braucht aber deutlich mehr GPU-Leistung als BGE-M3.
• Open Weights mit Lizenzvorbehalt: Jina v3/v4, in Berlin entwickelt und seit Oktober 2025 Teil von Elastic. v4 ist multimodal und verarbeitet auch visuelle Dokumente. Die Gewichte sind nur für nicht kommerzielle Nutzung frei. Kommerziell nutzt du Jina per API oder mit gesonderter Lizenz.

Warum der englische MTEB-Rang in die Irre führt

MTEB v1 wird von englischen Aufgaben dominiert. Die korrekten DACH-Referenzen sind MMTEB (das Massive Multilingual Text Embedding Benchmark mit über 500 Aufgaben und 250+ Sprachen), MIRACL (18-sprachiges monolinguales Retrieval) sowie deutsche Subsets wie MTEB-DE, GermanQuAD-Retrieval und MIRACL-de. Diese Benchmarks ordnen das Leaderboard regelmäßig neu: Modelle, die auf Englisch glänzen, verlieren auf Deutsch oft 5-15 nDCG@10-Punkte, vor allem bei Komposita, Fachsprache, juristischer und medizinischer Terminologie sowie tokenisierungslastigem Langwort-Retrieval.

Für deutsche B2B-Korpora kommt erschwerend hinzu, dass Named Entities, Produktcodes, Paragraphennummern, ICD-Codes, SAP-Materialnummern, IBANs und Aktenzeichen exakt jene Tokens sind, bei denen reine Dense-Retrieval-Modelle schwächeln. Die Modellwahl ist deshalb immer eine Entscheidung über deutsche Sprachqualität, nicht über das globale Leaderboard.

Die wichtigsten Embedding-Modelle 2026 im Vergleich

Die folgende Tabelle fasst die zentralen Auswahlkriterien zusammen. Benchmark-Werte stammen, soweit nicht verlinkt, aus der internen Research-Grundlage (Stand 2026). Die Lizenzangaben der Open-Weight-Modelle stammen aus den Modellkarten auf Hugging Face (Stand Oktober 2026).

Proprietäre APIs: OpenAI, Cohere, Voyage

OpenAI text-embedding-3-large liefert mit 3.072 Dimensionen und 8.192 Token Kontext solide englische Werte, fällt bei deutschen Spezialaufgaben aber gegenüber Cohere und BGE merklich zurück. Es bleibt API-only (auch über Azure OpenAI in europäischen Regionen wie Sweden Central oder Switzerland North), womit die US-Jurisdiktion bestehen bleibt. Cohere Embed v4 ist der proprietäre Multilingual-Leader mit dem besten Deutsch-Signal, bis zu 128k Kontext und Matryoshka-Truncation von 256 bis 1.536 Dimensionen. Souverän betreibst du es als Private Deployment in der eigenen VPC oder On-Premises. Voyage (seit Februar 2025 bei MongoDB) ist auf Englisch, Finance, Legal und Code spezialisiert; für deutschsprachiges Retrieval ist es nicht der Maßstab.

Open-Weight-Modelle: BGE-M3, Jina, Qwen3

BGE-M3 (BAAI, MIT) ist der Open-Source-Standard für DACH-Multilingual-RAG: 1.024 Dimensionen, 8.192 Token Kontext, SOTA auf MIRACL und, als Besonderheit, Dense-, Sparse- und Multi-Vector-Embeddings in einem Modell. Jina v3 und v4 wurden in Berlin entwickelt, Jina AI gehört aber seit Oktober 2025 zu Elastic. v4 verarbeitet mit 32k Kontext zusätzlich visuell reiche Dokumente (Tabellen, Charts, Diagramme) und erreicht ViDoRe 90,17 im Multi-Vector-Modus. Achtung bei Lizenzen: jina-embeddings-v3 steht unter CC BY-NC 4.0, jina-embeddings-v4 unter der Qwen Research License. Beide erlauben Self-Hosting nur für nicht kommerzielle Zwecke. Kommerziell nutzt du sie per API oder mit gesonderter Lizenz. Aus demselben Grund fällt NV-Embed-v2 (NVIDIA, CC-BY-NC) für kommerzielle DACH-Deployments aus. Frei nutzbar sind dagegen jina-embeddings-v2-base-de (Apache 2.0), mit 322 MB die pragmatische bilinguale Wahl für GPU-lose Mittelstands-Stacks, und Qwen3-Embedding (Apache 2.0).

Praxisbeispiel: Speicherkosten und Matryoshka

Konkretes Rechenbeispiel für 10 Mio. Vektoren bei 1.024 Dimensionen mit HNSW-Index:

• float32 (Baseline): Rohvektoren 40 GB, plus 50-100 % HNSW-Overhead -> effektiver Working Set 60-80 GB.
• halfvec (float16): rund 30-40 GB bei vernachlässigbarem Recall-Verlust.
• Scalar Quantization (SQ8): rund 10-20 GB bei nur 1-3 % Recall-Verlust.
• Binary + Rescore: rund 5-10 GB, aber nur mit Full-Vector-Rescore der Top-N, sonst 30-60 % Recall-Verlust.

Hinzu kommt Matryoshka: text-embedding-3-large mit 3.072 Dimensionen ist für die meisten Enterprise-RAG-Fälle überdimensioniert. Eine Truncation auf 1.024 oder 512 Dimensionen kostet nur etwa 1-3 % Retrieval-Qualität, spart aber 3-6x Speicher und ANN-Latenz. Zusätzliches Training ist dafür nicht nötig. Dasselbe gilt für Cohere Embed v4, mxbai-2d und Voyage 4. Für Neubauten lautet die Empfehlung: ein Matryoshka-fähiges Modell wählen und bei 512-1.024 Dimensionen speichern. BGE-M3 ist nicht Matryoshka-trainiert, liegt mit fest 1.024 Dimensionen aber bereits in diesem Bereich.

Reranker nicht vergessen

Die Modellwahl ist nur die halbe Miete. Ein Cross-Encoder-Reranker nach der ersten Retrieval-Stufe ist die wirkungsvollste Einzelmaßnahme in der Pipeline: Er hebt recall@5 typisch um 5-15 Prozentpunkte. Laut Anthropics Studie zu Contextual Retrieval senken kontextualisierte Embeddings plus kontextualisiertes BM25 die Fehlerquote beim Top-20-Retrieval um 49 %, mit zusätzlichem Reranker um 67 %, jeweils gegenüber Standard-Embeddings. Souverän self-hostbare Reranker sind BGE Reranker v2-m3 (Apache 2.0) und mxbai-rerank-large-v2 (Apache 2.0). Die Jina Reranker v2 und v3 stehen unter CC BY-NC 4.0 und brauchen für den kommerziellen Einsatz eine gesonderte Lizenz. Als proprietäre Alternative gibt es Cohere Rerank per API oder als Private Deployment in der eigenen VPC bzw. On-Premises.

Empfehlung für DACH- und mehrsprachige Use-Cases

Die konkrete Rangfolge für deutschsprachiges Enterprise-RAG (Stand 2026) wägt Qualität, Ressourcenbedarf und Lizenz ab: 1. Cohere Embed v4 (bestes Deutsch, proprietär, souverän nur als Private Deployment), 2. BGE-M3 (Open-Source-Standard für Multilingual-RAG, MIT, voll souverän, deutlich sparsamer im Betrieb), 3. Qwen3-Embedding-8B (Apache 2.0, höchster MMTEB-Wert ~70,58 unter den offenen Modellen dieses Vergleichs, braucht aber deutlich mehr GPU-Leistung), 4. Jina v3/v4 (in Berlin entwickelt, seit 10/2025 Teil von Elastic, v4 multimodal, kommerziell nur per API oder mit Lizenz), 5. BGE-multilingual-gemma2 (noch schwerer, aber stark auf mehreren Splits). OpenAI text-embedding-3-large rangiert auf deutschen Aufgaben deutlich dahinter.

Der souveränste Stack: BGE-M3 oder Qwen3-Embedding, self-hosted auf einer einzelnen L4-/A10G-GPU, ergänzt um BGE Reranker v2-m3. Alle drei Modelle stehen unter MIT- bzw. Apache-2.0-Lizenz, alle Layer laufen auf DACH-Souverän-Clouds (STACKIT, IONOS, OTC, Hetzner). Cohere Embed v4 kommt dort hinzu, wo die etwas bessere deutsche Qualität das kommerzielle Commitment rechtfertigt. Für volle Datenhoheit bietet Cohere Embed auch als Private Deployment in der eigenen VPC oder On-Premises an. Wichtig für die Compliance: Embeddings aus personenbezogenen Daten gelten mit hoher Wahrscheinlichkeit selbst als personenbezogen (vgl. EDPB-Opinion 28/2024). Für regulierte Workloads sind self-hostbare Modelle deshalb die risikoärmste Wahl. Rechnet oder speichert ein externer Anbieter die Embeddings für dich, auch in einer EU-Cloud, brauchst du einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO. Eine US-API ist nicht ausgeschlossen, braucht aber zusätzlich eine Transfergrundlage nach Art. 44 ff. DSGVO. Ist der Anbieter unter dem EU-US Data Privacy Framework zertifiziert, genügt der Angemessenheitsbeschluss. Bei Standardvertragsklauseln musst du zusätzlich prüfen, ob das Recht im Zielland den Schutz unterläuft (Transfer-Folgenabschätzung).

Für Agenturen und B2B-Entscheider

Die Embedding-Modellwahl entscheidet über Retrieval-Qualität, Speicherkosten und DSGVO-Konformität deines RAG-Systems gleichermaßen. Wer für den DACH-Markt baut, sollte nicht nach englischem MTEB-Rang, sondern nach belegter deutscher Qualität und Souveränität auswählen. Als Wiener Agentur konzipiert und implementiert Blck Alpaca souveräne, mehrsprachige RAG- und KI-Agenten-Stacks und begleitet dich von der Modellauswahl über Self-Hosting bis zur Reranker-Integration. Sprich uns an, wenn du ein DSGVO-konformes Embedding-Setup für deutschsprachige Inhalte aufsetzen oder ein bestehendes System auf deutsche Retrieval-Qualität optimieren möchtest.