LLM-Router: Wann großes Frontier-Modell, wann klein, wann Open Source?

Ein LLM-Router ist eine Routing-Logik, die jeden Schritt eines KI-Agenten automatisch dem passenden Modell zuweist. Große Frontier-Modelle übernehmen komplexes Reasoning und Tool-Orchestrierung, kleine günstige Modelle erledigen einfache Schritte wie Klassifikation oder Extraktion, und Open-Weight-Modelle senken die Kosten und decken, auf Sovereign-EU-Hosting oder On-Prem betrieben, auch Souveränitätsanforderungen ab. Statt einer Einmal-Entscheidung "welches Modell nehmen wir?" wird die Modellwahl damit zu einer fortlaufenden Zuordnung von Aufgabe zu Modell entlang vier Kriterien: Qualität, Kosten, Latenz und Compliance.

Die zentrale Einsicht für 2026: Die Frage "großes oder kleines Modell, proprietär oder Open Source?" ist laut der zugrundeliegenden Research keine binäre Entscheidung mehr, sondern eine Portfolio-Allokation. Ein produktiver Agent läuft selten auf einem einzigen Modell.

Drei Schnellantworten

• Wann groß (Frontier-Closed)? Bei komplexem Reasoning, agentic Coding auf Spitzen-Tier, very-long-context-Aufgaben, Premium-Multimodal und seltenen hochwertigen Analyse-Schritten. Diese Kategorie umfasst in DACH-Konzernen typischerweise 15-35 % des Token-Volumens, trägt aber 60-80 % des wahrgenommenen strategischen Werts.
• Wann klein (Workhorse/Speed)? Bei einfachen, häufigen, gut definierten Schritten: Klassifikation, Extraktion, Summarisation, Routing-Entscheidungen selbst, Standard-Formatierung. Hier ist der Frontier-Premium laut Research nicht mehr ökonomisch zwingend.
• Wann Open Source / Sovereign-EU-Hosting? Wenn Souveränität, Datenresidenz, Kostenkontrolle bei hohem Volumen oder Mitbestimmungs-Anforderungen dominieren, insbesondere bei workforce-defining und kundendaten-verarbeitenden Agenten.

Warum die binäre Modellfrage 2026 nicht mehr trägt

Der Capability-Gap zwischen bester Open-Weight und Frontier-Closed hat sich laut Research von 12-18 Monaten (2024) auf 3-6 Monate (2026) verengt; auf einzelnen Workloads ist er null oder negativ. Konkret, Stand April bis Mai 2026: Kimi K2.6 (1T-Parameter, Modified MIT, Open-Weight) lag auf dem Artificial-Analysis-Intelligence-Index auf Platz 4 der Gesamtwertung, nur hinter Modellen von Anthropic, Google und OpenAI, und erreichte auf SWE-Bench Pro mit 58,6 % Parität mit GPT-5.5. DeepSeek V4 Pro erzielte auf SWE-Bench Verified 80,6 % und ein Codeforces-Rating von 3.206. Höher lag Gemini 3 Deep Think, für das Google im Februar 2026 ein Codeforces-Rating von 3.455 gemeldet hat.

Gleichzeitig blieb im selben Zeitraum der Frontier-Premium für bestimmte Schritte real und nicht-trivial: Auf FrontierMath erreichte GPT-5.5 Pro das beste öffentliche Math-Resultat, auf GPQA Diamond führte Gemini 3.1 Pro mit 94,3 %, Claude Opus 4.7 lag auf SWE-Bench Verified bei 87,6 %. Für seltene, hochwertige Reasoning-Workloads wie juristische Recherche, wissenschaftliche Hypothesenbildung oder komplexe Finanzanalyse war Frontier-Closed damit materiell überlegen.

Für die Modellwahl heißt das: Die ehrliche Frage ist nicht "Open oder Closed?", sondern "Welcher Schritt gehört auf welche Tier?".

Der Kostenhebel: Warum Routing sich rechnet

Der ökonomische Treiber hinter LLM-Routing ist die Preisspreizung. Closed-Frontier bleibt laut Research 8-100x teurer auf Output als günstige Open-Weight-Modelle. Wer jeden Agenten-Schritt, auch das simple Klassifizieren einer E-Mail, auf das Frontier-Modell schickt, bezahlt Premium-Preise für Qualität, die der Schritt gar nicht benötigt.

Die folgende Übersicht zeigt repräsentative Listenpreise (USD pro Million Tokens Input/Output). Neue Modellgenerationen erscheinen im Abstand weniger Monate. Prüfe Preise und Versionen deshalb vor jeder mehrjährigen Verpflichtung.

Die Spreizung ist drastisch: Im typischen Vergleich liegt der Output-Preis um Faktor 8 bis 100 auseinander; stellt man das teuerste Frontier-Modell dem günstigsten Workhorse gegenüber, kostet GPT-5.5 Pro auf Output sogar rund das 640-fache von DeepSeek V4 Flash. Genau diese Lücke macht Routing zum wirtschaftlichen Standard.

Das Router-Pattern: Aufgabe zu Modell

Ein LLM-Router ordnet eingehende Schritte ihrer Komplexitäts- und Compliance-Klasse zu und wählt das günstigste Modell, das die Anforderung erfüllt. In der Praxis übernimmt häufig ein kleines, schnelles Modell selbst die Klassifikation der Aufgabe, bevor die eigentliche Arbeit auf das passende Zielmodell geht. Die Routing-Tabelle ist das Herzstück:

Die vier Tradeoff-Dimensionen

Die Research strukturiert die Modellwahl entlang vier Dimensionen, die ein guter Router gemeinsam abbildet:

• Qualität (Weights-Control & Capability): Wie viel Reasoning-Tiefe braucht der Schritt wirklich? Und wer kontrolliert das Modell: Liegt es als Closed-API allein in der Vendor-Roadmap, oder ist es als Open-Weight zu einem anderen Inference-Provider oder Self-Hosting portierbar?
• Kosten (Cost-Profile): Per-Token-Closed (Premium, voll variabel), Per-Token-Open-Weight via Inference-Provider (Mid-Tier) oder Self-Hosting (Fix-Kosten, marginale Token-Kosten nahe null bei hoher Auslastung). Self-Hosting wird laut Research erst ab konstant 5-50 Mio. Tokens/Tag wirklich attraktiv und nur mit vorhandener MLOps-Kapazität.
• Latenz: Speed-Spezialisten wie Groq (LPU) und Cerebras (Wafer-Scale) liefern Sub-Sekunden-Time-to-First-Token für ausgewählte Modelle. Das zählt bei interaktiven Agenten, bei nächtlicher Batch-Verarbeitung nicht.
• Compliance (Hosting-Sovereignty): Eine EU-Region auf einem US-Hyperscaler ist laut Research nicht dasselbe wie Sovereign-EU. Sie reduziert Latenz und DSGVO-Reibung, eliminiert aber nicht die US-Jurisdiktion (CLOUD Act, OFAC). Strukturell außerhalb der US-Reichweite liegen nur Sovereign-EU-Stacks (STACKIT, OVHcloud, T-Systems Open Telekom Cloud, IONOS, Hetzner) und On-Prem.

Open Source vs. proprietär: die nüchterne Abwägung

Hier lohnt der genaue Blick, weil "Open" mehrdimensional ist. Open-Weight bedeutet, dass die Gewichte herunterladbar sind, nicht automatisch, dass die Lizenz uneingeschränkt ist. Mistral Large 3 (Apache 2.0, EU-Sovereign) und Phi-4 (MIT) sind permissiv. Llama 4 dagegen unterliegt der Llama Community License mit einer 700-Mio.-MAU-Schwelle und einer EU-Restriktion für die multimodalen Modelle. Meta hat den EU-Ausschluss multimodaler Llama-Modelle im Juli 2024 mit dem unvorhersehbaren europäischen Regulierungsumfeld begründet. Laut Berichten ging es um die unsichere Auslegung der DSGVO beim Training mit Daten von EU-Nutzern, nicht um den AI Act. Die OSI klassifiziert Llama explizit als nicht Open-Source.

China-Open-Weight (DeepSeek V4 unter MIT-derived, Kimi K2.6 unter Modified MIT, Qwen 3.6-27B unter Apache 2.0) ist lizenzrechtlich genuin permissiv, permissiver als Llama. Aber die Herkunfts-Jurisdiktion ist laut Research nicht durch Lizenz-Permissivität neutralisierbar. Für DACH-Konzerne mit US-Tochter, US-Vertragspartner-Verpflichtungen oder kritischer Infrastruktur trägt diese Option ein unbestimmtes geopolitisches Tail-Risiko (Export Controls, Reputationsrisiko), das explizit pro Workload zu begrenzen ist. Akzeptabel ist das etwa für Coding-Agents auf öffentlichem Code oder Batch-Klassifikation auf öffentlich zugänglichen Texten, problematisch bei sensiblen Kundendaten.

Souveränität ist 2026 zudem ein messbares Beschaffungs-Kriterium: Laut Bitkom (November 2025) sehen sich 89 % der deutschen Unternehmen, die digitale Güter oder Leistungen importieren, davon abhängig. In einer im Mai 2025 veröffentlichten Bitkom-Umfrage halten 68 % der Bevölkerung Deutschland bei KI für zu abhängig von den USA und China. In Betriebsrats-Verhandlungen ist Sovereign-EU-Substrat strukturell reibungsärmer, weil Audit-Rechte, Datenresidenz und Vendor-Jurisdiktion einfacher zu vereinbaren sind.

Ein dezenter, aber wichtiger Hinweis: Die Compliance- und Lizenz-Aussagen hier sind keine Rechtsberatung. Relevant für das Routing ist eine Grenze aus der Research: Wer ein Open-Weight-Modell substanziell fine-tunet (indikative EU-AI-Act-Schwelle: mehr als ein Drittel des Base-Pretraining-Computes, default 3,33 × 10²² FLOPs), kann selbst zum GPAI-Provider werden. LoRA/QLoRA liegt typischerweise weit darunter; Continued Pretraining überschreitet die Schwelle fast immer. Das ist ein Argument, in der Customization-Pipeline auf RAG plus Prompt-Engineering zu setzen statt auf schweres Fine-Tuning, und ein Grund, die konkrete rechtliche Bewertung qualifiziert prüfen zu lassen.

Praxisbeispiel: Ein Support-Agent mit gemischtem Routing

Ein Kundenservice-Agent bearbeitet täglich 100.000 Anfragen. Ohne Router läuft alles auf Claude Opus 4.7 (5/25 USD pro Mio. Tokens). Mit Router sieht die Zuordnung so aus:

• Schritt 1: Intent-Klassifikation (70 % der Last): Ein Speed-Open-Weight-Modell wie Ministral 3 (0,15/0,40 USD) klassifiziert die Anfrage, auf Output um Faktor ~60 günstiger als Opus. Souverän ist dieser Schritt nur, wenn das Modell auf einem Sovereign-EU-Stack oder On-Prem läuft. Die EU-Region eines US-Inference-Anbieters senkt die DSGVO-Reibung, beseitigt aber nicht die US-Jurisdiktion.
• Schritt 2: Standard-Antwort aus Wissensbasis (20 % der Last): Ein EU-Workhorse wie Mistral Large 3 (0,50/1,50 USD, Apache 2.0, EU-Sovereign) generiert die Antwort per RAG, mit starker Deutsch-Performance und Datenresidenz in der EU.
• Schritt 3: Eskalation mit komplexem Vertrags-Reasoning (10 % der Last): Hier greift das Frontier-Modell (Claude Opus 4.7), weil die Antwortqualität geschäftskritisch ist und der Premium sich rechtfertigt.

Das Ergebnis: Der teure Frontier-Pfad trägt nur noch ein Zehntel der Last, der überwiegende Teil läuft auf günstigen Open-Weight-Modellen von Mistral, die mit Sovereign-EU-Hosting auch souverän sind. Pseudocode der Routing-Entscheidung:

```
intent = classify(anfrage) # Ministral 3, Sovereign-EU-Stack
if intent in EINFACH:
return mistral_large_3(rag(anfrage)) # EU-Sovereign Workhorse
elif intent == VERTRAG_KOMPLEX:
return claude_opus_47(anfrage) # Frontier nur wo nötig
```

Damit Routing nicht zur Vendor-Falle wird, empfiehlt die Research einen Portabilitäts-Layer (etwa LiteLLM oder OpenRouter für Multi-Provider-Routing) und mindestens einen dünnen Open-Weight-Migrationspfad für die wichtigsten Workloads, dazu eine kontinuierliche Eval-Pipeline gegen ein held-out Test-Set, weil Closed-API-Updates automatisch passieren und stille Capability-Regressionen mehrfach dokumentiert sind.

Für Agenturen und B2B-Entscheider

Ein durchdachter LLM-Router ist 2026 kein Nice-to-have, sondern der Hebel, an dem Kosten, Antwortqualität und DSGVO-Konformität eines Agenten gleichzeitig hängen. Die richtige Architektur ist fast immer hybrid. Die eigentliche Arbeit liegt darin, pro Workload sauber zu entscheiden, welcher Schritt Frontier-Qualität braucht, welcher auf einem günstigen EU-Modell laufen kann und wo Souveränität bindend ist. Genau diese Routing-Logik, die Vendor-Portabilität und die passende Sovereign-EU- oder Closed-Frontier-Mischung konzipiert Blck Alpaca als Wiener Agentur für KI-Agenten gemeinsam mit DACH-Unternehmen. Wenn du wissen willst, welcher Modell-Mix zu deinen Workloads, deinem Compliance-Profil und deinem Budget passt, sprich mit uns.