Temperature, Top-p und Sampling: Settings für deterministische Agenten

Temperature, Top-p und Top-k sind Sampling-Parameter, die steuern, wie zufällig ein Large Language Model (LLM) das nächste Token wählt. Niedrige Werte (Temperature 0 bis 0,2) machen Outputs reproduzierbarer und sind für deterministische Tool-Calls und strukturierte Ausgaben der Standard, sofern das Modell den Parameter zulässt; höhere Werte erhöhen die Varianz und eignen sich für Kreativ-Content. Für zuverlässige Agenten sind diese Settings eine zentrale Stellschraube.

• Deterministische Agenten laufen mit niedriger Temperature am stabilsten. Für Tool-Calls, Klassifikation und JSON-Outputs heißt das Temperature 0 bis 0,2, sofern das Modell den Parameter zulässt.
• Top-p und Top-k beschneiden den Kandidatenpool. Sie sind das schärfere Werkzeug gegen unwahrscheinliche Ausreißer-Tokens als Temperature allein.
• Echter Determinismus ist nicht selbstverständlich. Auch bei Temperature 0 bleibt durch GPU-Effekte und Batching Rest-Varianz, die weder Seed noch Versions-Pinning beseitigen.

Wie Sampling im LLM funktioniert

Ein LLM erzeugt Text Token für Token. In jedem Schritt berechnet das Modell über den gesamten Wortschatz eine Wahrscheinlichkeitsverteilung (die sogenannten Logits werden per Softmax in Wahrscheinlichkeiten umgerechnet). Welches Token tatsächlich ausgegeben wird, entscheidet die Sampling-Strategie. Genau hier greifen Temperature, Top-p und Top-k ein. Sie verändern nicht, was das Modell gelernt hat, sondern nur, wie aus der gelernten Verteilung das konkrete Token gezogen wird.

Diese Unterscheidung ist für Agenten entscheidend: Dasselbe Modell, dieselben Gewichte und derselbe Prompt können je nach Sampling-Settings einmal einen sauber geparsten Tool-Call und einmal einen ausschweifenden Fließtext produzieren. Wer Sampling ignoriert, überlässt die Zuverlässigkeit seines Agenten dem Zufall.

Temperature

Temperature skaliert die Verteilung, bevor gesampelt wird. Mathematisch werden die Logits durch den Temperature-Wert geteilt:

• Temperature gegen 0: Die Verteilung wird maximal scharf. Das wahrscheinlichste Token dominiert; das Verhalten nähert sich greedy decoding an, also der reinen Auswahl des Top-Tokens. Outputs werden hochgradig wiederholbar.
• Temperature um 1,0: Die Verteilung bleibt nahezu unverändert. Das Modell sampelt mit den gelernten Wahrscheinlichkeiten.
• Temperature über 1,0: Die Verteilung flacht ab. Unwahrscheinliche Tokens bekommen mehr Gewicht. Das erhöht Vielfalt und Kreativität, aber auch das Risiko für inkohärente Ausgaben und Halluzinationen.

Top-p (Nucleus Sampling)

Top-p, auch Nucleus Sampling genannt, arbeitet über Beschneidung statt Skalierung. Bei Top-p = 0,9 betrachtet das Modell nur die kleinste Menge an Tokens, deren kumulierte Wahrscheinlichkeit mindestens 90 Prozent erreicht, und sampelt ausschließlich aus diesem Kern (dem Nucleus). Der lange Schwanz unwahrscheinlicher Tokens wird vollständig abgeschnitten. Top-p ist dynamisch: In Kontexten mit einer klaren Fortsetzung bleibt der Pool klein, bei offenen Formulierungen wächst er.

Top-k

Top-k ist die einfachste Beschneidung: Es behält nur die k wahrscheinlichsten Tokens und verwirft den Rest. Top-k = 1 entspricht greedy decoding. Top-k ist statisch (immer dieselbe Anzahl Kandidaten) und gilt heute als gröbere Variante gegenüber dem adaptiven Top-p. Manche Anbieter und Inference-Stacks exponieren Top-k, andere setzen primär auf Temperature und Top-p.

Warum diese Settings über die Zuverlässigkeit von Agenten entscheiden

Ein Agent ist kein Chatbot, der einmal antwortet. Er führt mehrstufige Workflows aus: Er ruft Tools auf, parst deren Rückgaben, plant nächste Schritte und übergibt strukturierte Daten an nachgelagerte Systeme. In dieser Kette ist Vorhersehbarkeit wichtiger als Brillanz. Drei konkrete Failure-Modes zeigen, warum:

1. Brechende Struktur: Bei hoher Temperature kann das Modell ein zusätzliches Feld erfinden, ein Anführungszeichen vergessen oder Prosa vor das JSON setzen. Der nachgelagerte Parser bricht ab, der Agent stoppt oder läuft in eine Fehlerschleife.
2. Instabile Tool-Auswahl: Ein Agent, der bei identischem Input mal Tool A und mal Tool B wählt, ist nicht testbar. Niedrige Temperature macht die Tool-Routing-Entscheidung reproduzierbar.
3. Nicht-reproduzierbare Fehler: Bugs, die nur bei bestimmten Sampling-Pfaden auftreten, sind ohne Determinismus kaum zu debuggen und in Evaluationen nicht stabil messbar.

Gleichzeitig gibt es legitime Fälle für höhere Varianz: Generierung von Content-Varianten, Brainstorming, kreative Textbausteine oder die Erzeugung diverser synthetischer Testdaten. Die Kunst liegt darin, pro Workload-Schritt das passende Profil zu wählen, statt einen globalen Wert über den ganzen Agenten zu legen.

Parameter, Wirkung und Empfehlung für Agenten

Wichtige Faustregel: Steuere aktiv nur einen der beiden Parameter Temperature oder Top-p und lass den anderen auf dem Anbieter-Default. Beide gleichzeitig aggressiv zu verändern erzeugt schwer durchschaubare Wechselwirkungen und macht Ergebnisse schlechter vergleichbar.

Ausnahme Reasoning- und neuere Claude-Modelle: Bei vielen aktuellen Modellen lässt sich Temperature gar nicht frei setzen. Laut OpenAI müssen Temperature und Top-p bei GPT-6 wegfallen, sobald der Reasoning-Effort nicht auf „none“ steht. GPT-6 Astra und GPT-6.1 Sol unterstützen „none“ nicht, dort lassen sich die beiden Parameter also nie setzen. Anthropic lehnt bei seinen neueren Modellen (ab Claude Opus 4.7, Sonnet 5 und Haiku 5.5) jeden vom Default abweichenden Wert für Temperature, Top-p oder Top-k mit einem Fehler ab; bei älteren Claude-Modellen lassen sich Temperature und Top-k nicht mit Thinking kombinieren (Stand Oktober 2026). Bei diesen Modellen sorgen Structured Outputs und strikte Tool-Schemas für stabile Ergebnisse, Evals machen Abweichungen sichtbar.

Die Grenze des Determinismus: Warum Temperature 0 nicht alles ist

Ein verbreitetes Missverständnis lautet: Temperature 0 garantiert bit-identische Outputs. Das stimmt in der Praxis oft nicht. Selbst im greedy-Modus bleibt Rest-Varianz aus mehreren Quellen:

• GPU-Floating-Point: Parallele Berechnungen auf GPUs sind nicht in jeder Reihenfolge bit-identisch. Minimale numerische Unterschiede können an knappen Stellen die Token-Auswahl kippen.
• Dynamisches Batching: Wird eine Anfrage zusammen mit anderen Requests gebatcht, kann sich das numerische Ergebnis je nach Batch-Zusammensetzung leicht verschieben.
• Mixture-of-Experts-Routing: Bei MoE-Architekturen (Stand 2026 verbreitet, etwa bei Mistral Large 3 mit 675 Mrd. Parametern und 41 Mrd. aktiven oder bei DeepSeek V4) entscheidet ein Router, welche Experten ein Token verarbeiten. Routing-Effekte können zusätzliche Varianz einbringen.

Daraus folgt für die Reproduzierbarkeit: Temperature 0 entfernt die Sampling-Zufälligkeit. Wer mit Temperature über 0 sampelt, macht den Zufallsstrom mit einem fixierten Seed (sofern der Anbieter ihn anbietet) wiederholbar. Eine eingefrorene Modellversion schließt die Lücke gegen stille Modell-Updates. Closed-API-Modelle werden von ihren Anbietern aktualisiert; ein Versions-Pinning in der Konfiguration ist daher für auditierbare Agenten genauso wichtig wie der Temperature-Wert. Die Rest-Varianz aus GPU-Arithmetik, Batching und MoE-Routing beseitigen Seed und Versions-Pinning aber nicht.

Bit-identische Outputs liefert erst eine batch-invariante Inference, deren Ergebnis nicht davon abhängt, mit welchen anderen Anfragen ein Request gebündelt wird. In einem Experiment von Thinking Machines (September 2025) lieferten 1.000 Läufe desselben Prompts bei Temperature 0 noch 80 verschiedene Antworten, mit batch-invarianten Kernels waren alle 1.000 identisch. Diesen Hebel hast du vor allem bei selbst gehosteten Open-Weight-Modellen auf einem fixierten Inference-Stack, etwa mit Batch Invariance in vLLM oder dem Deterministic-Inference-Modus von SGLang. Das kostet Rechenzeit: In einem separaten Benchmark im selben Beitrag (Qwen3-8B, 1.000 Anfragen auf einer GPU) brauchte vLLM im Standardmodus 26 Sekunden, deterministisch mit optimiertem Attention-Kernel 42 Sekunden (ohne diese Optimierung 55).

Praxisbeispiel: Ein Lead-Routing-Agent für eine Agentur

Angenommen, eine Marketing-Agentur baut einen Agenten, der eingehende Kontaktanfragen klassifiziert und an das richtige Team weiterleitet. Der Workflow hat drei Schritte mit drei unterschiedlichen Profilen:

```text
Schritt 1: Klassifikation (Tool-Call):
temperature = 0
top_p = nicht setzen (Anbieter-Default)
Aufgabe: Anfrage -> {"kategorie": "SEO|Webdesign|Beratung", "priorität": "hoch|mittel|niedrig"}
Ziel: identischer Input -> identische Kategorie, sauber parsbares JSON

Schritt 2, Faktenbasierte Zusammenfassung (RAG):
temperature = 0.3
Aufgabe: relevante CRM-/Wissensdaten in 3 Sätze fassen, ohne Erfindungen

Schritt 3, Erstentwurf der Antwort-Mail (Kreativ):
temperature = 0.8
top_p = nicht setzen (Anbieter-Default)
Aufgabe: 3 stilistisch unterschiedliche Antwort-Varianten zur Auswahl
```

Messen lässt sich das, indem du denselben Testdatensatz mehrfach durch den Agenten schickst. Typischerweise liefert Schritt 1 bei Temperature 0 eine stabile Klassifikation: Die Parsing-Fehlerrate geht gegen null, die Tests werden wiederholbar. Fährst du dieselbe Klassifikation bei Temperature 0,8, schwankt die Kategorie-Zuordnung bei mehrdeutigen Anfragen, einzelne Outputs enthalten erklärende Prosa vor dem JSON, und der Parser bricht in einem Teil der Fälle ab. Schritt 3 dagegen profitiert von hoher Temperature, weil drei gleiche Mail-Entwürfe wertlos wären. Genau diese Trennung pro Schritt ist der Kern soliden Agenten-Designs.

Für Agenturen und B2B-Teams

Wer Agenten produktiv einsetzt, sollte Sampling-Settings als Teil der Qualitätssicherung behandeln. Praktisch heißt das: deterministische Profile für alles Strukturierte (Tool-Calls, Datenextraktion, Routing), moderate Temperature für Analyse und RAG, hohe Temperature nur für bewusst kreative Schritte. Dokumentiere die Werte pro Workflow-Schritt, pinne die Modellversion und fahre eine Eval-Pipeline gegen einen festen Testdatensatz, damit Regressionen sichtbar werden, bevor sie im Kundeneinsatz auffallen. Als Wiener Agentur für KI-Agenten unterstützt Blck Alpaca DACH-Unternehmen dabei, genau diese Settings sauber zu konfigurieren und in zuverlässige, auditierbare Agenten-Workflows zu überführen.