Température, top-p et échantillonnage : réglages pour des agents déterministes

La température, le top-p et le top-k sont des paramètres d'échantillonnage qui déterminent le degré d'aléatoire avec lequel un Large Language Model (LLM) choisit le token suivant. Des valeurs basses (température de 0 à 0,2) rendent les sorties plus reproductibles et constituent la norme pour les appels d'outils déterministes et les sorties structurées, à condition que le modèle accepte le paramètre ; des valeurs plus élevées augmentent la variance et conviennent au contenu créatif. Pour des agents fiables, ces réglages sont un levier central.

• Les agents déterministes sont les plus stables avec une température basse. Pour les appels d'outils, la classification et les sorties JSON, cela signifie une température de 0 à 0,2, à condition que le modèle accepte le paramètre.
• Le top-p et le top-k restreignent le pool de candidats. Ils sont un outil plus efficace contre les tokens aberrants improbables que la température seule.
• Un vrai déterminisme ne va pas de soi. Même à température 0, les effets GPU et le batching laissent une variance résiduelle que ni la graine ni le verrouillage de version n'éliminent.

Comment fonctionne l'échantillonnage dans un LLM

Un LLM génère du texte token par token. À chaque étape, le modèle calcule une distribution de probabilités sur l'ensemble du vocabulaire (les logits sont convertis en probabilités par une fonction softmax). Le token réellement produit dépend de la stratégie d'échantillonnage. C'est précisément là qu'interviennent la température, le top-p et le top-k. Ils ne modifient pas ce que le modèle a appris, mais seulement la manière dont le token concret est tiré de la distribution apprise.

Cette distinction est décisive pour les agents : le même modèle, avec les mêmes poids et le même prompt, peut produire selon les réglages d'échantillonnage tantôt un appel d'outil proprement parsé, tantôt un long texte décousu. Si tu ignores l'échantillonnage, tu laisses la fiabilité de ton agent au hasard.

Température

La température met à l'échelle la distribution avant l'échantillonnage. Mathématiquement, les logits sont divisés par la valeur de la température :

• Température proche de 0 : la distribution devient la plus pointue possible. Le token le plus probable domine ; le comportement se rapproche du greedy decoding, c'est-à-dire de la sélection pure du token le plus probable. Les sorties deviennent hautement reproductibles.
• Température autour de 1,0 : la distribution reste quasiment inchangée. Le modèle échantillonne avec les probabilités apprises.
• Température supérieure à 1,0 : la distribution s'aplatit. Les tokens improbables gagnent du poids. Cela accroît la diversité et la créativité, mais aussi le risque de sorties incohérentes et d'hallucinations.

Top-p (nucleus sampling)

Le top-p, aussi appelé nucleus sampling, fonctionne par troncature plutôt que par mise à l'échelle. Avec top-p = 0,9, le modèle ne considère que le plus petit ensemble de tokens dont la probabilité cumulée atteint au moins 90 %, et échantillonne exclusivement dans ce noyau (le nucleus). La longue traîne des tokens improbables est entièrement coupée. Le top-p est dynamique : dans les contextes où la suite est évidente, le pool reste petit ; face à des formulations ouvertes, il s'agrandit.

Top-k

Le top-k est la troncature la plus simple : il ne conserve que les k tokens les plus probables et rejette le reste. Top-k = 1 équivaut au greedy decoding. Le top-k est statique (toujours le même nombre de candidats) et passe aujourd'hui pour une variante plus grossière que le top-p adaptatif. Certains fournisseurs et stacks d'inférence exposent le top-k, d'autres misent principalement sur la température et le top-p.

Pourquoi ces réglages déterminent la fiabilité des agents

Un agent n'est pas un chatbot qui répond une seule fois. Il exécute des workflows en plusieurs étapes : il appelle des outils, parse leurs retours, planifie les étapes suivantes et transmet des données structurées aux systèmes en aval. Dans cette chaîne, la prévisibilité compte plus que le brio. Trois modes de défaillance concrets montrent pourquoi :

1. Structure cassée : avec une température élevée, le modèle peut inventer un champ supplémentaire, oublier un guillemet ou placer de la prose avant le JSON. Le parser en aval plante, l'agent s'arrête ou tourne dans une boucle d'erreurs.
2. Choix d'outil instable : un agent qui, pour un input identique, choisit tantôt l'outil A, tantôt l'outil B, n'est pas testable. Une température basse rend la décision de routage des outils reproductible.
3. Erreurs non reproductibles : les bugs qui n'apparaissent que sur certains chemins d'échantillonnage sont presque impossibles à déboguer sans déterminisme et ne peuvent pas être mesurés de façon stable dans les évaluations.

En même temps, il existe des cas légitimes pour une variance plus élevée : génération de variantes de contenu, brainstorming, éléments de texte créatifs ou création de données de test synthétiques variées. Tout l'art consiste à choisir le bon profil pour chaque étape de la charge de travail, au lieu d'appliquer une valeur globale à tout l'agent.

Paramètres, effet et recommandation pour les agents

Règle empirique importante : pilote activement un seul des deux paramètres, température ou top-p, et laisse l'autre sur la valeur par défaut du fournisseur. Modifier les deux de façon agressive en même temps crée des interactions difficiles à comprendre et rend les résultats moins comparables.

Exception pour les modèles de raisonnement et les modèles Claude récents : sur de nombreux modèles actuels, la température ne peut tout simplement pas être réglée librement. Selon OpenAI, la température et le top-p doivent être omis sur GPT-6 dès que le reasoning effort n'est pas réglé sur « none ». GPT-6 Astra et GPT-6.1 Sol ne prennent pas en charge « none » : ces deux paramètres n'y sont donc jamais réglables. Anthropic rejette avec une erreur, sur ses modèles récents (à partir de Claude Opus 4.7, Sonnet 5 et Haiku 5.5), toute valeur de température, de top-p ou de top-k différente de la valeur par défaut ; sur les anciens modèles Claude, la température et le top-k ne peuvent pas être combinés avec le thinking (situation en octobre 2026). Sur ces modèles, les sorties structurées et des schémas d'outils stricts garantissent des résultats stables, et les evals rendent les écarts visibles.

Les limites du déterminisme : pourquoi une température de 0 ne suffit pas

Une idée reçue répandue veut qu'une température de 0 garantisse des sorties identiques au bit près. En pratique, c'est souvent faux. Même en mode greedy, une variance résiduelle subsiste, issue de plusieurs sources :

• Virgule flottante sur GPU : les calculs parallèles sur GPU ne sont pas identiques au bit près quel que soit l'ordre. D'infimes différences numériques peuvent faire basculer le choix du token dans les cas serrés.
• Batching dynamique : lorsqu'une requête est regroupée en batch avec d'autres requêtes, le résultat numérique peut légèrement varier selon la composition du batch.
• Routage Mixture-of-Experts : dans les architectures MoE (répandues en 2026, par exemple Mistral Large 3, avec 675 milliards de paramètres dont 41 milliards actifs, ou DeepSeek V4), un routeur décide quels experts traitent un token. Les effets de routage peuvent introduire une variance supplémentaire.

Conséquence pour la reproductibilité : une température de 0 supprime l'aléa de l'échantillonnage. Si tu échantillonnes avec une température supérieure à 0, une graine fixe (si le fournisseur la propose) rend le flux aléatoire reproductible. Une version figée du modèle comble la faille des mises à jour silencieuses. Les modèles accessibles par API fermée sont mis à jour par leurs fournisseurs ; verrouiller la version dans la configuration est donc aussi important pour des agents auditables que la valeur de température. En revanche, ni la graine ni le verrouillage de version n'éliminent la variance résiduelle liée à l'arithmétique GPU, au batching et au routage MoE.

Seule une inférence invariante au batch, dont le résultat ne dépend pas des autres requêtes avec lesquelles une requête est regroupée, fournit des sorties identiques au bit près. Dans une expérience de Thinking Machines (septembre 2025), 1 000 exécutions du même prompt à température 0 ont encore produit 80 réponses différentes ; avec des kernels invariants au batch, les 1 000 étaient identiques. Tu disposes de ce levier surtout avec des modèles open-weight auto-hébergés sur une stack d'inférence figée, par exemple avec Batch Invariance dans vLLM ou le mode Deterministic Inference de SGLang. Cela coûte du temps de calcul : dans un benchmark distinct du même article (Qwen3-8B, 1 000 requêtes sur un GPU), vLLM a mis 26 secondes en mode standard et 42 secondes en mode déterministe avec un kernel d'attention optimisé (55 sans cette optimisation).

Exemple pratique : un agent de routage des leads pour une agence

Imaginons qu'une agence marketing crée un agent qui classe les demandes de contact entrantes et les transmet à la bonne équipe. Le workflow comporte trois étapes avec trois profils différents :

```text
Étape 1 : classification (tool call) :
temperature = 0
top_p = ne pas définir (valeur par défaut du fournisseur)
Tâche : demande -> {"catégorie": "SEO|Webdesign|Conseil", "priorité": "haute|moyenne|basse"}
Objectif : input identique -> catégorie identique, JSON proprement parsable

Étape 2, résumé factuel (RAG) :
temperature = 0.3
Tâche : condenser en 3 phrases les données pertinentes du CRM et de la base de connaissances, sans rien inventer

Étape 3, premier jet de l'e-mail de réponse (créatif) :
temperature = 0.8
top_p = ne pas définir (valeur par défaut du fournisseur)
Tâche : 3 variantes de réponse de styles différents au choix
```

Pour le mesurer, tu envoies plusieurs fois le même jeu de données de test à travers l'agent. En général, l'étape 1 à température 0 produit une classification stable : le taux d'erreurs de parsing tend vers zéro et les tests deviennent reproductibles. Si tu exécutes la même classification à une température de 0,8, l'attribution des catégories fluctue pour les demandes ambiguës, certaines sorties contiennent de la prose explicative avant le JSON et le parser plante dans une partie des cas. L'étape 3, en revanche, profite d'une température élevée, car trois brouillons d'e-mail identiques n'auraient aucune valeur. C'est précisément cette séparation par étape qui constitue le cœur d'une conception d'agents solide.

Pour les agences et les équipes B2B

Si tu utilises des agents en production, tu devrais traiter les réglages d'échantillonnage comme une composante de l'assurance qualité. Concrètement : des profils déterministes pour tout ce qui est structuré (appels d'outils, extraction de données, routage), une température modérée pour l'analyse et le RAG, une température élevée uniquement pour les étapes volontairement créatives. Documente les valeurs pour chaque étape du workflow, verrouille la version du modèle et fais tourner un pipeline d'evals sur un jeu de données de test fixe, afin que les régressions deviennent visibles avant d'être remarquées chez le client. En tant qu'agence d'agents IA basée à Vienne, Blck Alpaca aide les entreprises de toute l'Europe à configurer proprement ces réglages et à les intégrer dans des workflows d'agents fiables et auditables.