Temperature, Top-p a sampling: nastavenia pre deterministických agentov

Temperature, Top-p a Top-k sú parametre samplingu, ktoré riadia, ako náhodne Large Language Model (LLM) vyberá nasledujúci token. Nízke hodnoty (Temperature 0 až 0,2) robia výstupy lepšie reprodukovateľnými a pre deterministické volania nástrojov a štruktúrované výstupy sú štandardom, pokiaľ model tento parameter povoľuje; vyššie hodnoty zvyšujú varianciu a hodia sa na kreatívny obsah. Pre spoľahlivých agentov sú tieto nastavenia jednou z hlavných pák.

• Deterministickí agenti bežia najstabilnejšie pri nízkej Temperature. Pre volania nástrojov, klasifikáciu a JSON výstupy to znamená Temperature 0 až 0,2, pokiaľ model tento parameter povoľuje.
• Top-p a Top-k orezávajú množinu kandidátov. Proti nepravdepodobným odľahlým tokenom sú ostrejším nástrojom než samotná Temperature.
• Skutočný determinizmus nie je samozrejmosť. Aj pri Temperature 0 zostáva v dôsledku efektov GPU a batchingu zvyšková variancia, ktorú neodstráni ani seed, ani zafixovanie verzie.

Ako funguje sampling v LLM

LLM vytvára text token po tokene. V každom kroku model vypočíta pravdepodobnostné rozdelenie nad celou slovnou zásobou (takzvané logity sa cez softmax prepočítajú na pravdepodobnosti). O tom, ktorý token sa skutočne vydá na výstup, rozhoduje stratégia samplingu. Práve tu zasahujú Temperature, Top-p a Top-k. Nemenia to, čo sa model naučil, ale iba to, ako sa z naučeného rozdelenia vyberie konkrétny token.

Toto rozlíšenie je pre agentov rozhodujúce: ten istý model, tie isté váhy a ten istý prompt môžu podľa nastavení samplingu raz vyprodukovať správne parsovateľné volanie nástroja a inokedy rozvláčny súvislý text. Kto sampling ignoruje, necháva spoľahlivosť svojho agenta na náhode.

Temperature

Temperature škáluje rozdelenie predtým, ako sa z neho vyberá. Matematicky sa logity delia hodnotou Temperature:

• Temperature smerom k 0: Rozdelenie sa maximálne zaostrí. Dominuje najpravdepodobnejší token; správanie sa približuje greedy decodingu, teda čistému výberu najpravdepodobnejšieho tokenu. Výstupy sa dajú vo vysokej miere zopakovať.
• Temperature okolo 1,0: Rozdelenie zostáva takmer nezmenené. Model vyberá tokeny podľa naučených pravdepodobností.
• Temperature nad 1,0: Rozdelenie sa splošťuje. Nepravdepodobné tokeny dostávajú väčšiu váhu. To zvyšuje rozmanitosť a kreativitu, ale aj riziko nesúdržných výstupov a halucinácií.

Top-p (nucleus sampling)

Top-p, nazývaný aj nucleus sampling, pracuje s orezávaním namiesto škálovania. Pri Top-p = 0,9 model zvažuje len najmenšiu množinu tokenov, ktorých kumulovaná pravdepodobnosť dosiahne aspoň 90 percent, a vyberá výlučne z tohto jadra (nucleus). Dlhý chvost nepravdepodobných tokenov sa úplne odreže. Top-p je dynamický: v kontextoch s jasným pokračovaním zostáva množina malá, pri otvorených formuláciách sa zväčšuje.

Top-k

Top-k je najjednoduchšie orezávanie: ponechá len k najpravdepodobnejších tokenov a zvyšok zahodí. Top-k = 1 zodpovedá greedy decodingu. Top-k je statický (vždy rovnaký počet kandidátov) a dnes sa považuje za hrubší variant oproti adaptívnemu Top-p. Niektorí poskytovatelia a inferenčné stacky Top-k sprístupňujú, iní sa primárne spoliehajú na Temperature a Top-p.

Prečo tieto nastavenia rozhodujú o spoľahlivosti agentov

Agent nie je chatbot, ktorý raz odpovie. Vykonáva viacstupňové workflowy: volá nástroje, parsuje ich návratové hodnoty, plánuje ďalšie kroky a odovzdáva štruktúrované dáta nadväzujúcim systémom. V tomto reťazci je predvídateľnosť dôležitejšia než brilantnosť. Prečo, ukazujú tri konkrétne spôsoby zlyhania:

1. Rozpadajúca sa štruktúra: Pri vysokej Temperature môže model vymyslieť pole navyše, zabudnúť úvodzovku alebo pred JSON vložiť prózu. Nadväzujúci parser zlyhá, agent sa zastaví alebo skončí v chybovej slučke.
2. Nestabilný výber nástrojov: Agent, ktorý pri identickom vstupe raz zvolí nástroj A a inokedy nástroj B, sa nedá testovať. Nízka Temperature robí rozhodnutie o smerovaní na nástroje reprodukovateľným.
3. Nereprodukovateľné chyby: Chyby, ktoré sa objavia len pri určitých cestách samplingu, sa bez determinizmu takmer nedajú odladiť a v evaluáciách sa nedajú stabilne merať.

Zároveň existujú legitímne prípady pre vyššiu varianciu: generovanie variantov obsahu, brainstorming, kreatívne textové bloky alebo tvorba rozmanitých syntetických testovacích dát. Umenie spočíva v tom, že pre každý krok zvolíš vhodný profil namiesto jednej globálnej hodnoty pre celého agenta.

Parametre, účinok a odporúčanie pre agentov

Dôležité orientačné pravidlo: Aktívne riaď len jeden z dvoch parametrov Temperature alebo Top-p a druhý nechaj na predvolenej hodnote poskytovateľa. Ak meníš oba naraz a agresívne, vznikajú ťažko prehľadné vzájomné účinky a výsledky sa horšie porovnávajú.

Výnimka pre reasoning modely a novšie modely Claude: Pri mnohých aktuálnych modeloch sa Temperature vôbec nedá voľne nastaviť. Podľa OpenAI sa pri GPT-6 musia Temperature a Top-p vynechať, len čo reasoning effort nie je nastavený na „none“. GPT-6 Astra a GPT-6.1 Sol „none“ nepodporujú, takže tam sa tieto dva parametre nedajú nastaviť nikdy. Anthropic pri svojich novších modeloch (od Claude Opus 4.7, Sonnet 5 a Haiku 5.5) odmietne chybou každú hodnotu Temperature, Top-p alebo Top-k, ktorá sa líši od predvolenej; pri starších modeloch Claude sa Temperature a Top-k nedajú kombinovať s režimom thinking (stav k októbru 2026). Pri týchto modeloch zabezpečujú stabilné výsledky Structured Outputs a striktné schémy nástrojov, evaly zviditeľňujú odchýlky.

Hranica determinizmu: prečo Temperature 0 nie je všetko

Rozšírený omyl znie: Temperature 0 zaručuje bit-identické výstupy. V praxi to často neplatí. Aj v greedy režime zostáva zvyšková variancia z viacerých zdrojov:

• GPU floating-point: Paralelné výpočty na GPU nie sú pri každom poradí operácií bit-identické. Minimálne numerické rozdiely môžu na tesných miestach zvrátiť výber tokenu.
• Dynamický batching: Keď sa požiadavka spracuje v jednej dávke (batchi) spolu s inými požiadavkami, numerický výsledok sa môže podľa zloženia dávky mierne posunúť.
• Mixture-of-Experts routing: Pri MoE architektúrach (k roku 2026 rozšírených, napríklad pri Mistral Large 3 so 675 mld. parametrov, z toho 41 mld. aktívnych, alebo pri DeepSeek V4) rozhoduje router, ktorí experti spracujú token. Efekty routingu môžu priniesť dodatočnú varianciu.

Pre reprodukovateľnosť z toho vyplýva: Temperature 0 odstraňuje náhodnosť samplingu. Pri Temperature nad 0 urobí prúd náhodnosti opakovateľným zafixovaný seed (ak ho poskytovateľ ponúka). Zmrazená verzia modelu uzatvára medzeru proti tichým aktualizáciám modelu. Modely dostupné cez uzavreté API aktualizujú ich poskytovatelia; zafixovanie verzie v konfigurácii je preto pre auditovateľných agentov rovnako dôležité ako hodnota Temperature. Zvyškovú varianciu z aritmetiky GPU, batchingu a MoE routingu však seed ani zafixovanie verzie neodstránia.

Bit-identické výstupy dodá až batch-invariantná inferencia, ktorej výsledok nezávisí od toho, s akými ďalšími požiadavkami sa požiadavka spracuje v jednej dávke. V experimente Thinking Machines (september 2025) prinieslo 1 000 behov toho istého promptu pri Temperature 0 stále 80 rôznych odpovedí, s batch-invariantnými kernelmi bolo všetkých 1 000 identických. Túto páku máš najmä pri open-weight modeloch, ktoré hostuješ sám na zafixovanom inferenčnom stacku, napríklad s Batch Invariance vo vLLM alebo s režimom Deterministic Inference v SGLang. Stojí to výpočtový čas: v samostatnom benchmarku v tom istom článku (Qwen3-8B, 1 000 požiadaviek na jednej GPU) potreboval vLLM v štandardnom režime 26 sekúnd, v deterministickom režime s optimalizovaným attention kernelom 42 sekúnd (bez tejto optimalizácie 55).

Praktický príklad: agent na smerovanie leadov pre agentúru

Predpokladajme, že marketingová agentúra stavia agenta, ktorý klasifikuje prichádzajúce kontaktné dopyty a posúva ich správnemu tímu. Workflow má tri kroky s tromi rôznymi profilmi:

```text
Krok 1: Klasifikácia (volanie nástroja):
temperature = 0
top_p = nenastavovať (predvolená hodnota poskytovateľa)
Úloha: dopyt -> {"kategória": "SEO|Webdizajn|Poradenstvo", "priorita": "vysoká|stredná|nízka"}
Cieľ: identický vstup -> identická kategória, správne parsovateľný JSON

Krok 2, zhrnutie založené na faktoch (RAG):
temperature = 0.3
Úloha: zhrnúť relevantné dáta z CRM a znalostnej bázy do 3 viet, bez výmyslov

Krok 3, prvý návrh e-mailu s odpoveďou (kreatívny):
temperature = 0.8
top_p = nenastavovať (predvolená hodnota poskytovateľa)
Úloha: 3 štylisticky odlišné varianty odpovede na výber
```

Merať sa to dá tak, že tú istú testovaciu sadu dát pošleš cez agenta viackrát. Krok 1 pri Temperature 0 typicky dodá stabilnú klasifikáciu: chybovosť parsovania sa blíži k nule a testy sa dajú zopakovať. Ak tú istú klasifikáciu spustíš pri Temperature 0,8, priradenie kategórie pri nejednoznačných dopytoch kolíše, niektoré výstupy obsahujú pred JSON vysvetľujúcu prózu a parser v časti prípadov zlyhá. Krok 3 naopak z vysokej Temperature profituje, pretože tri rovnaké návrhy e-mailu by boli bezcenné. Práve toto oddelenie podľa krokov je jadrom solídneho návrhu agentov.

Pre agentúry a B2B tímy

Kto nasadzuje agentov v produkcii, mal by nastavenia samplingu brať ako súčasť zabezpečenia kvality. V praxi to znamená: deterministické profily pre všetko štruktúrované (volania nástrojov, extrakcia dát, smerovanie), miernu Temperature pre analýzu a RAG, vysokú Temperature len pre vedome kreatívne kroky. Zdokumentuj hodnoty pre každý krok workflowu, zafixuj verziu modelu a spúšťaj eval pipeline proti pevnej testovacej sade dát, aby sa regresie ukázali skôr, než sa prejavia v nasadení u zákazníka. Ako viedenská agentúra pre AI agentov pomáha Blck Alpaca firmám z regiónu DACH presne tieto nastavenia správne nakonfigurovať a preniesť do spoľahlivých, auditovateľných workflowov agentov.