Temperatura, top-p i próbkowanie: ustawienia dla deterministycznych agentów

Temperatura, top-p i top-k to parametry próbkowania, które określają, jak losowo duży model językowy (Large Language Model, LLM) wybiera kolejny token. Niskie wartości (temperatura od 0 do 0,2) sprawiają, że odpowiedzi są bardziej powtarzalne, i są standardem przy deterministycznych wywołaniach narzędzi i ustrukturyzowanych odpowiedziach, o ile model pozwala ustawić ten parametr; wyższe wartości zwiększają wariancję i sprawdzają się przy treściach kreatywnych. Dla niezawodnych agentów te ustawienia są kluczową dźwignią.

• Deterministyczni agenci działają najstabilniej przy niskiej temperaturze. W przypadku wywołań narzędzi, klasyfikacji i odpowiedzi JSON oznacza to temperaturę od 0 do 0,2, o ile model pozwala ustawić ten parametr.
• Top-p i top-k zawężają pulę kandydatów. Są skuteczniejszym narzędziem przeciw mało prawdopodobnym tokenom odstającym niż sama temperatura.
• Prawdziwy determinizm nie jest oczywisty. Nawet przy temperaturze 0 efekty GPU i batching pozostawiają wariancję resztkową, której nie usuwa ani seed, ani przypięcie wersji.

Jak działa próbkowanie w LLM

LLM generuje tekst token po tokenie. W każdym kroku model oblicza rozkład prawdopodobieństwa dla całego słownika (tzw. logity są przeliczane na prawdopodobieństwa za pomocą funkcji softmax). To, który token zostanie faktycznie zwrócony, zależy od strategii próbkowania. Właśnie tutaj działają temperatura, top-p i top-k. Nie zmieniają one tego, czego model się nauczył, a jedynie to, jak z wyuczonego rozkładu losowany jest konkretny token.

To rozróżnienie jest kluczowe dla agentów: ten sam model, te same wagi i ten sam prompt mogą w zależności od ustawień próbkowania dać raz poprawnie sparsowane wywołanie narzędzia, a raz rozwlekły tekst ciągły. Jeśli ignorujesz próbkowanie, oddajesz niezawodność swojego agenta w ręce przypadku.

Temperatura

Temperatura skaluje rozkład przed próbkowaniem. Matematycznie logity są dzielone przez wartość temperatury:

• Temperatura bliska 0: rozkład staje się maksymalnie ostry. Dominuje najbardziej prawdopodobny token; zachowanie zbliża się do greedy decoding, czyli czystego wyboru tokenu z najwyższym prawdopodobieństwem. Odpowiedzi stają się wysoce powtarzalne.
• Temperatura w okolicach 1,0: rozkład pozostaje niemal niezmieniony. Model próbkuje zgodnie z wyuczonymi prawdopodobieństwami.
• Temperatura powyżej 1,0: rozkład się spłaszcza. Mało prawdopodobne tokeny zyskują na wadze. Zwiększa to różnorodność i kreatywność, ale też ryzyko niespójnych odpowiedzi i halucynacji.

Top-p (nucleus sampling)

Top-p, nazywane też nucleus sampling, działa przez odcinanie, a nie skalowanie. Przy top-p = 0,9 model bierze pod uwagę tylko najmniejszy zbiór tokenów, których skumulowane prawdopodobieństwo wynosi co najmniej 90 procent, i próbkuje wyłącznie z tego jądra (nucleus). Długi ogon mało prawdopodobnych tokenów zostaje całkowicie odcięty. Top-p jest dynamiczne: w kontekstach z oczywistą kontynuacją pula pozostaje mała, przy otwartych sformułowaniach rośnie.

Top-k

Top-k to najprostsze odcinanie: zachowuje tylko k najbardziej prawdopodobnych tokenów i odrzuca resztę. Top-k = 1 odpowiada greedy decoding. Top-k jest statyczne (zawsze ta sama liczba kandydatów) i uchodzi dziś za mniej precyzyjny wariant w porównaniu z adaptacyjnym top-p. Niektórzy dostawcy i stosy inferencyjne udostępniają top-k, inni stawiają przede wszystkim na temperaturę i top-p.

Dlaczego te ustawienia decydują o niezawodności agentów

Agent to nie chatbot, który odpowiada jeden raz. Wykonuje wieloetapowe przepływy pracy: wywołuje narzędzia, parsuje ich odpowiedzi, planuje kolejne kroki i przekazuje ustrukturyzowane dane do dalszych systemów. W tym łańcuchu przewidywalność jest ważniejsza niż błyskotliwość. Trzy konkretne tryby awarii pokazują dlaczego:

1. Zepsuta struktura: przy wysokiej temperaturze model może wymyślić dodatkowe pole, zapomnieć cudzysłowu albo umieścić prozę przed JSON-em. Parser na dalszym etapie przerywa działanie, a agent się zatrzymuje albo wpada w pętlę błędów.
2. Niestabilny wybór narzędzi: agenta, który przy identycznym wejściu raz wybiera narzędzie A, a raz narzędzie B, nie da się przetestować. Niska temperatura sprawia, że decyzja o routingu narzędzi jest powtarzalna.
3. Błędy, których nie da się odtworzyć: bugi, które występują tylko na określonych ścieżkach próbkowania, bez determinizmu są niemal niemożliwe do debugowania i nie da się ich stabilnie mierzyć w ewaluacjach.

Jednocześnie istnieją uzasadnione przypadki dla większej wariancji: generowanie wariantów treści, burza mózgów, kreatywne fragmenty tekstu albo tworzenie zróżnicowanych syntetycznych danych testowych. Sztuka polega na tym, by dla każdego kroku dobrać odpowiedni profil, zamiast nakładać jedną globalną wartość na całego agenta.

Parametry, działanie i rekomendacje dla agentów

Ważna zasada praktyczna: aktywnie steruj tylko jednym z dwóch parametrów, temperaturą albo top-p, a drugi zostaw na wartości domyślnej dostawcy. Agresywna zmiana obu naraz wywołuje trudne do przejrzenia interakcje i sprawia, że wyniki są gorzej porównywalne.

Wyjątek dla modeli rozumujących i nowszych modeli Claude: w wielu aktualnych modelach temperatury w ogóle nie da się swobodnie ustawić. Według OpenAI w GPT-6 temperaturę i top-p trzeba pominąć, gdy tylko reasoning effort nie jest ustawiony na „none”. GPT-6 Astra i GPT-6.1 Sol nie obsługują „none”, więc tam tych dwóch parametrów nie da się ustawić nigdy. Anthropic w swoich nowszych modelach (od Claude Opus 4.7, Sonnet 5 i Haiku 5.5) odrzuca z błędem każdą wartość temperatury, top-p lub top-k odbiegającą od domyślnej; w starszych modelach Claude temperatury i top-k nie można łączyć z thinkingiem (stan na październik 2026). W przypadku tych modeli stabilne wyniki zapewniają Structured Outputs i ścisłe schematy narzędzi, a ewaluacje pokazują odchylenia.

Granice determinizmu: dlaczego temperatura 0 to nie wszystko

Powszechne nieporozumienie brzmi: temperatura 0 gwarantuje bit w bit identyczne odpowiedzi. W praktyce często tak nie jest. Nawet w trybie greedy pozostaje wariancja resztkowa z kilku źródeł:

• Arytmetyka zmiennoprzecinkowa na GPU: obliczenia równoległe na GPU nie są bit w bit identyczne przy każdej kolejności. Minimalne różnice numeryczne mogą w niejednoznacznych miejscach przechylić wybór tokenu.
• Dynamiczny batching: jeśli zapytanie trafia do jednego batcha z innymi żądaniami, wynik numeryczny może się nieznacznie przesunąć w zależności od składu batcha.
• Routing Mixture-of-Experts: w architekturach MoE (w 2026 roku powszechnych, np. w Mistral Large 3 z 675 mld parametrów, z czego 41 mld aktywnych, czy w DeepSeek V4) router decyduje, którzy eksperci przetwarzają dany token. Efekty routingu mogą wprowadzać dodatkową wariancję.

Wniosek dla powtarzalności: temperatura 0 usuwa losowość próbkowania. Jeśli próbkujesz z temperaturą powyżej 0, stały seed (o ile dostawca go oferuje) sprawia, że strumień losowy jest powtarzalny. Zamrożona wersja modelu zamyka lukę związaną z cichymi aktualizacjami modelu. Modele dostępne przez zamknięte API są aktualizowane przez dostawców, dlatego przypięcie wersji w konfiguracji jest dla agentów podlegających audytowi równie ważne jak wartość temperatury. Seed i przypięcie wersji nie usuwają jednak wariancji resztkowej wynikającej z arytmetyki GPU, batchingu i routingu MoE.

Bit w bit identyczne odpowiedzi daje dopiero inferencja niezależna od batcha, której wynik nie zależy od tego, z jakimi innymi zapytaniami zostanie zgrupowane dane żądanie. W eksperymencie Thinking Machines (wrzesień 2025) 1000 uruchomień tego samego promptu przy temperaturze 0 dało jeszcze 80 różnych odpowiedzi, a z kernelami niezależnymi od batcha wszystkie 1000 odpowiedzi było identycznych. Tę dźwignię masz przede wszystkim przy samodzielnie hostowanych modelach open-weight na ustalonym stosie inferencyjnym, np. dzięki Batch Invariance w vLLM albo trybowi Deterministic Inference w SGLang. Kosztuje to czas obliczeń: w osobnym benchmarku w tym samym artykule (Qwen3-8B, 1000 zapytań na jednym GPU) vLLM w trybie standardowym potrzebował 26 sekund, a w trybie deterministycznym ze zoptymalizowanym kernelem attention 42 sekundy (bez tej optymalizacji 55).

Przykład z praktyki: agent do routingu leadów w agencji

Załóżmy, że agencja marketingowa buduje agenta, który klasyfikuje przychodzące zapytania kontaktowe i przekazuje je do właściwego zespołu. Przepływ pracy obejmuje trzy kroki z trzema różnymi profilami:

```text
Krok 1: Klasyfikacja (tool call):
temperature = 0
top_p = nie ustawiać (domyślna wartość dostawcy)
Zadanie: zapytanie -> {"kategoria": "SEO|Web design|Doradztwo", "priorytet": "wysoki|średni|niski"}
Cel: identyczne wejście -> identyczna kategoria, JSON łatwy do sparsowania

Krok 2, Podsumowanie oparte na faktach (RAG):
temperature = 0.3
Zadanie: ująć istotne dane z CRM i bazy wiedzy w 3 zdaniach, bez zmyślania

Krok 3, Pierwsza wersja maila z odpowiedzią (kreatywnie):
temperature = 0.8
top_p = nie ustawiać (domyślna wartość dostawcy)
Zadanie: 3 stylistycznie różne warianty odpowiedzi do wyboru
```

Możesz to zmierzyć, przepuszczając kilka razy ten sam zbiór danych testowych przez agenta. Zazwyczaj krok 1 przy temperaturze 0 daje stabilną klasyfikację: odsetek błędów parsowania dąży do zera, a testy stają się powtarzalne. Jeśli uruchomisz tę samą klasyfikację przy temperaturze 0,8, przypisanie kategorii przy niejednoznacznych zapytaniach zaczyna się wahać, niektóre odpowiedzi zawierają objaśniającą prozę przed JSON-em, a parser w części przypadków przerywa działanie. Krok 3 natomiast korzysta na wysokiej temperaturze, bo trzy identyczne szkice maili byłyby bezwartościowe. Właśnie ten podział na kroki stanowi sedno solidnego projektowania agentów.

Dla agencji i zespołów B2B

Jeśli używasz agentów produkcyjnie, traktuj ustawienia próbkowania jako część zapewnienia jakości. W praktyce oznacza to: deterministyczne profile dla wszystkiego, co ustrukturyzowane (wywołania narzędzi, ekstrakcja danych, routing), umiarkowaną temperaturę dla analizy i RAG, wysoką temperaturę tylko dla świadomie kreatywnych kroków. Dokumentuj wartości dla każdego kroku przepływu pracy, przypnij wersję modelu i uruchom pipeline ewaluacyjny na stałym zbiorze danych testowych, aby regresje stały się widoczne, zanim zauważy je klient. Jako wiedeńska agencja specjalizująca się w agentach AI Blck Alpaca pomaga firmom w całej Europie poprawnie skonfigurować te ustawienia i przełożyć je na niezawodne, audytowalne przepływy pracy agentów.