Tree of Thoughts: Keď jedna cesta nestačí

Tree of Thoughts (ToT) je metóda uvažovania pre jazykové modely, ktorá namiesto jedného lineárneho myšlienkového postupu paralelne generuje viacero ciest uvažovania, hodnotí ich a sleduje pomocou vyhľadávania (BFS alebo DFS) s backtrackingom. Model tak dokáže rozpoznať slepé uličky, vrátiť sa späť a preskúmať alternatívy namiesto toho, aby zostal uviaznutý na raz urobenom chybnom predpoklade. Metódu predstavili Yao et al. v štúdii „Tree of Thoughts: Deliberate Problem Solving with Large Language Models“ (arXiv:2305.10601, máj 2023, NeurIPS 2023).

• Čo je nové? ToT modeluje usudzovanie ako vedomé, vyhľadávaním riadené skúmanie stromu medzistavov v štýle „Systém 2“ namiesto jednej reťaze myšlienok.
• Kedy je potrebný? Vždy, keď jedna cesta nestačí: pri hlavolamoch, plánovaní so slepými uličkami a úlohách, ktoré vyžadujú predvídanie (lookahead) a backtracking.
• Koľko to stojí? Zhruba 50- až 150-násobok množstva tokenov jedného volania Chain of Thought a k tomu výrazne vyššiu latenciu.

Prečo jedna cesta často nestačí

Chain of Thought (CoT) výrazne zlepšil kvalitu uvažovania jazykových modelov tým, že model explicitne vypisuje svoje medzikroky. Háčik: CoT prebieha striktne zľava doprava a nedokáže sa vrátiť späť. Len čo model hneď na začiatku urobí chybný predpoklad, vlečie túto chybu celým zvyškom myšlienkového postupu.

Pri mnohých úlohách to takmer nehrá rolu. Pri problémoch, ktoré vyžadujú skutočné vyhľadávanie a predvídanie, sa však CoT zrúti. Klasickým príkladom zo štúdie je číselná hra „Game of 24“ (zo štyroch čísel vytvoriť pomocou základných aritmetických operácií číslo 24). Tu treba skúšať kombinácie, rozpoznávať slepé uličky a voliť alternatívne postupy výpočtu. Presne to lineárna reťaz nezvládne: v štúdii dosiahol CoT s GPT-4 iba 4 percentá úspešnosti.

Tree of Thoughts rieši tento štrukturálny nedostatok. Namiesto reťaze vytvára strom, v ktorom je každý uzol čiastočným riešením, každé vetvenie alternatívnym pokračovaním a každý list buď riešením, alebo slepou uličkou.

Štyri návrhové rozhodnutia ToT

Štúdia o ToT opisuje štyri modulárne stavebné prvky, o ktorých musí rozhodnúť každá konkrétna implementácia ToT:

1. Dekompozícia myšlienok (thoughts): Ako sa problém rozloží na jednotlivé „thoughts“? Jeden thought môže byť výpočtový krok, plán odseku alebo jedno slovo v krížovke.
2. Generátor myšlienok: V danom stave sa navrhne alebo navzorkuje k kandidátov na ďalšiu myšlienku.
3. Evaluátor stavov: Každý kandidát sa ohodnotí, buď nezávisle v režime Value (v štúdii zaradenie do kategórií sure/maybe/impossible, vždy trikrát navzorkované), alebo v režime Vote (hlasovanie), pri ktorom model porovná viacero stavov a hlasuje za najsľubnejší.
4. Vyhľadávací algoritmus: Strom prechádza BFS (najlepších b kandidátov na každej úrovni, v štúdii štandardne b=5) alebo DFS s backtrackingom.

Koncepčnú inšpiráciu čerpá štúdia výslovne z výskumu riešenia problémov, ktorý Newell a Simon viedli v 50. rokoch 20. storočia: vedomé, vyhľadávaním riadené usudzovanie namiesto jedinej asociatívnej odpovede.

Schematický príklad: slučka ToT ako pseudokód

Nasledujúci pseudokód ukazuje variant BFS so šírkou b a hĺbkou d. Slúži na ilustráciu, nie ako spustiteľná implementácia.

```
frontier = [Koreň(problém)] # zoznam aktívnych stavov
for hĺbka in range(d): # napr. d = 3 kroky
kandidáti = []
for stav in frontier:
for _ in range(k): # k návrhov na stav
t = generator(stav) # ďalší thought
kandidáti.append(stav + t)
ohodnotené = [(evaluator(c), c) for c in kandidáti]
# slepé uličky (impossible) zahodiť -> implicitný backtracking
ohodnotené = [x for x in ohodnotené if x[0] != "impossible"]
frontier = top_b(ohodnotené, b=5) # ďalej sledovať len najlepších b
riešenie = najlepší(frontier)
```

Rozhodujúce sú dve miesta. Po prvé vetvenie: z každého stavu vzniká k kandidátov, strom sa rozširuje. Po druhé orezávanie top_b v kombinácii so zahadzovaním uzlov impossible: zle ohodnotené cesty sa odrežú a vyhľadávanie sústreďuje výpočtový výkon na sľubné vetvy. Pri DFS sa backtracking prejavuje explicitne: ak sa cesta ukáže ako slepá ulička, vyhľadávanie sa vráti k poslednému sľubnému uzlu.

Náklady a úžitok: ToT oproti CoT

Pri vhodných úlohách je úžitok ToT značný, cena však tiež. Nasledujúce čísla pochádzajú zo štúdie o ToT (GPT-4, podmienky ako v štúdii) a treba ich čítať ako relatívne veľkosti účinku, nie ako dnešné absolútne hodnoty.

Proti týmto ziskom v kvalite stojí masívne vyššia náročnosť. Nasledujúca tabuľka zaraďuje ToT do spektra bežných vzorov uvažovania agentov; hodnoty tokenov sú orientačné rádové odhady v pomere k jednému volaniu CoT (= 1), odvodené z údajov štúdie a správ z praxe, a treba ich zmerať na vlastnej záťaži.

V Game of 24 spotreboval ToT podľa štúdie okolo 5 500 výstupných tokenov (completion tokens) na prípad, takmer toľko ako 100 behov CoT dohromady (6 700 tokenov). Latencia je striktne horšia ako pri CoT, pretože rastie úmerne s vetvením, hĺbkou a mierou vzorkovania.

Kvalita stojí a padá s generátorom

Ústredné zistenie štúdie: ToT nepozdvihne každý model. O účinku rozhoduje predovšetkým generátorový model. V Game of 24 dosiahol GPT-4 s ToT 74 percent, GPT-3.5 s ToT naopak iba 19 percent. Analýza v štúdii jasne oddeľuje roly: GPT-4 ako generátor a GPT-3.5 ako evaluátor dosiahli 64 percent, v opačnej konštelácii (GPT-3.5 generuje, GPT-4 hodnotí) iba 31 percent.

Ešte zreteľnejšie to ukazuje projekt z kurzu Stanford CS224N: Mixtral-8x7B nevyriešil ani jeden z desiatich najjednoduchších hlavolamov Game of 24, pretože model halucinoval čísla a zlyhával na jednoduchej aritmetike, čím sa evaluátor stal bezcenným. Pre prax to znamená: ToT na slabom modeli spáli rozpočet a problém nevyrieši.

Kedy ToT (ne)nasadiť

Zo štúdie a správ z praxe vyplývajú pre rok 2026 jasné mantinely.

ToT sa hodí, keď:

• úloha má vyhľadávací charakter, teda zahŕňa predvídanie (lookahead), vetvenie a potenciálne slepé uličky (hlavolamy, optimalizácia, rozvrhovanie, plánovanie).
• existuje spoľahlivý hodnotiaci signál, ideálne s overiteľnými odmenami.
• sa vyžaduje auditná stopa preskúmaných alternatív, napríklad v regulovaných odvetviach v regióne DACH, na ktoré sa vzťahuje GDPR alebo EU AI Act.
• sa zámerne používa malý, lacný navrhovací model (proposer), ktorého slabší samostatný výsledok má vyhľadávanie vykompenzovať.

ToT sa nehodí, keď:

• použitý model dokáže odpoveď aj tak dodať v jednom kroku.
• je aplikácia citlivá na latenciu (napríklad živý chat).
• nie je k dispozícii jasný evaluátor; bez dobrého hodnotiaceho signálu vyhľadávanie vyjde nazmar.

Najdôležitejší záver: pre všeobecné uvažovanie je explicitný ToT do veľkej miery prekonaný, pretože moderné modely s uvažovaním zvládajú vyhľadávanie v strome interne. ToT preto zostáva relevantný predovšetkým ako koncepčný základ stromovo štruktúrovaného vyhľadávania agentov a v uvedených špeciálnych prípadoch.

Od postupu k agentovi: LATS

Kto potrebuje ToT v agentovom stacku, dnes väčšinou nesiahne po čistom ToT, ale po jeho nástupcovi LATS (Language Agent Tree Search, Zhou et al., arXiv:2310.04406). LATS kombinuje stromovú expanziu ToT so sebareflexiou (self-reflection v zmysle Reflexion) a s metódou Monte Carlo Tree Search. LangGraph mal pre oba postupy vlastné tutoriály, jeden k Tree of Thoughts na príklade Game of 24 a jeden k LATS. Od presunu dokumentácie na docs.langchain.com presmerúvajú staré adresy tutoriálov už len na prehľad LangGraph, notebooky sú naďalej dostupné vo verzii 0.3.0 repozitára.

Blog LangChain tvrdí, že LATS dosahuje lepšie výsledky ako porovnateľné algoritmy, napríklad Tree of Thoughts, ReAct a Reflexion. Pokiaľ ide o frameworky, platí: v CrewAI ToT nie je idiomatický (sekvenčný/hierarchický prístup), v AutoGen sa dá prácne realizovať pomocou Selector Group Chat a v n8n nie je realistický kvôli kombinatorickej explózii, okrem vzorkovania Best-of-N (ToT s hĺbkou 1). Samotný AutoGen je medzičasom v režime údržby a nové funkcie už nedostáva, Microsoft za jeho nástupcu označuje Microsoft Agent Framework.

Pre agentúry a B2B rozhodovateľov

Pre marketingové agentúry a B2B tímy v regióne DACH je záver pragmatický: Tree of Thoughts nie je štandardný nástroj na každodennú prácu, ale nástroj na špeciálne prípady. Vo veľkej väčšine klientskych projektov (chatboty, pipeliny na tvorbu obsahu, rešeršné workflowy) sú lepšou voľbou lacnejšie vzory, napríklad ReAct alebo ReWOO. ToT alebo jeho nástupca LATS sa oplatia iba tam, kde jedna cesta k riešeniu preukázateľne nestačí, napríklad pri copywritingu s množstvom obmedzení, optimalizačných úlohách alebo regulovaných procesoch, ktoré vyžadujú overiteľný záznam vyhľadávania vrátane zamietnutých alternatív. Kto zvažuje ToT, mal by si vopred zabezpečiť dve veci: výkonný generátorový model a spoľahlivý hodnotiaci signál. Ak jedno z toho chýba, náklady na tokeny sa znásobia bez protihodnoty. Blck Alpaca v rámci integrácie AI agentov pomáha práve pri tomto rozhodnutí, teda pri triezvom výbere vhodného vzoru uvažovania a dôkladnom zvážení nákladov a prínosov skôr, než sa v produkcii spáli rozpočet.