Chain-of-Thought pre agentov: Kedy pomáha a kedy nie?

Chain-of-Thought (CoT) je technika promptovania, pri ktorej veľký jazykový model explicitne slovami formuluje svoje medzikroky predtým, než odpovie. Namiesto priameho výstupu výsledku model zapisuje postup riešenia krok za krokom. To zvyšuje presnosť pri viacstupňovej logike, matematike a plánovaní – stojí to však ďalšie tokeny a latenciu. Pre agentov je CoT zároveň konceptuálnym jadrom, z ktorého sú odvodené takmer všetky moderné agentové architektúry.

• Pomáha pri: viacstupňovej logike, matematike, plánovaní a všade tam, kde zrozumiteľná myšlienková cesta zlepšuje výsledok.
• Nepomáha pri: jednoduchých lookupoch, single-step klasifikácii, ako aj pri latenčne a nákladovo kritických aplikáciách.
• Sčasti nadbytočné pri: modeloch optimalizovaných na reasoning, ktoré postupné premýšľanie už vykonávajú interne.

Čo Chain-of-Thought technicky robí

CoT núti model rozložiť implicitný skok od otázky k odpovedi na viditeľnú reťaz medzizvažovaní. Praktická páka je malá, efekt často veľký: predradený spúšťač alebo vzorový postup riešenia posúva pravdepodobnostné rozdelenie modelu smerom k štruktúrovanej, postupnej generácii.

Chain-of-Thought (Wei et al., 2022) je historickým koreňom prakticky všetkých dnešných agentových vzorov. Z CoT vznikli ReAct, Tree-of-Thoughts, Plan-and-Solve/Plan-and-Execute a ReWOO – všetky buď stavajú na explicitnom reasoningu, prepracúvajú jeho štruktúru alebo ho vedome odmietajú. Kto rozumie CoT, rozumie tým spoločnému základu týchto architektúr.

Rozhodujúca vlastnosť – a zároveň centrálna slabina – čistého CoT: myšlienková cesta je striktne ľavosmerná. Model generuje jeden krok za druhým a nedokáže sa vrátiť späť alebo zrevidovať slepú uličku, do ktorej sa vydal. Pri úlohách, ktoré vyžadujú vyhľadávanie, lookahead alebo backtracking, preto CoT zlyháva. Práve tu nastupuje Tree-of-Thoughts, ktoré reasoning prehodnocuje ako vyhľadávanie po strome medzistavov.

Zero-shot vs. few-shot CoT

V praxi existujú dva varianty s rozdielnymi profilmi nákladov a prínosov.

• Zero-shot CoT: úlohe sa len predradí spúšťač ako „Poďme premýšľať krok za krokom". Žiadne príklady, minimálna kontextová réžia. Z tejto myšlienky vzniklo Plan-and-Solve promptovanie (Wang et al., 2023) – dvojstupňový zero-shot prístup („Poďme najprv navrhnúť plán / Poďme plán vykonať"), ktorý prekonáva zero-shot CoT pri matematickom reasoningu a stal sa predlohou pre agentovú architektúru Plan-and-Execute.
• Few-shot CoT: v prompte sú jeden až viac kompletných vzorových postupov riešenia. To ukotvuje nielen postupné premýšľanie, ale aj požadovaný formát a doménovo špecifické heuristiky. Few-shot CoT je pri špecializovaných alebo formátovo kritických úlohách spravidla presnejšie, stojí však citeľne viac kontextových tokenov na požiadavku.

Praktické pravidlo pre agentúry: zero-shot CoT ako nákladovo úsporný štandard, few-shot CoT len tam, kde dodatočná presnosť alebo vernosť formátu ospravedlňuje vyššiu spotrebu tokenov.

Vzťah k ReAct: reasoning potrebuje ukotvenie

Čisté CoT má pre agentov zásadný problém: halucinuje fakty, pretože mu chýba akékoľvek externé ukotvenie. Model síce „premýšľa" plauzibilne, ale nemá žiadny mechanizmus na overenie svojich predpokladov oproti realite.

ReAct (Yao et al., 2022) rieši práve toto tým, že rozširuje CoT o konanie. Namiesto toho, aby len premýšľal, ReAct prepletá reasoning kroky s volaním nástrojov:

```
Thought: Musím vyhľadať aktuálny obrat zákazníka.
Action: crm_lookup(zakaznik="Muster GmbH", pole="obrat_q1")
Observation: Obrat Q1 = 1.240.000 EUR
Thought: To je o 8 % nad minulým rokom. Teraz to porovnám s pipeline.
Action: ...
```

Reasoning kroky riadia nasadenie nástrojov; pozorovania z nástrojov korigujú reasoning. CoT teda zostáva jadrom – ReAct len pridáva ukotvenie, ktoré čistému CoT chýba. Pre väčšinu produkčných agentov (chatboty s prístupom k CRM a znalostnej databáze, triáž ticketov) je tento ukotvený variant správnym východiskom, nie čisté CoT.

Kedy CoT pomáha – a kedy nie

Najdôležitejší poznatok z poľných správ 2024–2026 znie: začať s najjednoduchším vzorom, ktorý funguje, a eskalovať až vtedy, keď to vynútia namerané chybovosti. Prenesené na CoT to znamená: nenafukovať reflexívne každý prompt inštrukciami „krok za krokom", ale len tam, kde to typ úlohy preukázateľne vyžaduje.

Príklad s CoT a bez neho: Game of 24

„Game of 24" (zo štyroch čísel pomocou základných počtových operácií vytvoriť 24) ukazuje hranicu čistého CoT obzvlášť názorne. Za podmienok GPT-4 dosahuje čisté CoT tu len 4 % úspešnosť, pretože sa model skoro zafixuje na jednu cestu a nedokáže sa vrátiť späť. Tree-of-Thoughts, ktoré generuje viacero kandidátov na krok, hodnotí ich a vetví sa, sa dostáva na 74 % (b=5, BFS cez tri myšlienkové kroky).

Podobne pri mini-crosswords (5×5): na úrovni hry rieši čisté CoT len 1 % úloh, Tree-of-Thoughts 20 %. Pri kreatívnom písaní so zadaniami je hodnotenie koherencie CoT okolo 6,2 z 10, Tree-of-Thoughts okolo 7,6.

Poučenie nie je „CoT je zlé", ale: CoT sa hodí na lineárne myšlienkové úlohy, nie na vyhľadávacie problémy. Pri viacstupňovej výpočtovej alebo plánovacej úlohe CoT výsledok citeľne zlepšuje; pri vyhľadávacom probléme s mnohými slepými uličkami je potrebná stromová štruktúra, pri čistom lookupe žiadny reasoning vôbec.

Poznámka: tieto čísla pochádzajú z pôvodných prác (prevažne éra GPT-3.5/GPT-4, 2022–2023). Moderné frontier modely tieto hodnoty nastavujú nanovo – rády veličín treba čítať ako relatívne indikátory efektu, nie ako dnešné absolútne hodnoty.

CoT a náklady: výpočet latencie/tokenov

Každý reasoning krok generuje ďalšie tokeny a – keďže je generácia sekvenčná – ďalšiu latenciu. Pri jednoduchom lookupe, ktorý by model dokázal zodpovedať priamo, je to čistá réžia. Pri vysokoobjemových aplikáciách (napr. triáž support ticketov) sa táto réžia rýchlo sčíta do citeľných nákladov.

Praktickou nákladovou pákou je model-tiering: silný, drahý model na náročnú reasoning/plánovaciu fázu, menší, lacný model na jednoduché vykonávacie kroky. Tento prístup – známy zo vzoru Plan-and-Execute – šetrí na viacstupňových workflow rádovo 40–70 % tokenov. Pre CoT to znamená: nakupovať reasoning cielene tam, kde naň záleží, a nerozdeľovať ho rovnomerne cez všetky kroky.

Dôležité pre voľbu modelu v roku 2026: modely optimalizované na reasoning (séria o, Claude s Extended Thinking, varianty Gemini-Thinking) vykonávajú postupný myšlienkový proces už interne. Explicitné CoT-promptovanie tam často prináša malý dodatočný úžitok a môže dokonca rušiť. Explicitné CoT zostáva relevantné predovšetkým pre menšie/lacnejšie modely, pre zrozumiteľné audit traily a v regulovaných DACH kontextoch, kde sa myšlienková cesta musí dokumentovať.

Pre agentúry a B2B: pragmatické rozhodnutie

Pre DACH marketingové agentúry a B2B tímy sa dá CoT zhustiť na jednoduchú heuristiku: CoT nie je štandardný príplatok, ale cielený nástroj. Nasaďte ho, keď úloha vyžaduje viacero myšlienkových krokov, počítanie alebo plánovanie – napríklad pri spracovaní reportov, plauzibilizácii ukazovateľov alebo rozklade zložitých zákazníckych požiadaviek. Vzdajte sa ho pri lookupoch, klasifikácii a všetkom, kde dominuje rýchlosť a jednotkové náklady. Voľte medzi zero-shot (lacné) a few-shot (presnejšie, drahšie) vedome podľa úlohy. A pri reasoning modeloch preverte, či explicitné CoT vôbec ešte niečo prináša, predtým než naň miniete tokeny. Kto tieto štyri rozhodnutia urobí čisto, získa presnejších agentov pri kontrolovaných nákladoch – namiesto toho, aby drahú, pomalú reasoning réžiu rozsypal cez celú pipeline.