Chain-of-Thought pre agentov: kedy pomáha a kedy nie?

Chain-of-Thought (CoT) je technika promptovania, pri ktorej veľký jazykový model explicitne slovami sformuluje svoje medzikroky skôr, než odpovie. Namiesto toho, aby rovno vypísal výsledok, zapíše model postup riešenia krok za krokom. Zvyšuje to presnosť pri viacstupňovej logike, matematike a plánovaní, stojí to však ďalšie tokeny a latenciu. Pre agentov je CoT zároveň koncepčným jadrom, z ktorého sú odvodené takmer všetky moderné architektúry agentov.

• Pomáha pri: viacstupňovej logike, matematike, plánovaní a všade tam, kde zrozumiteľný myšlienkový postup zlepší výsledok.
• Nepomáha pri: jednoduchom vyhľadávaní údajov, jednokrokovej klasifikácii a v aplikáciách citlivých na latenciu a náklady.
• Sčasti nadbytočné pri: modeloch optimalizovaných na reasoning, ktoré postupné uvažovanie vykonávajú už interne.

Čo Chain-of-Thought technicky robí

CoT núti model rozložiť implicitný skok od otázky k odpovedi na viditeľný reťazec čiastkových úvah. Praktická páka je malá, efekt často veľký: spúšťač pridaný pred úlohu alebo vzorový postup riešenia posunie pravdepodobnostné rozdelenie modelu smerom k štruktúrovanému generovaniu krok za krokom.

Chain-of-Thought (Wei et al., 2022) je historickým koreňom prakticky všetkých dnešných vzorov agentov. Z CoT vzišli ReAct, Tree-of-Thoughts, Plan-and-Solve/Plan-and-Execute a ReWOO. Všetky buď stavajú na explicitnom reasoningu, prestavujú jeho štruktúru, alebo ho vedome odmietajú. Kto rozumie CoT, rozumie aj spoločnému základu týchto architektúr.

Rozhodujúca vlastnosť čistého CoT, a zároveň jeho hlavná slabina: myšlienkový postup je striktne sekvenčný. Model generuje jeden krok za druhým a nedokáže sa vrátiť späť ani opustiť slepú uličku, do ktorej sa vydal. Pri úlohách, ktoré vyžadujú prehľadávanie, lookahead alebo backtracking, preto CoT zlyháva. Práve tu nastupuje Tree-of-Thoughts, ktoré chápe reasoning ako prehľadávanie stromu medzistavov.

Zero-shot vs. few-shot CoT

V praxi existujú dva varianty s rozdielnym pomerom nákladov a prínosu.

• Zero-shot CoT: Úlohe sa len predradí spúšťač ako „Premýšľajme krok za krokom“. Žiadne príklady, minimálna záťaž kontextu. Z tejto myšlienky vzniklo Plan-and-Solve promptovanie (Wang et al., 2023), dvojstupňový zero-shot prístup („Najprv navrhnime plán / Teraz plán vykonajme“), ktorý pri matematickom reasoningu prekonáva zero-shot CoT a stal sa predlohou pre architektúru agentov Plan-and-Execute.
• Few-shot CoT: V prompte je jeden alebo viac kompletných vzorových postupov riešenia. To ukotví postupné uvažovanie, požadovaný formát a doménovo špecifické heuristiky. Few-shot CoT je pri špecializovaných alebo formátovo citlivých úlohách spravidla presnejšie, na každú požiadavku však stojí citeľne viac kontextových tokenov.

Praktické pravidlo pre agentúry: zero-shot CoT ako lacný štandard, few-shot CoT len tam, kde dodatočná presnosť alebo dodržanie formátu odôvodní vyššiu spotrebu tokenov.

Vzťah k ReAct: reasoning potrebuje ukotvenie

Čisté CoT má pre agentov zásadný problém: halucinuje fakty, pretože mu chýba akékoľvek externé ukotvenie. Model síce „premýšľa“ vierohodne, nemá však žiadny mechanizmus, ktorým by svoje predpoklady porovnal s realitou.

ReAct (Yao et al., 2022) rieši práve toto tým, že rozširuje CoT o konanie. Namiesto samotného premýšľania prepája ReAct kroky reasoningu s volaniami nástrojov:

• Thought: Musím vyhľadať aktuálny obrat zákazníka.
• Action: crmLookup(zakaznik="Muster GmbH", pole="obratQ1")
• Observation: Obrat Q1 = 1 240 000 EUR
• Thought: To je o 8 % viac ako v minulom roku. Teraz to porovnám s pipeline.
• Action: ...

Kroky reasoningu riadia použitie nástrojov; pozorovania z nástrojov opravujú reasoning. CoT teda zostáva jadrom. ReAct pridáva iba ukotvenie, ktoré čistému CoT chýba. Pre väčšinu produkčných agentov (chatboty s prístupom k CRM a znalostnej databáze, triedenie tiketov) je správnym východiskom tento ukotvený variant, nie čisté CoT.

Kedy CoT pomáha a kedy nie

Najdôležitejší poznatok zo správ z praxe 2024–2026 znie: začať s najjednoduchším vzorom, ktorý funguje, a eskalovať až vtedy, keď si to vynútia namerané miery chybovosti. Pre CoT to znamená: nenafukovať reflexívne každý prompt pokynmi „krok za krokom“, ale používať ich len tam, kde to typ úlohy preukázateľne vyžaduje.

Príklad s CoT a bez neho: Game of 24

„Game of 24“ (zo štyroch čísel pomocou základných aritmetických operácií vytvoriť číslo 24) ukazuje hranicu čistého CoT obzvlášť zreteľne. Za podmienok GPT-4 tu čisté CoT dosahuje úspešnosť len 4 %, pretože sa model hneď na začiatku zafixuje na jednu cestu a nedokáže sa vrátiť späť. Tree-of-Thoughts, ktoré v každom kroku vygeneruje viacero kandidátov, ohodnotí ich a vetví sa, dosiahne 74 % (b=5, BFS cez tri myšlienkové kroky).

Podobne pri mini krížovkách (5×5): na úrovni celej hry vyrieši čisté CoT len 1 % úloh, Tree-of-Thoughts 20 %. Pri kreatívnom písaní so zadanými obmedzeniami je hodnotenie koherencie pri CoT okolo 6,9 z 10 (bežné promptovanie bez CoT: 6,2), pri Tree-of-Thoughts okolo 7,6 (Yao et al., 2023).

Poučenie neznie „CoT je zlé“, ale: CoT sa hodí na lineárne myšlienkové úlohy, nie na problémy prehľadávania. Pri viacstupňovej výpočtovej alebo plánovacej úlohe CoT výsledok citeľne zlepší; pri probléme prehľadávania s mnohými slepými uličkami treba stromovú štruktúru a pri čistom vyhľadaní údajov netreba žiadny reasoning.

Poznámka: Tieto čísla pochádzajú z pôvodných štúdií (prevažne z éry GPT-3.5/GPT-4, 2022–2023). Moderné frontier modely dosahujú iné hodnoty, uvedené rádové hodnoty treba čítať ako relatívne ukazovatele efektu, nie ako dnešné absolútne hodnoty.

CoT a náklady: bilancia latencie a tokenov

Každý krok reasoningu vytvára ďalšie tokeny a, keďže generovanie prebieha sekvenčne, aj ďalšiu latenciu. Pri jednoduchom vyhľadaní údajov, ktoré by model zvládol aj priamo, je to čistá réžia. Pri aplikáciách s vysokým objemom (napr. triedenie tiketov zákazníckej podpory) sa táto réžia rýchlo nasčíta do citeľných nákladov.

Praktickou pákou na náklady je model tiering: silný, drahý model na náročnú fázu reasoningu a plánovania, menší, lacný model na jednoduché vykonávacie kroky. Tento prístup, známy zo vzoru Plan-and-Execute, šetrí pri viacstupňových pracovných postupoch rádovo 40–70 % tokenov. Pre CoT to znamená: kupovať reasoning cielene tam, kde na ňom záleží, a nerozkladať ho rovnomerne na všetky kroky.

Dôležité pre výber modelu v roku 2026: modely optimalizované na reasoning (séria o, Claude s Extended Thinking, varianty Gemini Thinking) vykonávajú postupné uvažovanie už interne. Explicitné CoT promptovanie tam často prináša málo dodatočného úžitku a môže dokonca prekážať. Explicitné CoT zostáva relevantné predovšetkým pre menšie/lacnejšie modely a pre dohľadateľné auditné záznamy, napríklad v regulovaných kontextoch v regióne DACH, kde zdokumentovaný postup rozhodovania uľahčuje kontrolu. Právna povinnosť dokumentovať myšlienkový postup modelu neexistuje. EU AI Act síce vyžaduje, aby vysokorizikové systémy technicky umožňovali automatické zaznamenávanie udalostí (čl. 12), výstup medzikrokov však nevyžaduje. Ako dôkaz má vypísaný myšlienkový postup aj tak len obmedzenú hodnotu, pretože spoľahlivo nevypovedá o tom, prečo model skutočne rozhodol tak, ako rozhodol (Turpin et al., 2023).

Pre agentúry a B2B: pragmatické rozhodnutie

Pre marketingové agentúry a B2B tímy v regióne DACH sa CoT dá zhrnúť do jednoduchej heuristiky: CoT nie je štandardný príplatok, ale cielený nástroj. Nasaď ho, keď úloha vyžaduje viacero krokov uvažovania, počítanie alebo plánovanie, napríklad pri príprave reportov, overovaní vierohodnosti ukazovateľov alebo rozklade zložitých požiadaviek zákazníkov. Vynechaj ho pri vyhľadávaní údajov, klasifikácii a všade, kde rozhodujú rýchlosť a jednotkové náklady. Medzi zero-shot (lacné) a few-shot (presnejšie, drahšie) vyberaj vedome podľa úlohy. A pri reasoning modeloch over, či explicitné CoT vôbec ešte niečo prináša, skôr než naň minieš tokeny. Kto tieto štyri rozhodnutia urobí dôsledne, získa presnejších agentov pri kontrolovaných nákladoch, namiesto toho, aby drahú a pomalú réžiu reasoningu rozsypal po celej pipeline.