Chain-of-Thought w agentach AI: kiedy pomaga, a kiedy nie?

Chain-of-Thought (CoT) to technika promptowania, w której duży model językowy przed udzieleniem odpowiedzi wprost formułuje słowami swoje kroki pośrednie. Zamiast od razu podać wynik, model zapisuje tok rozwiązania krok po kroku. Zwiększa to dokładność przy wieloetapowej logice, matematyce i planowaniu, ale kosztuje dodatkowe tokeny i zwiększa latencję. W przypadku agentów CoT jest zarazem koncepcyjnym rdzeniem, z którego wywodzą się niemal wszystkie nowoczesne architektury agentowe.

• Pomaga przy: wieloetapowej logice, matematyce, planowaniu i wszędzie tam, gdzie przejrzysta ścieżka rozumowania poprawia wynik.
• Nie pomaga przy: prostych wyszukiwaniach, jednoetapowej klasyfikacji oraz zastosowaniach krytycznych pod względem opóźnień i kosztów.
• Częściowo zbędny przy: modelach zoptymalizowanych pod kątem rozumowania, które już wewnętrznie myślą krok po kroku.

Co Chain-of-Thought robi od strony technicznej

CoT zmusza model do rozłożenia niejawnego przeskoku od pytania do odpowiedzi na widoczny łańcuch rozważań pośrednich. Praktyczna dźwignia jest niewielka, a efekt często duży: dodany na początku wyzwalacz lub przykładowy tok rozwiązania przesuwa rozkład prawdopodobieństwa modelu w stronę ustrukturyzowanego generowania krok po kroku.

Chain-of-Thought (Wei et al., 2022) to historyczne źródło praktycznie wszystkich dzisiejszych wzorców agentowych. Z CoT wyrosły ReAct, Tree-of-Thoughts, Plan-and-Solve/Plan-and-Execute i ReWOO: wszystkie albo opierają się na jawnym rozumowaniu, albo je przebudowują, albo świadomie je odrzucają. Kto rozumie CoT, rozumie wspólny fundament tych architektur.

Kluczowa cecha czystego CoT, a zarazem jego główna słabość: ścieżka rozumowania jest ściśle sekwencyjna. Model generuje jeden krok po drugim i nie może się cofnąć ani wycofać ze ślepej uliczki, w którą już wszedł. Dlatego w zadaniach wymagających przeszukiwania, patrzenia w przód lub backtrackingu CoT zawodzi. Właśnie tu wkracza Tree-of-Thoughts, które reinterpretuje rozumowanie jako przeszukiwanie drzewa stanów pośrednich.

Zero-shot a few-shot CoT

W praktyce istnieją dwa warianty o różnych profilach kosztów i korzyści.

• Zero-shot CoT: zadanie poprzedza się jedynie wyzwalaczem w rodzaju „Pomyślmy krok po kroku”. Bez przykładów, przy minimalnym nakładzie kontekstu. Z tej idei powstało promptowanie Plan-and-Solve (Wang et al., 2023), dwuetapowe podejście zero-shot („Najpierw opracujmy plan / Wykonajmy plan”), które przewyższa zero-shot CoT w rozumowaniu matematycznym i stało się wzorem dla architektury agentowej Plan-and-Execute.
• Few-shot CoT: prompt zawiera jeden lub kilka kompletnych przykładowych toków rozwiązania. Utrwala to myślenie krok po kroku, pożądany format i heurystyki specyficzne dla danej dziedziny. Few-shot CoT jest zwykle dokładniejszy w zadaniach specjalistycznych lub wymagających ścisłego formatu, ale kosztuje odczuwalnie więcej tokenów kontekstu na każde zapytanie.

Praktyczna zasada dla agencji: zero-shot CoT jako tani standard, few-shot CoT tylko tam, gdzie dodatkowa dokładność lub zgodność z formatem uzasadnia wyższe zużycie tokenów.

Relacja z ReAct: rozumowanie potrzebuje ugruntowania

Czysty CoT ma dla agentów zasadniczy problem: halucynuje fakty, bo brakuje mu jakiegokolwiek zewnętrznego ugruntowania. Model wprawdzie „myśli” przekonująco, ale nie ma mechanizmu, by skonfrontować swoje założenia z rzeczywistością.

ReAct (Yao et al., 2022) rozwiązuje właśnie ten problem, rozszerzając CoT o działanie. Zamiast tylko myśleć, ReAct przeplata kroki rozumowania z wywołaniami narzędzi:

• Thought: Muszę sprawdzić aktualny przychód klienta.
• Action: crmLookup(kunde="Muster GmbH", feld="umsatzQ1")
• Observation: Przychód Q1 = 1 240 000 EUR
• Thought: To 8% więcej niż przed rokiem. Teraz porównuję to z lejkiem sprzedażowym.
• Action: ...

Kroki rozumowania sterują użyciem narzędzi, a obserwacje z narzędzi korygują rozumowanie. CoT pozostaje więc rdzeniem. ReAct dodaje jedynie ugruntowanie, którego brakuje czystemu CoT. Dla większości agentów produkcyjnych (chatboty z dostępem do CRM i bazy wiedzy, triaż zgłoszeń) właściwym punktem wyjścia jest ten ugruntowany wariant, a nie czysty CoT.

Kiedy CoT pomaga, a kiedy nie

Najważniejszy wniosek z raportów z wdrożeń z lat 2024–2026 brzmi: zacznij od najprostszego wzorca, który działa, i komplikuj go dopiero wtedy, gdy zmierzone wskaźniki błędów to wymuszą. W odniesieniu do CoT oznacza to: nie rozdmuchiwać odruchowo każdego promptu instrukcjami „krok po kroku”, lecz stosować je tylko tam, gdzie typ zadania w udokumentowany sposób tego wymaga.

Przykład z CoT i bez CoT: Game of 24

„Game of 24” (ułożenie liczby 24 z czterech liczb za pomocą podstawowych działań arytmetycznych) szczególnie wyraźnie pokazuje ograniczenia czystego CoT. W warunkach GPT-4 czysty CoT osiąga tu zaledwie 4% skuteczności, bo model wcześnie wybiera jedną ścieżkę i nie potrafi się cofnąć. Tree-of-Thoughts, które na każdym kroku generuje, ocenia i rozgałęzia kilku kandydatów, osiąga 74% (b=5, BFS przez trzy kroki myślowe).

Podobnie jest w przypadku minikrzyżówek (5×5): na poziomie całej gry czysty CoT rozwiązuje tylko 1% zadań, a Tree-of-Thoughts 20%. W twórczym pisaniu z ograniczeniami ocena spójności dla CoT wynosi około 6,9 na 10 (proste promptowanie bez CoT: 6,2), a dla Tree-of-Thoughts około 7,6 (Yao et al., 2023).

Wniosek nie brzmi „CoT jest zły”, lecz: CoT pasuje do liniowych zadań myślowych, a nie do problemów przeszukiwania. W wieloetapowym zadaniu obliczeniowym lub planistycznym CoT odczuwalnie poprawia wynik; problem przeszukiwania z wieloma ślepymi uliczkami wymaga struktury drzewa, a proste wyszukiwanie nie wymaga żadnego rozumowania.

Uwaga: te liczby pochodzą z oryginalnych publikacji (głównie z ery GPT-3.5/GPT-4, 2022–2023). Najnowsze czołowe modele wyznaczają te wartości na nowo, a rzędy wielkości należy traktować jako względne wskaźniki efektu, a nie jako dzisiejsze wartości bezwzględne.

CoT a koszty: rachunek opóźnień i tokenów

Każdy krok rozumowania generuje dodatkowe tokeny, a ponieważ generowanie jest sekwencyjne, także dodatkowe opóźnienie. Przy prostym wyszukiwaniu, na które model mógłby odpowiedzieć bezpośrednio, to czysty narzut. W zastosowaniach o dużym wolumenie (np. triaż zgłoszeń supportowych) ten narzut szybko sumuje się w odczuwalne koszty.

Praktyczną dźwignią kosztową jest model tiering: mocny, drogi model do wymagającej fazy rozumowania/planowania, a mniejszy, tani model do prostych kroków wykonawczych. To podejście, znane ze wzorca Plan-and-Execute, pozwala w wieloetapowych przepływach pracy zaoszczędzić rzędu 40–70% tokenów. Dla CoT oznacza to: kupować rozumowanie celowo tam, gdzie ma znaczenie, zamiast rozkładać je równo na wszystkie kroki.

Ważne przy wyborze modelu w 2026 roku: modele zoptymalizowane pod kątem rozumowania (seria o, Claude z Extended Thinking, warianty Gemini Thinking) już wewnętrznie wykonują proces myślenia krok po kroku. Jawne promptowanie CoT daje w nich często niewielką dodatkową korzyść, a może nawet przeszkadzać. Jawny CoT pozostaje istotny przede wszystkim dla mniejszych/tańszych modeli i dla przejrzystych ścieżek audytu, na przykład w regulowanych kontekstach w Europie, gdzie udokumentowany proces decyzyjny ułatwia weryfikację. Nie istnieje prawny obowiązek dokumentowania ścieżki rozumowania modelu. Unijny AI Act wymaga wprawdzie, aby systemy wysokiego ryzyka technicznie umożliwiały automatyczne rejestrowanie zdarzeń (art. 12), ale nie wymaga ujawniania kroków pośrednich. Jako dowód wyświetlona ścieżka rozumowania i tak ma ograniczoną wartość, bo nie oddaje wiernie, dlaczego model faktycznie podjął taką decyzję (Turpin et al., 2023).

Dla agencji i B2B: pragmatyczna decyzja

Dla agencji marketingowych i zespołów B2B w Europie CoT można sprowadzić do prostej heurystyki: CoT to nie standardowy dodatek, lecz narzędzie do celowego użycia. Stosuj go, gdy zadanie wymaga kilku kroków myślowych, obliczeń lub planowania, na przykład przy przygotowywaniu raportów, sprawdzaniu wiarygodności wskaźników czy rozkładaniu złożonych zapytań klientów. Zrezygnuj z niego przy prostych wyszukiwaniach, klasyfikacji i wszędzie tam, gdzie liczą się przede wszystkim szybkość i koszt jednostkowy. Świadomie wybieraj między zero-shot (tanio) a few-shot (dokładniej, drożej) w zależności od zadania. A w przypadku modeli rozumujących sprawdź, czy jawny CoT w ogóle coś jeszcze wnosi, zanim wydasz na niego tokeny. Kto trafnie podejmie te cztery decyzje, otrzyma dokładniejszych agentów przy kontrolowanych kosztach, zamiast rozpraszać drogi i powolny narzut rozumowania po całym łańcuchu przetwarzania.