Context window w LLM i tokenizacja: źródło opóźnień i kosztów agentów

Tokenizacja dzieli tekst na tokeny, czyli najmniejsze jednostki przetwarzania w LLM; okno kontekstowe to maksymalna liczba tokenów, którą model może przetworzyć łącznie w jednym zapytaniu. W przypadku agentów AI obie te wielkości bezpośrednio decydują o kosztach i opóźnieniach, bo każdy krok agenta ponownie wysyła do modelu cały dotychczasowy kontekst. Kto uruchamia agentów produkcyjnie, ten za pomocą tych dwóch wielkości steruje większością bieżących kosztów i czasu odpowiedzi.

• Tokeny to jednostka rozliczeniowa i jednostka przetwarzania. Koszty i opóźnienia zależą od liczby tokenów, a nie od liczby znaków. Tekst niemiecki generuje zwykle więcej tokenów na słowo niż angielski.
• Okno kontekstowe ma swoje granice. Agenci wieloetapowi szybko je zapełniają, bo każdy krok ciągnie za sobą prompt systemowy, całą historię i wszystkie wyniki narzędzi. Liczba tokenów rozliczanych w jednym przebiegu rośnie przez to ponadproporcjonalnie.
• Pełny kontekst nie znaczy lepszy kontekst. Przy bardzo długich danych wejściowych jakość mierzalnie spada (Lost-in-the-Middle). Zarządzanie kontekstem jest więc jednocześnie dźwignią kosztów i jakości.

Czym są tokeny i dlaczego to one napędzają koszty

LLM nie przetwarza zwykłego tekstu, tylko tokeny. Tokenizer dzieli tekst wejściowy na jednostki, które najczęściej odpowiadają fragmentowi słowa, krótkiemu całemu słowu lub znakowi interpunkcyjnemu. Model operuje wyłącznie na tych tokenach, a wszyscy dostawcy naliczają opłaty za tokeny, osobno za wejście (to, co trafia do modelu) i wyjście (to, co model generuje).

W praktyce decydujące są dwie właściwości. Po pierwsze, gęstość tokenów zależy od języka: długie wyrazy złożone, umlauty i końcówki fleksyjne sprawiają, że ta sama treść po niemiecku wymaga często więcej tokenów niż po angielsku. Ile więcej, zależy od tokenizera modelu, a ten może się zmienić nawet u tego samego dostawcy: według Anthropic tokenizer wprowadzony wraz z Claude Opus 4.7 generuje dla tego samego tekstu około 30% więcej tokenów niż jego poprzednik. Przy przetwarzaniu tekstów niemieckojęzycznych oznacza to: to samo zadanie, większe zużycie tokenów, wyższe koszty i szybsze zapełnianie okna kontekstowego.

Po drugie, wyjście jest zwykle znacznie droższe niż wejście. W modelach dostępnych na rynku cena za tokeny wyjściowe wynosi typowo od trzech do sześciu razy tyle, co cena za tokeny wejściowe. W niektórych tanich modelach workhorse ta różnica jest mniejsza, w modelach frontier bliżej jej do górnej granicy. Agent, który generuje długie, rozbudowane odpowiedzi, jest więc ponadproporcjonalnie drogi w stosunku do liczby tokenów wyjściowych.

Jak działa okno kontekstowe

Okno kontekstowe to maksymalna liczba tokenów, jaką model może jednocześnie objąć w jednym zapytaniu, łącznie z wejściem i wygenerowanym wyjściem. Wszystko, co model ma uwzględnić przy odpowiedzi, musi zmieścić się w tym oknie: instrukcja systemowa, historia rozmowy, wstrzyknięte dokumenty, definicje narzędzi i wyniki narzędzi.

Rozmiary okien bardzo wzrosły w ostatnich latach. Obecne modele frontier oferują bardzo duże konteksty: Claude Opus 5.5 i Gemini 3.1 Pro pracują z około 1 milionem tokenów, Mistral Large 3 z 256K. Wśród modeli open-weight Llama 4 Scout (kwiecień 2025) obsługuje do 10 milionów tokenów (wszystkie dane: stan na październik 2026). Większe okno przesuwa twardą górną granicę, ale nie sprawia, że ciągnięcie za sobą kontekstu jest darmowe. Pozostają dwa efekty: koszty i opóźnienia rosną wraz z długością wejścia, a jakość odpowiedzi spada przy bardzo długich danych wejściowych.

Wzrost kontekstu w agentach wieloetapowych

Pojedyncze wywołanie czatu nie stanowi problemu kosztowego. Problem pojawia się przy wzorcu agentowym: agent nie rozwiązuje zadania w jednym wywołaniu, tylko w wielu krokach (planowanie, wywołanie narzędzia, ocena wyniku, wywołanie kolejnego narzędzia i tak dalej). Przy każdym z tych kroków cały dotychczasowy przebieg jest ponownie wysyłany jako wejście, bo model jest bezstanowy i niczego nie zapamiętuje.

Stąd bierze się kluczowy wzorzec ekonomiczny agentów: ponadproporcjonalnie rosnące zużycie tokenów. Jeśli krok 1 ma jeszcze 2000 tokenów wejściowych, krok 2 już 5000, krok 3 potem 9000 i tak dalej, rozliczane zużycie tokenów w całym przebiegu nie sumuje się liniowo, tylko daleko ponadproporcjonalnie, bo każdy krok ciągnie za sobą rozrośnięty kontekst wszystkich wcześniejszych kroków. Każdy dodatkowy wynik narzędzia (odpowiedź API, przeszukany dokument, wynik wyszukiwania) powiększa kontekst dla wszystkich kolejnych kroków. Długie wyniki narzędzi są tu najczęstszym cichym czynnikiem kosztowym.

Opóźnienia podlegają tej samej logice. Czas do pierwszego tokena i całkowity czas odpowiedzi rosną wraz z długością wejścia, bo model musi wczytać cały kontekst, zanim odpowie. Agent, który pod koniec długiego przebiegu niesie ze sobą 80 000 tokenów kontekstu, jest w każdym kroku wyraźnie wolniejszy niż na początku, i to akurat wtedy, gdy użytkownik i tak już czeka.

Degradacja: Lost-in-the-Middle przy pełnym kontekście

Rozpowszechniony błąd w myśleniu brzmi: jeśli okno jest wystarczająco duże, można po prostu wrzucić do niego wszystko. Technicznie to prawda, jakościowo już nie. Modele LLM wykorzystują informacje z początku i końca długich danych wejściowych bardziej niezawodnie niż te ze środka; to efekt znany jako Lost-in-the-Middle. Im dłuższy kontekst, tym większe ryzyko, że kluczowa informacja otrzyma mniejszą wagę lub zginie.

Dla agentów ma to podwójne znaczenie. Po pierwsze, agent często wypełnia kontekst historią, która nie ma znaczenia dla bieżącego kroku. Po drugie, przepełniony kontekst może sprawić, że model zignoruje starsze instrukcje lub wczesne wyniki narzędzi ze środka przebiegu. Jakość odpowiedzi spada wtedy, choć miejsca technicznie wystarcza. Więcej kontekstu nie oznacza więc automatycznie lepszych wyników; od pewnego momentu mniejszy, ale starannie dobrany kontekst sprawdza się lepiej.

Pojęcia i ich znaczenie dla agentów

Przykładowe wyliczenie: od tokenów do kosztów

Agent obsługi klienta rozwiązuje zgłoszenie w 6 krokach. W każdym kroku ponownie wysyła cały kontekst. Uproszczone założenie dotyczące wejścia: 2000, 5000, 9000, 14 000, 20 000, 27 000 tokenów, łącznie około 77 000 tokenów wejściowych. Do tego w każdym kroku generuje około 500 tokenów wyjściowych, czyli łącznie około 3000 tokenów wyjściowych.

Przeliczmy to dla trzech poziomów cen. Dla uproszczenia przyjmujemy dla wszystkich trzech modeli tę samą liczbę tokenów; w zależności od tokenizera dla tego samego zadania wychodzi ona różnie. Tabela wykorzystuje ceny katalogowe za 1 mln tokenów (wejście/wyjście, stan na październik 2026) według Anthropic, Mistral i DeepSeek:

Pojedynczy przebieg wydaje się tani. Ale przy 50 000 takich przebiegów miesięcznie daje to z grubsza 18 400 dolarów z modelem frontier wobec około 2150 dolarów z suwerennym modelem z UE i około 1300 dolarów z tanim modelem workhorse. Dla DeepSeek tabela podaje stawkę w godzinach szczytu, poza nimi obowiązuje połowa ceny. Model Claude Fable 5.1, który Anthropic przewiduje do wymagającego rozumowania, kosztuje 10 USD / 50 USD, czyli 2,5 raza więcej niż Opus 5.5 (Anthropic). W przeliczeniu daje to około 46 000 dolarów miesięcznie. Różnica między poziomem frontier a workhorse wynosi w zależności od modelu od 8 do 100 razy (stan na październik 2026). Dwa wnioski: po pierwsze, w agentach budżet zdominowany jest przez ciągnięte za sobą dane wejściowe, a nie przez wyjście. Po drugie, wybór modelu dla każdego kroku pośredniego to potężna dźwignia kosztowa.

Do tego dochodzi dopłata za długi kontekst. Gemini 3.1 Pro na przykład drożeje powyżej 200 000 tokenów: cena wejścia się podwaja, a cena wyjścia również wyraźnie rośnie (4 USD / 18 USD zamiast 2 USD / 12 USD za 1 mln tokenów, stan na październik 2026). Kto pozwala, by kontekst agenta bez kontroli przekroczył ten próg, płaci za więcej tokenów i do tego wyższą stawkę za każdy token.

Jak temu przeciwdziałać: mały i skupiony kontekst

Sztuka projektowania agentów polega na tym, by w każdym kroku dawać modelowi tylko to, czego naprawdę potrzebuje. Trzy strategie, które można łączyć:

• Kompresja kontekstu i streszczanie. Starsze kroki są zagęszczane do krótkiego podsumowania zamiast ciągnięcia za sobą pełnej historii. Długie wyniki narzędzi są redukowane do samego rezultatu. To jednocześnie obniża liczbę tokenów wejściowych, opóźnienia i ryzyko Lost-in-the-Middle.
• Wyszukiwanie zamiast pełnego tekstu (RAG). Zamiast ładować do promptu całe bazy wiedzy lub dokumenty, przez wyszukiwanie wstrzykuje się tylko istotne fragmenty. Dzięki temu kontekst pozostaje mały, a trafność wyników rośnie, bo modelu nie rozpraszają nieistotne informacje.
• Routing modeli i prompt caching. Proste kroki pośrednie (klasyfikacja, ekstrakcja, formatowanie) działają na tanich modelach workhorse lub open-weight; drogie modele frontier są zarezerwowane dla złożonych kroków. Prompt caching dodatkowo obniża koszty powtarzających się, stabilnych części kontekstu, takich jak prompty systemowe.

Uzupełniająco warto celowo ograniczać wyjście (zwięzłe, ustrukturyzowane odpowiedzi zamiast rozwlekłej prozy) i przycinać wyniki narzędzi do niezbędnego minimum. Łącznie te działania decydują o tym, czy agent, który w fazie pilotażowej wygląda elegancko, pozostanie opłacalny w działaniu produkcyjnym.

Dla agencji i decydentów B2B

Tokenizacja i okno kontekstowe to dwa najważniejsze czynniki decydujące o opłacalności agenta AI. Kto planuje budżet rozwiązania opartego na agentach, powinien liczyć koszty nie na zapytanie, lecz na pełny wieloetapowy przebieg, w przeliczeniu na oczekiwany wolumen miesięczny i z uwzględnieniem ponadproporcjonalnego wzrostu kontekstu. Dla agencji wartość doradztwa polega na tym, by uchronić klientów przed przykrą niespodzianką, gdy agent tani w pilotażu staje się pod obciążeniem nieprzewidywalnie drogi lub powolny. Blck Alpaca pomaga firmom w całej Europie projektować architektury agentów tak, by zarządzanie kontekstem, routing modeli i wyszukiwanie były wbudowane od samego początku. Efekt to przewidywalne koszty, akceptowalne opóźnienia i stabilna jakość odpowiedzi w środowisku produkcyjnym.