Tokenizácia a kontextové okno: čo určuje latenciu a náklady agenta

Tokenizácia rozkladá text na tokeny, najmenšie jednotky spracovania LLM; kontextové okno je maximálny počet tokenov, ktoré model dokáže spracovať spoločne pri jednej požiadavke. Pri AI agentoch obe priamo určujú náklady a latenciu, pretože každý krok agenta znova posiela modelu celý doterajší kontext. Kto prevádzkuje agentov v produkcii, riadi cez tieto dve veličiny najväčšiu časť prevádzkových nákladov aj času odpovede.

• Tokeny sú zúčtovacou a spracovacou jednotkou. Náklady a latencia závisia od počtu tokenov, nie od počtu znakov. Nemecký text má tendenciu vytvárať na slovo viac tokenov než anglický.
• Kontextové okno je obmedzené. Viackrokoví agenti ho rýchlo zaplnia, pretože každý krok prenáša systémový prompt, celú históriu a všetky výsledky nástrojov. Objem tokenov zúčtovaný za jeden beh preto rastie nadproporcionálne.
• Plný kontext neznamená lepší kontext. Pri veľmi dlhých vstupoch kvalita merateľne klesá (Lost-in-the-Middle). Manažment kontextu je tak pákou na náklady aj na kvalitu zároveň.

Čo sú tokeny a prečo práve ony určujú náklady

LLM nespracúva čistý text, ale tokeny. Tokenizér rozkladá vstupný text na jednotky, ktoré zvyčajne zodpovedajú časti slova, krátkemu celému slovu alebo interpunkčnému znamienku. Model počíta výlučne s týmito tokenmi a všetci poskytovatelia účtujú za token, oddelene za vstup (čo do modelu vstupuje) a výstup (čo model vygeneruje).

Pre prax sú rozhodujúce dve vlastnosti. Po prvé, hustota tokenov závisí od jazyka: dlhé zložené slová, prehlásky a flexné koncovky spôsobujú, že tá istá vec potrebuje v nemčine často viac tokenov než v angličtine. O koľko viac, závisí od tokenizéra modelu, a ten sa môže zmeniť aj u toho istého poskytovateľa: podľa spoločnosti Anthropic vytvára tokenizér zavedený s modelom Claude Opus 4.7 pre ten istý text zhruba o 30 percent viac tokenov než jeho predchodca. Pre nasadenia v regióne DACH to znamená: rovnaká úloha, vyššia spotreba tokenov, vyššie náklady a rýchlejšie zaplnenie kontextového okna.

Po druhé, výstup je zvyčajne výrazne drahší než vstup. Pri modeloch dostupných na trhu je cena výstupu typicky trojnásobkom až šesťnásobkom ceny vstupu. Pri niektorých lacných bežných modeloch je prirážka menšia, pri frontier modeloch sa pohybuje skôr pri hornej hranici. Agent, ktorý produkuje dlhé, podrobné odpovede, je preto v pomere k množstvu výstupných tokenov nadproporcionálne drahý.

Ako funguje kontextové okno

Kontextové okno je maximálny počet tokenov, ktoré model dokáže pri jednej požiadavke vidieť naraz, vstup a vygenerovaný výstup dohromady. Všetko, čo má model pri odpovedi zohľadniť, sa musí zmestiť do tohto okna: systémová inštrukcia, priebeh konverzácie, vložené dokumenty, definície nástrojov a výsledky nástrojov.

Veľkosti okien za posledné roky výrazne narástli. Aktuálne frontier modely ponúkajú veľmi veľké kontexty: Claude Opus 5.5 a Gemini 3.1 Pro pracujú zhruba s 1 miliónom tokenov, Mistral Large 3 s 256K. Spomedzi open-weight modelov dosahuje Llama 4 Scout (apríl 2025) až 10 miliónov tokenov (všetky údaje: stav k októbru 2026). Väčšie okno posúva tvrdú hornú hranicu, prenášanie kontextu tým však zadarmo nebude. Dva efekty zostávajú: náklady a latencia rastú s dĺžkou vstupu a kvalita odpovede sa pri veľmi dlhých vstupoch zhoršuje.

Rast kontextu pri viackrokových agentoch

Jedno chatové volanie je z hľadiska nákladov nekritické. Problém vzniká pri agentickom vzore: agent nerieši úlohu jedným volaním, ale v mnohých krokoch (naplánovať, zavolať nástroj, vyhodnotiť výsledok, zavolať ďalší nástroj a tak ďalej). Pri každom z týchto krokov sa celý doterajší priebeh posiela znova ako vstup, pretože model je bezstavový a nič si nepamätá.

Z toho vyplýva ústredný ekonomický vzorec agentov: nadproporcionálne rastúca spotreba tokenov. Ak má krok 1 ešte 2 000 vstupných tokenov, krok 2 už 5 000, krok 3 potom 9 000 a tak ďalej, zúčtovaná spotreba tokenov za celý beh nerastie lineárne, ale ďaleko nadproporcionálne, pretože každý krok prenáša narastený kontext všetkých predchádzajúcich krokov. Každý ďalší výstup nástroja (odpoveď API, prehľadaný dokument, výsledok vyhľadávania) zväčšuje kontext pre všetky nasledujúce kroky. Dlhé výstupy nástrojov sú tu najčastejším tichým zdrojom nákladov.

Latencia sa riadi tou istou logikou. Čas do prvého tokenu aj celkový čas odpovede rastú s dĺžkou vstupu, pretože model musí načítať celý kontext predtým, než odpovie. Agent, ktorý ku koncu dlhého behu nesie 80 000 tokenov kontextu, je v každom kroku citeľne pomalší než na začiatku, a to práve vtedy, keď používateľ už aj tak čaká.

Degradácia: Lost-in-the-Middle pri plnom kontexte

Rozšírený omyl znie: ak je okno dostatočne veľké, dá sa doň jednoducho vložiť všetko. Technicky to platí, kvalitatívne nie. LLM využívajú informácie na začiatku a na konci dlhého vstupu spoľahlivejšie než informácie v strede, čo je efekt známy ako Lost-in-the-Middle. Čím dlhší kontext, tým vyššie riziko, že rozhodujúca informácia dostane menšiu váhu alebo sa stratí.

Pre agentov je to relevantné dvojnásobne. Po prvé, agent si často zaplní kontext históriou, ktorá je pre aktuálny krok irelevantná. Po druhé, preplnený kontext môže spôsobiť, že model ignoruje staršie inštrukcie alebo prvé výsledky nástrojov zo stredu priebehu. Kvalita odpovede potom klesá, hoci je technicky miesta dosť. Viac kontextu teda automaticky neznamená vyšší výkon; od určitého bodu je lepší menší, ale starostlivo vybraný kontext.

Pojmy a ich dôsledky pre agentov

Príklad výpočtu: od tokenov k nákladom

Agent zákazníckej podpory vyrieši požiadavku v 6 krokoch. V každom kroku znova posiela celý kontext. Zjednodušený predpoklad o vývoji vstupu: 2 000, 5 000, 9 000, 14 000, 20 000, 27 000 tokenov, spolu zhruba 77 000 vstupných tokenov. K tomu vygeneruje v každom kroku približne 500 výstupných tokenov, teda celkovo zhruba 3 000 výstupných tokenov.

Prepočítajme to pri troch cenových úrovniach. Pre zjednodušenie platí pre všetky tri modely rovnaký počet tokenov; v skutočnosti sa pri tej istej úlohe líši podľa tokenizéra. Tabuľka používa cenníkové ceny za 1 mil. tokenov (vstup/výstup, stav k októbru 2026) podľa spoločností Anthropic, Mistral a DeepSeek:

Jeden beh pôsobí lacno. Pri 50 000 takých behoch mesačne však vychádza zhruba 18 400 amerických dolárov pri frontier modeli oproti približne 2 150 dolárom pri suverénnom modeli z EÚ a približne 1 300 dolárom pri lacnom bežnom modeli. Pri DeepSeeku uvádza tabuľka tarifu pre špičkové hodiny, mimo nich platí polovičná cena. Claude Fable 5.1, ktorý Anthropic určuje na náročné uvažovanie (reasoning), stojí 10 $ / 50 $, teda 2,5-násobok ceny Opus 5.5 (Anthropic). V prepočte by to bolo zhruba 46 000 amerických dolárov mesačne. Faktor medzi frontier modelmi a lacnými bežnými modelmi sa podľa modelu pohybuje od 8 do 100 (stav k októbru 2026). Dve ponaučenia: po prvé, pri agentoch rozpočtu dominuje prenášaný vstup, nie výstup. Po druhé, výber modelu pre každý čiastkový krok je obrovskou pákou na náklady.

K tomu pribúda prirážka za dlhý kontext. Napríklad Gemini 3.1 Pro sa nad 200 000 tokenov zdražuje: cena vstupu sa zdvojnásobí a výrazne stúpne aj cena výstupu (4 $ / 18 $ namiesto 2 $ / 12 $ za 1 mil. tokenov, stav k októbru 2026). Kto nechá kontext agenta nekontrolovane narásť nad túto hranicu, platí za viac tokenov a zároveň vyššiu tarifu za každý token.

Protistratégie: udržať kontext malý a zacielený

Umenie pri navrhovaní agentov spočíva v tom, že modelu v každom kroku dáš len to, čo naozaj potrebuje. Tri stratégie, ktoré sa dajú kombinovať:

• Kompresia kontextu a sumarizácia. Staršie kroky sa zhustia do krátkeho zhrnutia, namiesto toho, aby sa prenášal celý priebeh v plnom znení. Dlhé výstupy nástrojov sa zredukujú na výsledok. To súčasne znižuje počet vstupných tokenov, latenciu aj riziko Lost-in-the-Middle.
• Retrieval namiesto plného textu (RAG). Namiesto načítania celých znalostných databáz alebo dokumentov do promptu sa cez vyhľadávanie vložia iba relevantné úryvky. Kontext tak zostane malý a presnosť výsledkov stúpne, pretože modelu neodvádza pozornosť nič irelevantné.
• Smerovanie modelov a prompt caching. Jednoduché čiastkové kroky (klasifikácia, extrakcia, formátovanie) bežia na lacných bežných alebo open-weight modeloch; drahé frontier modely sa vyhradia len pre zložité kroky. Prompt caching navyše znižuje náklady na opakujúce sa, stabilné časti kontextu, napríklad systémové prompty.

Doplnkovo platí: cielene obmedzovať výstup (stručné, štruktúrované odpovede namiesto rozvláčnej prózy) a orezať výsledky nástrojov na nevyhnutné minimum. Tieto opatrenia spolu rozhodujú o tom, či agent v pilotnej fáze vyzerá elegantne a v produkčnej prevádzke zostane rentabilný.

Pre agentúry a rozhodujúcich manažérov v B2B

Tokenizácia a kontextové okno sú dva najdôležitejšie faktory, ktorými ovplyvníš rentabilitu AI agenta. Kto rozpočtuje riešenie s agentom, mal by náklady počítať nie na jednu požiadavku, ale na celý viackrokový beh a prepočítať ich na očakávaný mesačný objem vrátane nadproporcionálneho rastu kontextu. Pre agentúry spočíva hodnota poradenstva v tom, že klientov uchránia pred nepríjemným prekvapením: agent, ktorý bol v pilote lacný, sa pod záťažou stane nepredvídateľne drahým alebo pomalým. Blck Alpaca pomáha firmám v regióne DACH navrhovať architektúry agentov tak, aby v nich boli manažment kontextu, smerovanie modelov a retrieval zabudované od začiatku. Výsledkom sú plánovateľné náklady, prijateľná latencia a stabilná kvalita odpovedí v produkčnej prevádzke.