Token

Tokeny sú základné jednotky, na ktoré LLMs rozdeľujú text – napríklad slová, časti slov alebo znaky. Počet tokenov určuje náklady a limity kontextového okna. Jedno slovenské slovo zodpovedá v priemere 1-2 tokenom. Marketingové tímy musia pri dlhších analýzach alebo generovaní obsahu zohľadňovať limity tokenov.