Agentúrne KPI pre AI agentov: ako merať hodnotu a maržu
Agentúrne KPI pre AI agentov sú ukazovatele, ktorými agentúra dokladá hodnotu a hospodárnosť služieb s agentmi: na strane klienta výstup, kvalita, konverzia a Time-to-Value, interne vyťaženosť, marža, náklady na tokeny a tiež chybovosť a miera HITL. Rozhodujúce je oddeliť adopčné vanity metriky od auditovateľných hodnotových metrík.
Na prvý pohľad
- Adopcia je nevyhnutná, ale nie postačujúca: počet pilotných projektov, nasadených nástrojov a aktívnych používateľov sám osebe nedokladá tvorbu hodnoty. Riaď sa výsledkovými metrikami (cost-out, čas cyklu, konverzia, marža).
- Reportuj predstihové aj oneskorené ukazovatele (leading a lagging), ale tím odmeňuj podľa lagging KPI. Firmy, ktoré odmeňujú adopciu, dostanú vysokú adopciu, ale žiadnu preukázanú hodnotu.
- ROI počítaj konzervatívne: spoľahlivou referenčnou hodnotou je Brynjolfssonova štúdia so 14-percentným nárastom produktivity (34 percent u začiatočníkov), nie 10x. Údaj 55 percent pri GitHub Copilote platí len pre izolované programátorské úlohy; pri dodávke end-to-end ukazuje Bain 10 až 15 percent.
- Subjektívne odhady úspory času sú nespoľahlivé: v terénnom pokuse METR boli skúsení vývojári v skutočnosti o 19 percent pomalší, ale verili, že sú o 20 percent rýchlejší. Telemetria a výsledkové metriky prekonávajú subjektívne odhady.
- Najväčšou skrytou nákladovou položkou je kontrola typu human-in-the-loop (HITL): často 30 až 60 percent hrubej úspory. Ak nemeriaš náklady na HITL, preceňuješ maržu.
- Koncentrácia vyhráva nad roztrieštenosťou: lídri v AI sa podľa BCG sústreďujú na 3,5 prípadu použitia oproti 6,1 v ostatných firmách a očakávajú 2,1-násobný ROI. Tvrdé rozhodovacie body na ukončenie projektu (kill gates) po 6 a 12 mesiacoch majú väčšiu hodnotu ako mäkká governance.
Agentúrne KPI pre AI agentov sú ukazovatele, ktorými agentúra dokladá hodnotu a hospodárnosť svojich služieb s agentmi: na strane klienta výstup, kvalita, konverzia a Time-to-Value, interne vyťaženosť, marža, náklady na tokeny a tiež chybovosť a miera HITL. Rozhodujúce je oddeliť rýchlo rastúce čísla o adopcii od niekoľkých auditovateľných hodnotových metrík, ktoré CFO dokáže overiť.
- Meraj stranu klienta, nielen používanie: úspešnosť, kvalita, konverzia/cost-out a Time-to-Value dokladajú hodnotu u klienta. Samotné využitie licencií ju nedokladá.
- Interne sleduj maržu: náklady na tokeny na úlohu, vyťaženosť a predovšetkým miera HITL eskalácií rozhodujú o tom, či je projekt s agentmi ziskový.
- Počítaj konzervatívne: spoľahlivou referenčnou hodnotou je nárast produktivity približne o 14 percent, nie často sľubovaný desaťnásobok.
Prečo väčšina agentúrnych dashboardov oslavuje nesprávne číslo
Najčastejšou chybou pri KPI v projektoch v regióne DACH v roku 2026 je merať úspech iba adopciou. Program s plným využitím licencií, ktorý nikdy nepohol žiadnou položkou vo výkaze ziskov a strát (P&L), je program bez účinku. Počet spustených pilotných projektov, identifikovaných prípadov použitia alebo nasadených AI nástrojov sám osebe nedokladá tvorbu hodnoty. BCG prináša v AI Radare najjasnejší dôkaz: lídri v AI sa sústreďujú v priemere na 3,5 prípadu použitia, ostatné firmy sa venujú 6,1 prípadu použitia a lídri očakávajú 2,1-násobný ROI. Kto je vpredu, vsádza teda na koncentráciu namiesto roztrieštenosti. Navyše približne 60 percent opýtaných firiem vôbec nedefinuje ani nesleduje finančný KPI pre hodnotu, ktorú im AI prináša.
Agentúra preto musí v reportingu jasne oddeliť dve vrstvy: adopčné metriky (nevyhnutné, nie postačujúce) a výsledkové metriky (tie, na ktorých záleží).
KPI na strane klienta: výstup, kvalita, konverzia, Time-to-Value
U klienta sa počíta to, čo agent v procese dosiahne. Rozhodujú štyri dimenzie:
- Výstup / úspešnosť (success rate): podiel úloh, ktoré agent správne dovedie do konečného stavu. Je to najdôležitejšie jednotlivé číslo, ktoré patrí na čelo reportu. Doplnkovo sleduj dokončenie úlohy (task completion: dosiahne agent vôbec koncový stav?), aby sa dalo odlíšiť „vzdal to“ od „odpovedal nesprávne“.
- Kvalita: faithfulness, resp. miera halucinácií (podiel výrokov, ktoré sú podložené získaným kontextom alebo všeobecnými znalosťami o svete) a (najmä pre právo, medicínu a financie) presnosť citácií (citation accuracy) na úrovni výrokov. Patrí sem aj konzistencia naprieč opakovanými behmi: agent, ktorý vyrieši 90 percent prípadov, ale nepredvídateľne zlyhá v 10 percentách, je často horší ako agent s 80 percentami, ktorý zlyháva predvídateľne a dá sa opraviť.
- Konverzia / účinok: podľa procesu miera lead-to-quote, miera deflexie (deflection rate) v zákazníckom servise, CSAT/NPS, skrátenie času cyklu (case-to-close), miera defektov, resp. chybovosť.
- Time-to-Value: ako rýchlo vznikne prvý merateľný ROI? Realistické očakávania v regióne DACH sú pri rozšírení servisu prvej úrovne (tier 1) o agentov 3 až 6 mesiacov, pri predajných a marketingových copilotoch zabudovaných do CRM 6 až 9, pri interných znalostných a vyhľadávacích agentoch 6 až 12 a pri back-office procesoch s množstvom dokumentov 9 až 15 mesiacov. Paušálne sľuby výsledkov do troch mesiacov pre všetky prípady použitia sú neseriózne.
Interné KPI: vyťaženosť, marža, náklady na tokeny, miera chýb a HITL
Druhá skupina KPI chráni hospodárnosť samotnej agentúry:
- Vyťaženosť nedostatkových rolí, predovšetkým AI produktových manažérov, ktorí zodpovedajú za prípady použitia a výsledky.
- Marža projektu ako oneskorený ukazovateľ (lagging), validovaný finančným oddelením.
- Náklady na tokeny a inferenciu na úlohu: vstupné tokeny, výstupné tokeny a (od roku 2025 rozhodujúce) reasoning tokeny, ktoré môžu pri reasoning modeloch tvoriť väčšinu nákladov. Jednotky reportingu: eurá na úlohu a eurá na 1 000 úloh, k tomu latencia P50/P95/P99.
- Miera chýb a HITL: miera eskalácií na človeka (human-in-the-loop) je priama páka na maržu. Každá eskalácia zaberá čas na kontrolu, ktorý často pohltí 30 až 60 percent hrubej úspory z deflexie. To je najväčšia skrytá nákladová položka pri servisných a dokumentových agentoch. Dôležité pre interpretáciu: vysoká miera eskalácií nie je automaticky zlá; dobre kalibrovaná eskalácia v rizikových procesoch je žiaduca vlastnosť. Rozhoduje klesajúci trend pri stabilnej kvalite.
Leading vs. lagging a pravidlo odmeňovania
Predstihové ukazovatele (leading) sa menia rýchlo a dajú sa riadiť; oneskorené ukazovatele (lagging) ukazujú obchodný výsledok s oneskorením, ale spoľahlivo.
KPI | Definícia | Zdroj | Cieľový smer |
|---|---|---|---|
Miera adopcie (WAU/MAU) | Aktívni používatelia na funkciu / licencie | Produktová telemetria | Leading: vysoko, ale len predpoklad |
Úlohy na používateľa/deň | Využité interakcie s agentom | Produktová telemetria | Leading: vysoko |
Eval-pass-rate | Splnené asserty a kontroly LLM judge na release | Eval pipeline (CI/CD) | Leading: udržať vysoko |
Miera HITL eskalácií | Podiel úloh s ľudskou kontrolou | Logy/tracing agentov | Leading: kontrolovane klesá |
Success rate | Podiel správne vybavených úloh | Outcome scorer | Outcome: vysoko |
Miera halucinácií | Podiel nepodložených výrokov | LLM judge / MiniCheck | Outcome: nízko |
Skrátenie času cyklu | Medián priebežnej doby oproti baseline | Procesné dáta | Lagging: klesá |
Cost-out / marža | Úspora, resp. príspevok na úhradu, potvrdené finančným oddelením | Finančné oddelenie | Lagging: rastie |
NPS/CSAT | Spokojnosť v procesoch blízkych zákazníkovi | Prieskum | Lagging: stabilne/rastie |
Náklady na tokeny/úlohu | Náklady na inferenciu v € na požiadavku | Observability/gateway | Efektívnosť: nízko |
Túto disciplínu treba pomenovať výslovne: reportuj oboje, ale odmeňuj podľa lagging ukazovateľov. Dôvod: adopcia môže rásť bez toho, aby sa pohla jediná položka v P&L. Kto odmeňuje tímy za adopciu, dostane vysokú adopciu, ale žiadnu preukázanú hodnotu. Kto odmeňuje za výsledky, riadi sa číslami, ktoré finančné oddelenie dokáže overiť.
ROI počítaj konzervatívne: 14 percent produktivity, nie 10x
Najspoľahlivejšia zdokumentovaná hodnota produktivity AI vo firmách pochádza zo štúdie Brynjolfssona, Li a Raymonda (NBER WP 31161, 2023; QJE 2025): v priemere o 14 percent viac vyriešených požiadaviek za hodinu v zákazníckom servise, 34 percent u začiatočníkov a menej kvalifikovaných pracovníkov, takmer žiadny efekt u skúsených profesionálov. To je horná hranica toho, čo je pri servise uveriteľné, a zároveň strategický signál: AI presúva hodnotu nadol po krivke zručností.
Do každej agentúrnej kalkulácie patria dve korekcie:
- Klasické tvrdenie o GitHub Copilote „o 55 percent rýchlejšie“ platí len pre úzko vymedzené, izolované programátorské úlohy, nie pre dodávku end-to-end. Tam Bain (Technology Report 2025) zisťuje typicky 10 až 15 percent, ktoré sa často nepretavia do hodnotnejšej práce, pretože úzke miesta v review, testovaní a nasadzovaní zostávajú v ďalších krokoch.
- Subjektívne odhady sú nespoľahlivé. V terénnom pokuse METR (arXiv 2507.09089, 2025) bolo 16 skúsených open-source vývojárov s AI o 19 percent pomalších, vopred pritom predpovedali zrýchlenie o 24 percent a potom verili v zrýchlenie o 20 percent; experti na ML a ekonómiu dokonca predpovedali zrýchlenie o 38 až 39 percent. Preklad pre vedenie: riaď sa telemetriou a výsledkovými metrikami, nie subjektívnymi odhadmi.
Z toho vyplýva prehľadný vzorec zdola nahor (bottom-up), ktorý CFO dokáže overiť:
- Hrubá úspora = úspora času v % × ročný objem × plné náklady na požiadavku
- Čistý prínos = hrubá úspora − licencia/platforma − náklady na inferenciu a tokeny − nasadenie/integrácia − observability/eval − HITL kontrola (30 až 60 percent hrubej úspory)
- ROI = čistý prínos ÷ súčet odpočítaných nákladov
Pri probléme „ROI sa nedá merať“ treba hovoriť otvorene: ak sú náklady na LLM malé v porovnaní s celkovým OpEx, prínos sa prejaví ako rýchlejšia práca, nie ako merateľné zníženie nákladov na úrovni jednotlivých položiek. Pri širokých horizontálnych copilotoch sa ROI na úrovni položky (line item) často nedá zistiť. To nie je zlyhanie, ak bola stávka vedome deklarovaná ako investícia do schopností (capability).
Vzorový dashboard: servisný agent tier 1 v stredne veľkej firme
Predpoklad: 120 000 servisných požiadaviek/rok, plné náklady 6 € na požiadavku, deflexia 40 percent, náklady na inferenciu na jednu konverzáciu 0,30 € (rozpätie podľa rešerše: 0,10 až 1,00 €).
Ukazovateľ | Hodnota | Kategória/cieľový smer |
|---|---|---|
Miera deflexie | 40 % | Outcome: rastie |
Success rate (vyriešené) | 88 % | Outcome: vysoko |
Miera halucinácií | 1,8 % | Kvalita: nízko |
Miera HITL eskalácií | 17 % → trend ↓ | Leading: klesá |
CSAT oproti baseline | +3 body | Lagging: stabilne/rastie |
Náklady na tokeny/požiadavku | 0,30 € | Efektívnosť: nízko |
Latencia P95 | 4,1 s | UX: nízko |
Hrubá úspora/rok | 120 000 × 40 % × 6 € = 288 000 € | Výpočet |
Úspora pohltená HITL (~45 %) | −130 000 € | Relevantné pre maržu |
Licencia/prevádzka/eval | −90 000 € | Relevantné pre maržu |
Čistá hodnota, rok 1 | ≈ 68 000 € | Lagging, validované finančným oddelením |
Dashboard ukazuje dve veci: zdanlivo drahá položka (náklady na tokeny) nie je hlavným nákladovým faktorom, sú ním HITL a prevádzka. A miera HITL je páka, ktorá rozhoduje o čistej hodnote v ďalších kvartáloch.
OKR v tvare, ktorý CFO dokáže overiť
Cieľ: vybudovať spoľahlivé nasadenie agentov v kľúčovej funkcii, ktorá prináša tržby.
- KR1: 70 %+ aktívnej týždennej adopcie agenta vo funkcii do 9 mesiacov.
- KR2: 25 %+ skrátenie mediánového času cyklu cieľového procesu oproti baseline do 12 mesiacov.
- KR3: NPS/CSAT bez zhoršenia (alebo +5 %) počas celého obdobia.
- KR4: miera HITL eskalácií <20 % do 12 mesiacov s merateľným klesajúcim trendom.
- KR5: čistý príspevok k P&L validovaný finančným oddelením do 18 mesiacov.
Táto forma núti k auditovateľným výsledkom a k disciplíne pri ukončovaní projektov. Tvrdé rozhodovacie body na ukončenie majú väčšiu hodnotu ako mäkká governance: projekt ukonči po 6 mesiacoch, ak chýba jasná cesta k ROI (adopcia stagnuje pod 30 percentami, žiadne merateľné zlepšenie), a rovnako po 12 mesiacoch, ak chýba kvantitatívny signál ROI. Rozpočet stiahni, žiadne zombie projekty. Každý program s agentmi potrebuje v zakladacej listine (charte) projektu výslovné kritérium ukončenia (kill criterion).
Pre agentúry a B2B rozhodovateľov
Kto predáva služby s agentmi, bude predávať výsledky, nie prístup k nástroju. Agentúra, ktorá klientom dodá dvojvrstvový model KPI (predstihové ukazovatele na riadenie, oneskorené hodnotové metriky na odmeňovanie) a ROI počíta konzervatívne s logikou 14 percent namiesto sľubov o 10x, získa dôveru vedenia. Blck Alpaca buduje presne takéto meracie a evaluačné riešenia: od dashboardu výsledkov na strane klienta (success rate, kvalita, konverzia, Time-to-Value) po internú kalkuláciu marže a nákladov na HITL. Ak chceš pre svoju agentúru alebo firmu nastaviť auditovateľný rámec KPI pre projekty s AI agentmi, ozvi sa nám. Metriky definujeme ešte pred nasadením, s východiskovou hodnotou (baseline) a schválením finančného oddelenia.
Otvorí chat s pripraveným promptom.
Často kladené otázky
Ktoré KPI by mala agentúra pri službách s AI agentmi merať ako minimum?
Aký je rozdiel medzi leading a lagging KPI pri AI agentoch?
Ako agentúra seriózne vypočíta ROI z AI agentov?
Aké sú typické vanity metriky, ktorým sa treba vyhnúť?
Prečo je miera HITL taký dôležitý ukazovateľ?
Ísť hlbšie?
Získajte nové analýzy priamo do schránky, alebo sa pozrite, ako tieto poznatky nasadzujeme pre firmy.