KPI agencji dla agentów AI: jak mierzyć wartość i marżę

KPI agencji dla agentów AI to wskaźniki, za pomocą których agencja wykazuje wartość i opłacalność swoich usług opartych na agentach. Po stronie klienta to output, jakość, konwersja i time-to-value, a wewnętrznie wykorzystanie zasobów, marża, koszty tokenów oraz odsetek błędów i eskalacji HITL. Kluczowe jest oddzielenie szybko rosnących liczb dotyczących adopcji od nielicznych audytowalnych metryk wartości, które CFO może zweryfikować.

• Mierz efekty po stronie klienta, nie tylko użycie: wskaźnik sukcesu, jakość, konwersja/redukcja kosztów i time-to-value dowodzą wartości u klienta. Samo wykorzystanie licencji tego nie dowodzi.
• Wewnętrznie patrz na marżę: koszty tokenów na zadanie, wykorzystanie zasobów, a przede wszystkim odsetek eskalacji HITL decydują o tym, czy projekt z agentami jest rentowny.
• Licz ostrożnie: wiarygodną wartością referencyjną jest wzrost produktywności o około 14%, a nie często obiecywany wzrost dziesięciokrotny.

Dlaczego większość dashboardów agencji świętuje niewłaściwą liczbę

Najczęstszy błąd w KPI w projektach w 2026 roku to ocenianie sukcesu wyłącznie po adopcji. Program z pełnym wykorzystaniem licencji, który nigdy nie poruszył żadnej pozycji w rachunku zysków i strat (P&L), jest programem bez efektu. Liczba uruchomionych projektów pilotażowych, zidentyfikowanych przypadków użycia czy wdrożonych narzędzi AI sama w sobie nie dowodzi tworzenia wartości. BCG w raporcie AI Radar daje najmocniejszy dowód: liderzy AI koncentrują się średnio na 3,5 przypadku użycia, pozostałe firmy rozpraszają się na 6,1, a liderzy oczekują 2,1 razy wyższego ROI. Ci, którzy są na czele, stawiają więc na koncentrację zamiast rozproszenia. Do tego około 60% badanych firm w ogóle nie definiuje ani nie monitoruje żadnego finansowego KPI dla wartości swojej AI.

Dlatego w raportowaniu agencja musi wyraźnie oddzielić dwie warstwy: metryki adopcji (konieczne, ale niewystarczające) i metryki rezultatu (te, które naprawdę się liczą).

KPI po stronie klienta: output, jakość, konwersja, time-to-value

U klienta liczy się to, co agent faktycznie zmienia w procesie. Wiodące są cztery wymiary:

• Output / wskaźnik sukcesu (success rate): odsetek zadań, które agent poprawnie doprowadza do stanu końcowego. To najważniejsza pojedyncza liczba nagłówkowa. Uzupełniająco task completion (czy agent w ogóle osiąga stan terminalny?), aby odróżnić „porzucone” od „błędnie odpowiedziane”.
• Jakość: faithfulness lub odsetek halucynacji (udział twierdzeń potwierdzonych przez pobrany kontekst lub wiedzę ogólną) oraz (zwłaszcza w prawie, medycynie i finansach) dokładność cytowań na poziomie twierdzeń. Należy do tego również spójność przy powtarzanych uruchomieniach: agent, który rozwiązuje 90% przypadków, ale w nieprzewidywalny sposób zawodzi w 10%, jest często gorszy od takiego z wynikiem 80%, który zawodzi przewidywalnie i w sposób możliwy do naprawienia.
• Konwersja / efekt: zależnie od procesu wskaźnik konwersji leadów na oferty, wskaźnik deflekcji w obsłudze klienta, CSAT/NPS, skrócenie czasu cyklu (case-to-close), odsetek defektów lub błędów.
• Time-to-value: jak szybko pojawia się pierwszy mierzalny ROI? Realistyczne oczekiwania w regionie DACH (Niemcy, Austria, Szwajcaria) to od 3 do 6 miesięcy przy wsparciu 1. linii obsługi klienta, od 6 do 9 przy copilotach sprzedażowo-marketingowych osadzonych w CRM, od 6 do 12 przy wewnętrznych agentach wiedzy/wyszukiwania i od 9 do 15 miesięcy przy procesach back office z dużą liczbą dokumentów. Obiecywanie trzech miesięcy dla wszystkich przypadków użycia jest nierzetelne.

KPI wewnętrzne: wykorzystanie zasobów, marża, koszty tokenów, odsetek błędów/HITL

Druga rodzina KPI chroni opłacalność samej agencji:

• Wykorzystanie deficytowych ról, przede wszystkim AI Product Managerów, którzy odpowiadają za przypadki użycia i rezultaty.
• Marża projektu jako wskaźnik opóźniony, zweryfikowany przez dział finansów.
• Koszty tokenów/inferencji na zadanie: tokeny wejściowe, tokeny wyjściowe i (od 2025 roku kluczowe) tokeny rozumowania, które w modelach rozumujących mogą dominować w kosztach. Jednostki raportowania: euro na zadanie i euro na 1000 zadań, do tego latencja P50/P95/P99.
• Odsetek błędów i HITL: odsetek eskalacji human-in-the-loop to bezpośrednia dźwignia marży. Każda eskalacja angażuje czas weryfikacji, który często pochłania z powrotem od 30 do 60% oszczędności brutto z deflekcji. To największa ukryta pozycja kosztowa w agentach obsługi klienta i agentach dokumentowych. Ważne dla interpretacji: wysoki odsetek eskalacji nie jest automatycznie zły; dobrze skalibrowana eskalacja w procesach wysokiego ryzyka to funkcja. Liczy się trend spadkowy przy stabilnej jakości.

Wskaźniki wyprzedzające a opóźnione i zasada wynagradzania

Wskaźniki wyprzedzające zmieniają się szybko i można nimi sterować; wskaźniki opóźnione pokazują wynik biznesowy później, ale wiarygodnie.

Tę dyscyplinę trzeba wyrazić wprost: raportuj jedno i drugie, ale wynagradzaj za wskaźniki opóźnione. Powód: adopcja może rosnąć, choć żadna pozycja w P&L się nie zmienia. Kto nagradza zespoły za adopcję, dostaje wysoką adopcję, ale żadnej udowodnionej wartości. Kto nagradza za rezultaty, steruje na podstawie liczb, które dział finansów może sprawdzić.

Ostrożne liczenie ROI: 14% wzrostu produktywności, a nie 10x

Najbardziej wiarygodna udokumentowana wartość produktywności dla AI w firmach pochodzi z badania Brynjolfssona, Li i Raymonda (NBER WP 31161, 2023; QJE 2025): średnio o 14% więcej rozwiązanych zgłoszeń na godzinę w obsłudze klienta, o 34% więcej u początkujących i nisko wykwalifikowanych pracowników, a u doświadczonych profesjonalistów prawie brak efektu. To górna granica tego, co wiarygodne w obsłudze klienta, i zarazem strategiczna wskazówka: AI przesuwa wartość w dół krzywej umiejętności.

Do każdej kalkulacji agencji należą dwie korekty:

• Klasyczne hasło GitHub Copilot „55% szybciej” dotyczy tylko wąsko zdefiniowanych, odizolowanych zadań programistycznych, a nie dostarczania end-to-end. Tam Bain (Technology Report 2025) odnotowuje typowo od 10 do 15%, często bez przełożenia na pracę o wyższej wartości, bo wąskie gardła w code review, testach i wdrożeniach pozostają na dalszych etapach.
• Deklaracje użytkowników są niewiarygodne. W eksperymencie terenowym METR (arXiv 2507.09089, 2025) 16 doświadczonych programistów open source pracowało z AI o 19% wolniej, choć wcześniej prognozowali przyspieszenie o 24%, a potem wierzyli, że przyspieszyli o 20%; eksperci od ML i ekonomii przewidywali nawet przyspieszenie o 38–39%. Tłumaczenie dla zarządu: sterować na podstawie telemetrii i metryk rezultatu, a nie samooceny.

Z tego wynika czysta formuła bottom-up, którą CFO może sprawdzić:

• Oszczędność brutto = oszczędność czasu w % × roczny wolumen × pełny koszt jednej operacji
• Korzyść netto = oszczędność brutto − licencja/platforma − koszty inferencji/tokenów − wdrożenie/integracja − obserwowalność/ewaluacje − weryfikacja HITL (od 30 do 60% oszczędności brutto)
• ROI = korzyść netto ÷ suma odjętych kosztów

Trzeba uczciwie podejść do problemu „ROI nie da się zmierzyć”: jeśli koszty LLM są małe w porównaniu z całkowitym OpEx, zysk widać jako szybszą pracę, a nie jako mierzalne obniżenie kosztów na poziomie pozycji budżetowej. Przy szerokich, horyzontalnych copilotach ROI często jest niewykrywalny w ujęciu pozycji. To nie jest porażka, jeśli zakład świadomie zadeklarowano jako inwestycję w budowanie kompetencji.

Przykładowy dashboard: agent 1. linii obsługi klienta w firmie z sektora MŚP

Założenia: 120 000 zgłoszeń serwisowych rocznie, pełny koszt 6 € na zgłoszenie, deflekcja 40%, koszt inferencji na rozmowę 0,30 € (przedział według badań: 0,10–1,00 €).

Dashboard pokazuje dwie rzeczy: pozornie droga pozycja (koszty tokenów) nie jest głównym czynnikiem kosztowym, są nim HITL i utrzymanie. A odsetek HITL to dźwignia, od której zależy wartość netto w kolejnych kwartałach.

Format OKR, który CFO może sprawdzić

Cel: zbudować solidne kompetencje agentowe w kluczowej funkcji przychodowej.

• KR1: co najmniej 70% aktywnej tygodniowej adopcji agenta w danej funkcji w ciągu 9 miesięcy.
• KR2: skrócenie mediany czasu cyklu procesu docelowego o co najmniej 25% względem wartości bazowej w ciągu 12 miesięcy.
• KR3: NPS/CSAT bez pogorszenia (lub +5%) w całym okresie.
• KR4: odsetek eskalacji HITL <20% w ciągu 12 miesięcy z mierzalnym trendem spadkowym.
• KR5: wkład netto w P&L zweryfikowany przez dział finansów w ciągu 18 miesięcy.

Ten format wymusza audytowalne rezultaty i dyscyplinę zamykania projektów. Twarde progi są cenniejsze niż miękkie zasady nadzoru: po 6 miesiącach bez jasnej ścieżki do ROI (adopcja stoi w miejscu poniżej 30%, brak mierzalnej poprawy) i po 12 miesiącach bez ilościowego sygnału ROI projekt należy zakończyć, odzyskać budżet i nie utrzymywać zombie. Każdy program agentowy potrzebuje wyraźnego kryterium zakończenia w dokumencie założycielskim.

Dla agencji i decydentów B2B

Kto sprzedaje usługi oparte na agentach, będzie odtąd sprzedawał rezultaty, a nie dostęp do narzędzi. Agencja, która dostarcza klientom dwuwarstwowy model KPI (wskaźniki wyprzedzające do sterowania, opóźnione metryki wartości do wynagradzania) i liczy ROI ostrożnie, według logiki 14% zamiast obietnic 10x, zdobywa zaufanie zarządu. Blck Alpaca buduje właśnie takie systemy pomiaru i ewaluacji: od dashboardu rezultatów po stronie klienta (wskaźnik sukcesu, jakość, konwersja, time-to-value) po wewnętrzny rachunek marży i kosztów HITL. Jeśli chcesz zbudować audytowalny system KPI dla projektów z agentami AI w swojej agencji lub firmie, porozmawiaj z nami. Definiujemy metryki przed wdrożeniem, z wartością bazową i akceptacją działu finansów.