Proof of Concept mit Blck Alpaca: Das 14-Tage-Sprint-Modell

Ein AI Agent Proof of Concept ist ein zeitlich befristeter, eng abgegrenzter Test, der für genau einen Use-Case nachweist, ob ein KI-Agent messbaren Mehrwert liefert. Im 14-Tage-Sprint von Blck Alpaca durchläuft ein einzelner Agent sechs Phasen: Use-Case-Auswahl, Scoping, Daten- und Tool-Zugang, Bau, Evaluierung, Übergabe, mit Erfolgskriterien, die vor dem Bau festgelegt werden. Ziel ist eine belastbare Go/No-Go-Entscheidung, kein fertiges Produktivsystem.

Der Sprint richtet sich an Marketing-Agenturen und DACH-B2B-Entscheider, die einen konkreten Prozess testen wollen, bevor sie ein größeres Budget binden. Er ist bewusst als Gegenmodell zur „Pilot-Inflation" angelegt: nicht zehn Experimente parallel, sondern ein sauber gemessener Use-Case.

• Was es ist: Ein auf 14 Arbeitstage angelegter, partner-geführter Test eines einzelnen KI-Agenten mit definierten KPIs und einer ehrlichen Go/No-Go-Empfehlung am Ende.
• Wofür es gut ist: Risiko reduzieren, bevor ein Produktivbudget freigegeben wird, und die vier häufigsten Scheiter-Ursachen (falscher Use-Case, schlechte Daten, fehlendes Erfolgsmaß, kein Change) vorab adressieren.
• Was es nicht ist: Kein Produktivbetrieb, keine Skalierung über mehrere Abteilungen, kein Ersatz für eine vollständige AI-Act- oder DSGVO-Prüfung.

Warum ein PoC, und warum nur ein Use-Case

Die Datenlage 2025/2026 ist eindeutig: Die meisten KI-Vorhaben scheitern nicht an der Technik. Die MIT-NANDA-Studie The GenAI Divide (2025) berichtet, dass rund 95 Prozent der Unternehmen keinen messbaren P&L-Effekt aus ihren integrierten GenAI-Initiativen ziehen, während eine kleine Spitzengruppe (die oberen 5 Prozent) deutliche Wertschöpfung erzielt. Wichtig ist die korrekte Lesart: Das ist nicht die Aussage „95 Prozent der Pilotprojekte scheitern technisch", sondern dass die Mehrheit innerhalb des Beobachtungsfensters keinen messbaren P&L-Effekt nachweist. Der Engpass liegt laut NANDA nicht in der Modellqualität, sondern in fehlendem Lernen, fehlender Integration und fehlender kontextueller Anpassung.

Gartner prognostiziert ergänzend, dass über 40 Prozent der agentischen KI-Projekte bis Ende 2027 abgebrochen werden, getrieben von Kosten, unklarem Geschäftswert und unzureichenden Risikokontrollen (Forecast, Stand Juni 2025). Die ehrliche Synthese für Entscheider: Die meisten Fehlschläge sind Auswahl-, Governance-, Change- oder Erwartungsmanagement-Fehler, keine Engineering-Fehler.

Genau hier setzt der Fokus auf einen Use-Case an. BCGs AI Radar zeigt, dass Leader im Schnitt 3,5 Use-Cases fokussieren und das 2,1-Fache des ROI erwarten, während Nachzügler sich auf 6,1 Use-Cases verteilen. Die Zahl gestarteter Pilotprojekte korreliert nicht mit Wertschöpfung: im Gegenteil. Ein PoC, der einen Prozess messbar prüft, ist mehr wert als fünf, die nur „laufen".

Der 14-Tage-Sprint im Überblick

Der Sprint umfasst 14 Arbeitstage, also knapp drei Kalenderwochen, in drei Abschnitten: Vorbereitung und Zugang (Tag 1–4), Bau (Tag 5–9), Evaluierung und Übergabe (Tag 10–14). Die folgende Tabelle zeigt Tag, Phase, Aktivität und Ergebnis.

Der wichtigste Block ist nicht der Bau, sondern das Scoping. Werden Erfolgskriterien und Datenzugang erst nach dem Bau geklärt, kippt der PoC: das ist das am häufigsten beobachtete Muster.

Erfolgskriterien: vorab, mit Baseline, prüfbar

Der häufigste Fehler in DACH-Boardrooms ist, den Erfolg allein an der Adoption festzumachen. Hohe Lizenzauslastung ohne bewegte P&L-Linie ist kein Erfolg. Der Sprint trennt deshalb zwei Ebenen sauber:

• Adoptionsmetriken (notwendig, nicht hinreichend): aktive Nutzung, Aufgaben pro Nutzer, selbstberichtete Zeitersparnis. Letztere ist mit Vorsicht zu lesen: die METR-Feldstudie (2025) zeigte, dass erfahrene Entwickler eine Beschleunigung von 24 Prozent erwarteten und sich im Nachhinein um 20 Prozent beschleunigt glaubten, real aber 19 Prozent langsamer waren. Lektion: Telemetrie und Ergebnismetriken schlagen Selbstauskunft.
• Ergebnismetriken (die zählen): Zykluszeit-Reduktion, Fehler-/Defektrate, Bearbeitungszeit × Volumen × Kosten, gegebenenfalls CSAT-/NPS-Nicht-Verschlechterung. Diese werden mit Baseline gemessen.

Für die KPI-Struktur orientiert sich der Sprint an einer outcome-orientierten OKR-Logik. Ein PoC kann naturgemäß nur die frühen, schnell messbaren Schritte davon abbilden:

• KR1: belastbare Adoption des Agenten im Testkreis innerhalb des Sprints.
• KR2: messbare Zykluszeit- oder Qualitätsverbesserung gegen Baseline.
• KR3: HITL-Eskalationsrate erfasst und plausibel reduzierbar.
• KR4: Qualität nicht verschlechtert (z. B. CSAT-Non-Degradation).

Die volle Outcome-Validierung durch Finance (Netto-P&L-Beitrag) gehört explizit in die Produktiv-Phase, nicht in 14 Tage.

Was der Kunde beistellt, und was am Ende vorliegt

Ein PoC ist Teamarbeit. Datenqualität und -zugänglichkeit gehören in internationalen Erhebungen zu den meistgenannten Blockern für KI-Adoption. In der Studie „2025 Outlook: Data Integrity Trends and Insights“ von Precisely und dem LeBow College der Drexel University (September 2024, über 565 Befragte weltweit) nennen 62 Prozent der Organisationen fehlende Data-Governance als größte Datenhürde für KI-Initiativen. Deshalb sind die Beistellpflichten verbindlich:

Der Kunde stellt bei:

• Einen benannten Fach-Owner mit Entscheidungsbefugnis und reservierter Zeit.
• Abgegrenzten, möglichst lesenden Zugang zu den relevanten Daten.
• Zugang zu den anzubindenden Systemen (CRM, Wissensbasis, SharePoint, SAP, ServiceNow) über SSO oder kurzlebige Service-Accounts, keine statischen Credentials im Code.
• Eine realistische Testmenge mit erwarteten Ergebnissen für die Evaluierung.

Am Ende des Sprints liegt vor:

• Ein lauffähiger KI-Agent in einer abgesicherten Testumgebung.
• Ein Eval-Report: Pass-Raten gegen die Testmenge, Vergleich zur Baseline, dokumentierte Fehlerfälle und HITL-Bedarf.
• Eine ehrliche Go/No-Go-Empfehlung gegen die vorab definierten Kriterien.
• Ein Scope-Vorschlag für die Produktivsetzung inklusive grober Aufwandsschätzung.

Architekturseitig bleibt der PoC bewusst defensiv: mTLS zwischen Komponenten, SSO/OIDC für Identität und ein deny-by-default-Egress mit Allowlist der Modell-Endpunkte sind die Mindestkontrollen, die auch in späteren Prüfungen tragen. Service-Accounts werden idealerweise pro Agent-Tool-Paar und ohne statische Credentials vergeben.

Verarbeitet der PoC personenbezogene Daten, etwa historische Support-Tickets, gilt die DSGVO schon im Sprint. Dann braucht es eine Rechtsgrundlage und einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO; Pseudonymisierung, wo sie möglich ist, senkt das Risiko. Ist eine Datenschutz-Folgenabschätzung nötig, verlangt Art. 35 Abs. 1 DSGVO sie vorab, also vor Beginn der Verarbeitung und nicht erst in der Produktiv-Phase. Der AI Act gilt nach Art. 2 Abs. 8 nicht für Tests und Entwicklung vor dem Inverkehrbringen oder der Inbetriebnahme, außer bei Tests unter Realbedingungen. Für Bau und Evaluierung an historischen Daten greift diese Ausnahme. Beantwortet der Agent im Sprint schon echte Kundenanfragen oder arbeitet er im Tagesgeschäft echter Nutzer mit, ist sie nicht mehr sicher. Eine erste Einordnung (verbotene Praxis, Hochrisiko, Transparenzpflicht) gehört in jedem Fall in die Use-Case-Auswahl. Ein Use-Case, der im Echtbetrieb verboten wäre, scheidet aus. Ein Hochrisiko-Use-Case passt nicht in dieses 14-Tage-Format, weil er vor dem Echtbetrieb ein Risikomanagementsystem und eine Konformitätsbewertung braucht. Die vollständige Risikoklassifizierung für den Echtbetrieb folgt in der Produktiv-Phase.

Erwartungsmanagement: ein PoC ist kein Produktivsystem

Der 14-Tage-Sprint beweist Machbarkeit und Wert für einen Use-Case: er liefert kein fertiges Produkt. Realistische Time-to-ROI-Spannen ordnen das ein (Stand 2026, DACH-Mittelstand): Tier-1-Kundenservice-Augmentierung erreicht erste messbare Effekte typischerweise in 3–6 Monaten, ein interner Wissens- oder Such-Agent in 6–12 Monaten, dokumentenlastige Back-Office-Prozesse in 9–15 Monaten. Der PoC verkürzt nicht diese Produktiv-Reife, sondern die Zeit bis zur fundierten Entscheidung, ob sich der Weg dorthin lohnt.

Ebenso ehrlich: Die Kostenwahrheit liegt selten beim LLM-Compute (oft 0,10–1,00 Euro pro Konversation). Teuer werden Engineering-Integration, die menschliche Nachprüfung (HITL) bei Eskalationen (häufig 30–60 Prozent der Brutto-Einsparung) und Change-Management. Bei einer produktiven Implementierung kommen Lizenzen fertiger Agent-Plattformen separat hinzu. Der PoC macht genau diese Posten sichtbar, bevor sie budgetiert werden.

Beispiel: PoC „FAQ-Deflection im Kundenservice"

Eine Agentur betreibt für einen Kunden ein Support-Postfach mit rund 4.000 Anfragen pro Monat. Baseline: durchschnittliche Bearbeitungszeit 8 Minuten, voll belastete Kosten ca. 6 Euro pro Vorgang. Erfolgskriterium im Scope: Der Agent soll mindestens 25 Prozent der Standardanfragen korrekt vorbeantworten, ohne dass die CSAT-Bewertung sinkt, bei einer HITL-Eskalationsrate unter 30 Prozent.

Tag 1–4: Use-Case fixiert, KPIs definiert, lesender Zugang zur Wissensbasis und Test-Postfach über SSO eingerichtet. Tag 5–9: Agent mit Retrieval auf der Wissensbasis und MCP-Anbindung an das Ticket-System gebaut. Tag 10–12: Evaluierung an 200 historischen Anfragen mit bekannten Lösungen. Ergebnis im Eval-Report: 31 Prozent korrekt deflektiert, CSAT stabil, Eskalationsrate 22 Prozent. Tag 13–14: Go-Empfehlung plus Produktiv-Scope (Eval-Plattform, HITL-Workflow, Eskalationspfade, Betrieb). Rechnerisch: 31 Prozent × 4.000 × 6 Euro ≈ 7.440 Euro Brutto-Einsparung pro Monat; nach HITL- und Lizenzabzug eine plausible, prüfbare Netto-Basis für die Investitionsentscheidung. Die Zahlen sind illustrativ und werden im realen PoC durch die Messung des Kunden ersetzt.

Hätte der Report nur 9 Prozent Deflection bei sinkender CSAT gezeigt, wäre die Empfehlung No-Go gewesen: Budget umwidmen, kein Zombie-Projekt. Genau diese Sunk-Cost-Disziplin ist selten und überproportional wertvoll.

Für Agenturen und B2B-Entscheider

Wenn du als Marketing-Agentur oder B2B-Unternehmen einen konkreten Prozess im Verdacht hast, der sich für einen KI-Agenten eignet (Service-Deflection, Wissenssuche, Lead-Qualifizierung, Content-Operations), dann ist der 14-Tage-Sprint der direkteste Weg zu einer fundierten Entscheidung. Du bindest kein großes Produktivbudget, bevor Machbarkeit und Wert für genau einen Use-Case belegt sind. Bring einen Use-Case, einen Fach-Owner und Datenzugang mit; du erhältst einen lauffähigen Agenten, einen Eval-Report gegen deine Baseline und eine ehrliche Go/No-Go-Empfehlung. Sprich uns für eine PoC-Anfrage an: konkret, messbar, ohne Hype.