Faktencheck-Agent: Halluzinationen vor Publish entdecken

Ein Faktencheck-Agent ist ein KI-System, das Content vor dem Publish automatisiert verifiziert: Es zerlegt einen Text in einzelne Behauptungen (Claims), gleicht jede gegen vertrauenswürdige Quellen ab und markiert unbelegte, widersprüchliche oder erfundene Aussagen. Ziel ist es, Halluzinationen, falsche Zahlen und Fehlzitate zu entdecken, bevor sie veröffentlicht werden. Er ist die Kontrollinstanz zwischen Entwurf und Freigabe, jedoch kein Ersatz für die redaktionelle Endverantwortung.

• Was er tut: vier Schritte: Claim-Extraktion, Quellen-Abgleich (Retrieval/Web), Markieren problematischer Aussagen, Konfidenz-Scoring je Behauptung.
• Warum er nötig ist: Auch bei kontrollierten Aufgaben halluzinieren Sprachmodelle. Beim Zusammenfassen vorgegebener Dokumente reichen die Fehlerquoten je nach Modell von wenigen Prozent bis in den zweistelligen Bereich (Vectara Hallucination Leaderboard, gemessen mit HHEM-2.3 über mehr als 7.700 Dokumente).
• Wo seine Grenze liegt: Der Agent senkt das Risiko, ersetzt aber nicht die menschliche Freigabe. Er prüft nur, was seine Quellen abdecken.

Warum Halluzinationen vor dem Publish ein Geschäftsrisiko sind

Faktische Halluzinationen in Thought-Leadership-Content fallen in der DACH-B2B-Realität auf, und zwar schnell. Engineering-Buyer im industriellen Mittelstand erkennen eine falsche technische Aussage sofort und ziehen Rückschlüsse auf die Sorgfalt des Absenders. Im Finance-Kontext ist eine einzige halluzinierte Zahl in einem Board-Pack katastrophal und beschädigt die Glaubwürdigkeit der verantwortlichen Person über Jahre. Im juristischen Umfeld lösen erfundene Gerichtszitate handfeste Sanktionen aus: Der Fall Mata v. Avianca (USA, 2023) ist der kanonische Präzedenzfall, und vergleichbare Fälle sind inzwischen auch in deutschen Kanzleien aufgetreten.

Die Integration von Live-Websuche hat das Problem nur verlagert. Laut NewsGuard-Audit wiederholten zehn führende KI-Tools im August 2025 in 35 % der Fälle Falschinformationen zu aktuellen Themen, gegenüber 18 % im August 2024. Gleichzeitig fiel die Verweigerungsrate von 31 % auf 0 %. Die Modelle antworten also häufiger und entschiedener, ziehen ihre Belege aber aus einem teils verschmutzten Informationsökosystem. Für automatisierte Content-Pipelines heißt das: Ohne eine eigene Verifikationsstufe gehen Fehler ungebremst bis zur Veröffentlichung durch.

Die vier Schritte eines Faktencheck-Agenten

Ein belastbarer Faktencheck-Agent arbeitet nicht als undurchsichtige Gesamtbewertung („Text wirkt korrekt"), sondern zerlegt die Aufgabe in nachvollziehbare, einzeln überprüfbare Schritte.

1. Claim-Extraktion

Der Agent zerlegt den Text in atomare, überprüfbare Behauptungen. Aus „Das Unternehmen steigerte den Umsatz 2025 um 30 % und eröffnete ein Büro in Wien" werden zwei separate Claims, die getrennt geprüft werden. Reine Meinungsäußerungen, klar gekennzeichnete Prognosen und stilistische Passagen werden als nicht-prüfbar markiert und nicht als Faktenfehler behandelt. Gute Extraktion ist die Grundlage des gesamten Prozesses: Wird ein Claim falsch isoliert, geht entweder Kontext verloren oder es entstehen Scheinfehler.

2. Quellen-Abgleich (Retrieval/Web)

Zu jedem Claim sucht der Agent Belege. Zwei Quellentypen sind üblich: ein interner, kuratierter Korpus über Retrieval (Briefing, Research-Dokumente, Produktdaten, freigegebene Wissensdatenbank) und, falls erlaubt, die offene Websuche für tagesaktuelle oder externe Fakten. Der interne Korpus ist in der Regel verlässlicher, weil er kuratiert ist; die Websuche ist breiter, aber riskanter. Anspruchsvolle Teams arbeiten hier nach demselben Muster, das sich in der DACH-Praxis bereits bewährt hat: Statt einem rohen Modell zu vertrauen, wird gegen einen domänenspezifischen Quellenkorpus per Retrieval geprüft, analog zu Kanzleien, die ihre Modelle gegen deutsche Rechtskorpora RAG-augmentieren, statt sich auf das Modellgedächtnis zu verlassen.

3. Markieren von Behauptungen

Pro Claim entscheidet der Agent, ob die gefundene Quelle die Aussage stützt, widerlegt oder nicht abdeckt (unbelegt). Technisch ist das ein Entailment-Urteil: Folgt der Claim logisch aus dem Beleg? Widersprüchliche und unbelegte Aussagen werden für die Redaktion sichtbar markiert, wobei unbelegt ausdrücklich nicht „falsch" heißt, sondern „nicht verifizierbar mit den vorhandenen Quellen" und damit erklärungsbedürftig.

4. Konfidenz-Scoring

Jeder Befund erhält einen Konfidenz-Score, der ausdrückt, wie sicher der Agent in seinem Urteil ist. Ein häufiges, robustes Verfahren ist Self-Consistency: Der Claim wird mehrfach beziehungsweise gegen mehrere Belege geprüft; stimmen die Urteile überein, steigt die Konfidenz, divergieren sie, sinkt sie und der Fall wird zur menschlichen Prüfung eskaliert. Der Score steuert die Priorisierung: Hohe Konfidenz „widerlegt" gehört nach oben in die Reviewer-Queue, niedrige Konfidenz signalisiert, dass der Agent selbst unsicher ist.

Tabelle: Claim-Typ, Prüfmethode, Aktion

Beispiel: eine erkannte Halluzination

Fiktives Beispiel mit Platzhalterwerten: Ein automatisch erstellter Blog-Entwurf zu KI-Adoption im Mittelstand enthält den Satz: „Laut Branchenstudie X nutzten 2026 bereits 57 % der deutschen Unternehmen aktiv KI in der Buchhaltung." Der Faktencheck-Agent verarbeitet diesen Satz so:

```
Claim extrahiert: "57 % der deutschen Unternehmen nutzen 2026 aktiv KI in der Buchhaltung (Quelle: Branchenstudie X)"
Claim-Typ: Zahl/Statistik mit Quellenangabe
Retrieval: Treffer im Research-Korpus (Branchenstudie X, 2026)
Belegtext: "41 % der Unternehmen nutzen aktiv KI; Marketing/Kommunikation 57 %,
Controlling/Buchhaltung 17 %"
Entailment: WIDERSPRUCH
Befund: Zahl 57 % gehört zu Marketing/Kommunikation, nicht zur Buchhaltung;
aktiv-Nutzung gesamt liegt bei 41 %, Buchhaltung bei 17 %
Konfidenz: 0,93 (eindeutiger Quellenbeleg, mehrfach bestätigt)
Aktion: BLOCKIEREN, vor Publish korrigieren
```

Hier liegt ein typisches Konfabulationsmuster vor: Die Zahl 57 % steht tatsächlich in der Quelle, ist aber der falschen Kategorie zugeordnet, eine plausibel klingende, aber faktisch falsche Verknüpfung, die ein menschlicher Leser ohne die Quelle kaum bemerkt. Der Agent fängt sie, weil er nicht auf Plausibilität, sondern auf den konkreten Beleg prüft. Genau solche Verwechslungen, richtige Zahl mit falschem Bezug, sind in KI-generiertem Content häufig und besonders heikel, weil sie sich seriös lesen.

Die Grenze: Risikoreduktion, keine Verantwortungsübergabe

Ein Faktencheck-Agent reduziert Risiko messbar, ersetzt aber nicht die redaktionelle Verantwortung. Drei strukturelle Gründe begrenzen ihn. Erstens prüft er nur, was seine Quellen abdecken: Eine Aussage, zu der kein Beleg im Korpus existiert, bleibt „unbelegt", nicht „geprüft". Zweitens nutzt der Agent selbst ein Sprachmodell und kann im Entailment-Urteil irren, denn auch Google AI Overviews lagen laut einer 2026 veröffentlichten Analyse je nach Modellversion noch in rund 9 bis 15 % der Fälle falsch. Drittens, und in DACH besonders relevant: Ein Verifikations-Ergebnis ist nur so gut wie der Quellenpool. Ist dieser verschmutzt oder veraltet, produziert der Agent verifizierte Falschheiten.

Damit verschiebt sich auch die Verantwortung der Quellen-Governance. In regulierten Kontexten müssen die Retrieval-Quellen selbst zulässig sein: DSGVO-konform und für Berufsgeheimnisträger wie Steuerberater oder Anwälte zusätzlich mit deren Verschwiegenheitspflicht vereinbar. Maßgeblich sind in Deutschland § 203 StGB, in Österreich das Berufsrecht, etwa § 9 RAO für Anwälte und § 80 WTBG 2017 für Steuerberater, und in der Schweiz Art. 321 StGB, etwa für Anwälte. Das geht über eine Standard-Auftragsverarbeitung hinaus. Die EU-Transparenzpflichten nach Art. 50 AI Act gelten seit 2. August 2026. Anbieter generativer KI-Systeme müssen die Ausgaben maschinenlesbar markieren; für Systeme, die schon vor dem 2. August 2026 in Verkehr gebracht wurden, gilt dafür eine Übergangsfrist bis 2. Dezember 2026 (Art. 111 Abs. 4 AI Act). Betreiber müssen Deepfakes offenlegen, ebenso KI-Texte, die veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren. Für solche Texte entfällt die Offenlegung, wenn sie menschlich geprüft oder redaktionell kontrolliert wurden und eine Person die redaktionelle Verantwortung für die Veröffentlichung trägt (Art. 50 Abs. 4 AI Act). Ein Faktencheck-Agent mit menschlicher Freigabe kann Teil dieser redaktionellen Kontrolle sein, ersetzt sie aber nicht. All das ist informationell und keine Rechtsberatung.

Der belastbare Bezugspunkt für die Wirtschaftlichkeit bleibt konservativ: Die peer-reviewte Studie von Brynjolfsson, Li & Raymond (The Quarterly Journal of Economics 2025) misst im Kundenservice mit KI-Assistenz im Schnitt 15 % mehr gelöste Anfragen pro Stunde, bei weniger erfahrenen und geringer qualifizierten Kräften rund 30 %. Das ist der realistische Boden, nicht die „10×"-Decke aus Anbieter-Slides. Ein Faktencheck-Agent zahlt nicht primär auf Geschwindigkeit ein, sondern auf vermiedenen Schaden: eine nicht veröffentlichte Falschaussage, ein nicht beschädigtes Vertrauen. Als Sicherheitsrisiko führt OWASP Halluzinationen unter LLM09 Misinformation, mehr dazu im Artikel OWASP LLM Top 10 (2025) erklärt.

Für Agenturen und B2B-Teams

Wer Content automatisiert, braucht eine Verifikationsstufe als festen Pipeline-Schritt, nicht als nachgelagerte Stichprobe. Für Agenturen ist der Faktencheck-Agent ein konkretes Qualitäts- und Haftungsargument gegenüber Kunden: nachvollziehbare Claim-Listen, dokumentierte Quellen und ein klarer Eskalationspfad für unbelegte Aussagen. Für B2B-Teams empfiehlt sich der Einstieg dort, wo der Schaden am größten ist: Zahlen-, Zitat- und Compliance-Claims zuerst, mit menschlicher Pflicht-Freigabe für alles, was rechtlich bindet. Blck Alpaca konzipiert solche Verifikations-Workflows für DACH-Content-Pipelines: von der Quellen-Governance über die Agenten-Architektur bis zur Einbindung in den bestehenden Redaktionsprozess, ohne die menschliche Freigabe-Verantwortung zu verwässern.