Faktencheck-Agent: Halluzinationen vor Publish entdecken

Ein Faktencheck-Agent ist ein KI-System, das Content vor dem Publish automatisiert verifiziert: Es zerlegt einen Text in einzelne Behauptungen (Claims), gleicht jede gegen vertrauenswürdige Quellen ab und markiert unbelegte, widersprüchliche oder erfundene Aussagen. Ziel ist es, Halluzinationen, falsche Zahlen und Fehlzitate zu entdecken, bevor sie veröffentlicht werden. Er ist die Kontrollinstanz zwischen Entwurf und Freigabe — kein Ersatz für die redaktionelle Endverantwortung.

• Was er tut: vier Schritte — Claim-Extraktion, Quellen-Abgleich (Retrieval/Web), Markieren problematischer Aussagen, Konfidenz-Scoring je Behauptung.
• Warum er nötig ist: Auch bei kontrollierten Aufgaben halluzinieren Sprachmodelle. Beim Zusammenfassen vorgegebener Dokumente reichen die Fehlerquoten je nach Modell von wenigen Prozent bis in den zweistelligen Bereich (Vectara Hallucination Leaderboard, gemessen mit HHEM-2.3 über mehr als 7.700 Dokumente).
• Wo seine Grenze liegt: Der Agent senkt das Risiko, ersetzt aber nicht die menschliche Freigabe. Er prüft nur, was seine Quellen abdecken.

Warum Halluzinationen vor dem Publish ein Geschäftsrisiko sind

Faktische Halluzinationen in Thought-Leadership-Content fallen in der DACH-B2B-Realität auf — und zwar schnell. Engineering-Buyer im industriellen Mittelstand erkennen eine falsche technische Aussage sofort und ziehen Rückschlüsse auf die Sorgfalt des Absenders. Im Finance-Kontext ist eine einzige halluzinierte Zahl in einem Board-Pack katastrophal und beschädigt die Glaubwürdigkeit der verantwortlichen Person über Jahre. Im juristischen Umfeld lösen erfundene Gerichtszitate handfeste Sanktionen aus: Der Fall Mata v. Avianca (USA, 2023) ist der kanonische Präzedenzfall, und vergleichbare Fälle sind inzwischen auch in deutschen Kanzleien aufgetreten.

Die Integration von Live-Websuche hat das Problem nicht gelöst, sondern verlagert. Laut NewsGuard-Audit wiederholten zehn führende KI-Tools im August 2025 in 35 % der Fälle Falschinformationen zu aktuellen Themen — gegenüber 18 % im August 2024. Gleichzeitig fiel die Verweigerungsrate von 31 % auf 0 %. Die Modelle antworten also häufiger und entschiedener, ziehen ihre Belege aber aus einem teils verschmutzten Informationsökosystem. Für automatisierte Content-Pipelines heißt das: Ohne eine eigene Verifikationsstufe gehen Fehler ungebremst bis zur Veröffentlichung durch.

Die vier Schritte eines Faktencheck-Agenten

Ein belastbarer Faktencheck-Agent arbeitet nicht als undurchsichtige Gesamtbewertung („Text wirkt korrekt"), sondern zerlegt die Aufgabe in nachvollziehbare, einzeln überprüfbare Schritte.

1. Claim-Extraktion

Der Agent zerlegt den Text in atomare, überprüfbare Behauptungen. Aus „Das Unternehmen steigerte den Umsatz 2025 um 30 % und eröffnete ein Büro in Wien" werden zwei separate Claims, die getrennt geprüft werden. Reine Meinungsäußerungen, klar gekennzeichnete Prognosen und stilistische Passagen werden als nicht-prüfbar markiert und nicht als Faktenfehler behandelt. Gute Extraktion ist die Grundlage des gesamten Prozesses: Wird ein Claim falsch isoliert, geht entweder Kontext verloren oder es entstehen Scheinfehler.

2. Quellen-Abgleich (Retrieval/Web)

Zu jedem Claim sucht der Agent Belege. Zwei Quellentypen sind üblich: ein interner, kuratierter Korpus über Retrieval (Briefing, Research-Dokumente, Produktdaten, freigegebene Wissensdatenbank) und — falls erlaubt — die offene Websuche für tagesaktuelle oder externe Fakten. Der interne Korpus ist in der Regel verlässlicher, weil er kuratiert ist; die Websuche ist breiter, aber riskanter. Anspruchsvolle Teams arbeiten hier nach demselben Muster, das sich in der DACH-Praxis bereits bewährt hat: Statt einem rohen Modell zu vertrauen, wird gegen einen domänenspezifischen Quellenkorpus per Retrieval geprüft — analog zu Kanzleien, die ihre Modelle gegen deutsche Rechtskorpora RAG-augmentieren, statt sich auf das Modellgedächtnis zu verlassen.

3. Markieren von Behauptungen

Pro Claim entscheidet der Agent, ob die gefundene Quelle die Aussage stützt, widerlegt oder nicht abdeckt (unbelegt). Technisch ist das ein Entailment-Urteil: Folgt der Claim logisch aus dem Beleg? Widersprüchliche und unbelegte Aussagen werden für die Redaktion sichtbar markiert — unbelegt heißt dabei ausdrücklich nicht „falsch", sondern „nicht verifizierbar mit den vorhandenen Quellen" und damit erklärungsbedürftig.

4. Konfidenz-Scoring

Jeder Befund erhält einen Konfidenz-Score, der ausdrückt, wie sicher der Agent in seinem Urteil ist. Ein häufiges, robustes Verfahren ist Self-Consistency: Der Claim wird mehrfach beziehungsweise gegen mehrere Belege geprüft; stimmen die Urteile überein, steigt die Konfidenz, divergieren sie, sinkt sie und der Fall wird zur menschlichen Prüfung eskaliert. Der Score steuert die Priorisierung: Hohe Konfidenz „widerlegt" gehört nach oben in die Reviewer-Queue, niedrige Konfidenz signalisiert, dass der Agent selbst unsicher ist.

Tabelle: Claim-Typ, Prüfmethode, Aktion

Beispiel: eine erkannte Halluzination

Ein automatisch erstellter Blog-Entwurf zu KI-Adoption im Mittelstand enthält den Satz: „Laut Bitkom nutzten 2026 bereits 57 % der deutschen Unternehmen aktiv KI in der Buchhaltung." Der Faktencheck-Agent verarbeitet diesen Satz so:

```
Claim extrahiert: "57 % der deutschen Unternehmen nutzen 2026 aktiv KI in der Buchhaltung (Quelle: Bitkom)"
Claim-Typ: Zahl/Statistik mit Quellenangabe
Retrieval: Treffer im Research-Korpus (Bitkom 2026, n=604)
Belegtext: "41 % der Unternehmen nutzen aktiv KI; Marketing/Kommunikation 57 %,
Controlling/Buchhaltung 17 %"
Entailment: WIDERSPRUCH
Befund: Zahl 57 % gehört zu Marketing/Kommunikation, nicht zur Buchhaltung;
aktiv-Nutzung gesamt liegt bei 41 %, Buchhaltung bei 17 %
Konfidenz: 0,93 (eindeutiger Quellenbeleg, mehrfach bestätigt)
Aktion: BLOCKIEREN — vor Publish korrigieren
```

Hier liegt ein typisches Konfabulationsmuster vor: Die Zahl 57 % ist real, aber der falschen Kategorie zugeordnet — eine plausibel klingende, aber faktisch falsche Verknüpfung, die ein menschlicher Leser ohne die Quelle kaum bemerkt. Der Agent fängt sie, weil er nicht auf Plausibilität, sondern auf den konkreten Beleg prüft. Genau solche Verwechslungen — richtige Zahl, falscher Bezug — sind in KI-generiertem Content häufig und besonders heikel, weil sie sich seriös lesen.

Die Grenze: Risikoreduktion, keine Verantwortungsübergabe

Ein Faktencheck-Agent reduziert Risiko messbar — er ersetzt aber nicht die redaktionelle Verantwortung. Drei strukturelle Gründe begrenzen ihn. Erstens prüft er nur, was seine Quellen abdecken: Eine Aussage, zu der kein Beleg im Korpus existiert, bleibt „unbelegt", nicht „geprüft". Zweitens nutzt der Agent selbst ein Sprachmodell und kann im Entailment-Urteil irren — auch Google AI Overviews lagen laut einer 2026 veröffentlichten Analyse je nach Modellversion noch in rund 9 bis 15 % der Fälle falsch. Drittens, und in DACH besonders relevant: Ein Verifikations-Ergebnis ist nur so gut wie der Quellenpool. Ist dieser verschmutzt oder veraltet, produziert der Agent verifizierte Falschheiten.

Damit verschiebt sich auch die Verantwortung der Quellen-Governance. In regulierten Kontexten müssen die Retrieval-Quellen selbst zulässig sein: DSGVO-konform und für Berufsgeheimnisträger wie Steuerberater oder Anwälte zusätzlich nach Paragraf 203 StGB abgesichert — ein Punkt, der über eine Standard-Auftragsverarbeitung hinausgeht. Die EU-Transparenzpflicht nach Art. 50 AI Act (anwendbar ab 2. August 2026) verlangt zudem die Kennzeichnung KI-generierter Inhalte; ein Faktencheck-Agent ersetzt diese Kennzeichnung nicht, sondern flankiert sie. All das ist informationell und keine Rechtsberatung.

Der belastbare Bezugspunkt für die Wirtschaftlichkeit bleibt konservativ: Die peer-reviewte Studie von Brynjolfsson, Li & Raymond (Science Advances 2024) weist 14 % Produktivitätszuwachs im Schnitt aus, 34 % für unerfahrene Kräfte. Das ist der realistische Boden — nicht die „10×"-Decke aus Anbieter-Slides. Ein Faktencheck-Agent zahlt nicht primär auf Geschwindigkeit ein, sondern auf vermiedenen Schaden: eine nicht veröffentlichte Falschaussage, ein nicht beschädigtes Vertrauen. Mehr zu den Ursachen und zum Sicherheitsrahmen von Halluzinationen behandelt das eigenständige Thema zu Halluzinationen und KI-Sicherheit in diesem Cluster.

Für Agenturen und B2B-Teams

Wer Content automatisiert, braucht eine Verifikationsstufe als festen Pipeline-Schritt — nicht als nachgelagerte Stichprobe. Für Agenturen ist der Faktencheck-Agent ein konkretes Qualitäts- und Haftungsargument gegenüber Kunden: nachvollziehbare Claim-Listen, dokumentierte Quellen und ein klarer Eskalationspfad für unbelegte Aussagen. Für B2B-Teams empfiehlt sich der Einstieg dort, wo der Schaden am größten ist: Zahlen-, Zitat- und Compliance-Claims zuerst, mit menschlicher Pflicht-Freigabe für alles, was rechtlich bindet. Blck Alpaca konzipiert solche Verifikations-Workflows für DACH-Content-Pipelines — von der Quellen-Governance über die Agenten-Architektur bis zur Einbindung in den bestehenden Redaktionsprozess, ohne die menschliche Freigabe-Verantwortung zu verwässern.