Crawl Analyse mit Screaming Frog

Warum Crawl-Analyse die Basis jedes technischen SEO-Audits ist

Jede Suchmaschine beginnt mit dem Crawlen. Bevor Google eine Seite ranken kann, muss der Googlebot sie erreichen, abrufen und verarbeiten. Genau hier setzt eine Crawl-Analyse mit Screaming Frog an: Sie zeigt eine Website aus der Perspektive eines Crawlers, nicht aus der Perspektive eines Besuchers. Probleme, die im Browser unsichtbar bleiben, werden sichtbar: ein 404er hinter einem internen Link, eine Redirect-Chain über vier Stationen, ein canonical-Tag, das auf die falsche URL zeigt.

Für B2B-Unternehmen hat das direkte wirtschaftliche Relevanz. In Österreich liegt der Google-Marktanteil bei 81,87 Prozent (Stand Mai 2026). Wer auf Google nicht sauber gecrawlt und indexiert wird, verliert den mit Abstand wichtigsten organischen Kanal. Und mit jeder neuen Seite wächst die Zahl potenzieller technischer Fehler, die ohne systematischen Crawl unentdeckt bleiben.

Eine Crawl-Analyse ist damit kein einmaliges Audit, sondern ein wiederkehrender Kontrollmechanismus. Sie übersetzt einen oft diffusen Verdacht ("der organische Traffic stagniert") in konkrete, priorisierbare technische Befunde.

Funktionsweise und Konfiguration: Grundlagen von Screaming Frog

Screaming Frog läuft als Desktop-Anwendung auf dem eigenen Rechner. Das unterscheidet das Tool von cloudbasierten Auditing-Lösungen und gibt volle Kontrolle über Konfiguration und Datenhaltung. Zwei Lizenzmodelle stehen zur Verfügung:

Free vs. Paid: Die kostenlose Version crawlt bis zu 500 URLs pro Crawl und reicht für kleine Sites und schnelle Stichproben. Die kostenpflichtige Lizenz hebt das Limit auf, schaltet Scheduling, Custom-Extraktion, API-Anbindungen und JavaScript-Rendering frei. Für ernsthafte technische Audits im B2B-Umfeld ist die Lizenz Standard.

Spider- vs. List-Mode: Im Spider-Mode startet der Crawler bei einer Start-URL und folgt internen Links wie eine Suchmaschine. Im List-Mode crawlt er nur eine vorgegebene URL-Liste, etwa aus einer XML-Sitemap oder einem GSC-Export. Der List-Mode eignet sich für gezielte Prüfungen einzelner Seitencluster.

Memory- vs. Datenbank-Speichermodus: Standardmäßig startet Screaming Frog im Datenbank-Speichermodus und legt Crawl-Daten auf dem Datenträger ab. Mit SSD ist dieser Modus fast so schnell wie der Arbeitsspeicher, skaliert deutlich höher und speichert Crawls automatisch. Crawl-Vergleiche gibt es nur in diesem Modus. Der Memory-Modus (RAM) eignet sich laut Hersteller für Sites unter 500.000 URLs und für Rechner ohne SSD. Ab etwa 500.000 URLs gehört der Crawl deshalb in der Regel in den Datenbankmodus. Google richtet seinen Crawl-Budget-Leitfaden vor allem an Sites ab 10.000 Unique Pages mit täglich wechselndem Content und an Sites ab 1 Million Unique Pages mit wöchentlich wechselndem Content. Die Zahlen sind laut Google grobe Richtwerte. Für Sites dieser Größe lohnt sich ein eigener Blick auf das Crawl-Budget.

Crawl-Setup für eine korrekte Erfassung

Ein Crawl ist nur so aussagekräftig wie seine Konfiguration. Vor dem Start sind einige Entscheidungen zu treffen, die das Ergebnis stark beeinflussen.

User-Agent: Screaming Frog kann sich als eigener Crawler, als Googlebot (Smartphone oder Desktop) oder als individueller User-Agent ausgeben. Den Crawl als Googlebot-Smartphone durchzuführen, deckt mobile-spezifische Auslieferungen und Cloaking auf.

robots.txt-Respekt: Standardmäßig respektiert das Tool die robots.txt. Für ein vollständiges Audit ist es oft sinnvoll, sie zu ignorieren, um auch gesperrte Bereiche zu sehen, oder eine Custom-robots.txt zu testen, bevor sie live geht. Prüfe dabei auch, mit welchem Statuscode die robots.txt selbst antwortet. Laut Web Almanac 2024 lieferten 14,1 Prozent der mobilen und 14,3 Prozent der Desktop-Abrufe einen 404 für die robots.txt. Google wertet einen 4xx-Status (außer 429) als fehlende Datei und crawlt dann ohne Einschränkungen. Kritisch wird es bei 5xx-Antworten: Dann stoppt Google das Crawling der Site zunächst für zwölf Stunden und nutzt danach bis zu 30 Tage die letzte fehlerfrei abgerufene Version.

JavaScript-Rendering: Viele moderne B2B-Sites rendern Inhalte clientseitig. Im Standard-Crawl sieht Screaming Frog nur das initiale HTML. Erst der JavaScript-Rendering-Modus (headless Chrome) führt das JavaScript aus und erfasst, was ein nutzendes Endgerät tatsächlich sieht. Dieser Modus ist langsamer und ressourcenintensiver, aber für Single-Page-Applications und JS-Frameworks unverzichtbar. Eine Gegenüberstellung von gerendertem und nicht-gerendertem Crawl zeigt, welche Inhalte und Links erst clientseitig entstehen, ein häufig unterschätztes Indexierungsrisiko.

Best Practices: Von Status-Codes bis zur internen Verlinkung

Ein strukturierter Crawl-Workflow arbeitet sich von der technischen Erreichbarkeit zur inhaltlichen Qualität vor.

Status-Code- und Broken-Link-Analyse: Im Reiter "Response Codes" zeigt das Tool alle 404er, 5xx-Serverfehler, Redirect-Chains und Redirect-Loops. Priorisiert wird nach Verlinkungsstärke: Ein 404er, auf den hundert interne Links zeigen, ist dringender als ein verwaister Fehler. Redirect-Chains über mehrere Stationen verschwenden Crawl-Budget und verwässern Link-Signale und sollten auf einen direkten 301-Redirect verkürzt werden.

Indexierbarkeit und Crawl-Steuerung: Die Spalte "Indexability" fasst zusammen, ob eine URL indexierbar ist und warum nicht. Häufige Befunde sind noindex-Direktiven auf wichtigen Seiten, canonical-Mismatches und widersprüchliche robots-Direktiven. Laut Web Almanac 2024 setzen 69 Prozent der Desktop-Seiten und 65 Prozent der Mobile-Seiten canonical-Tags ein, doch 0,8 Prozent weisen widersprüchliche canonical-Werte auf, was Google als undefiniertes Verhalten wertet. Screaming Frog deckt genau diese Mismatches systematisch auf.

On-Page-Audit: Der Crawl erfasst Title-Längen, Meta-Description-Längen, fehlende oder doppelte H1, Thin Content und fehlende Alt-Texte. Meta Descriptions sind ein klassischer Lückenbefund: Laut Web Almanac 2024 hatten nur 66,7 Prozent der Desktop-Seiten und 66,4 Prozent der Mobile-Seiten eine Meta Description. Eine Ahrefs-Analyse von über einer Million Domains kam sogar zu dem Ergebnis, dass Meta Descriptions auf 72,9 Prozent der untersuchten Sites fehlten. Wichtig zur Einordnung: Ahrefs betont, dass fehlende Meta Descriptions kein direktes Ranking-Problem darstellen, da Google sie automatisch generiert. Die Priorisierung solcher Befunde gehört zur fachlichen Bewertung dazu.

Interne Verlinkung und Seitenarchitektur: Über Crawl-Tiefe (Crawl Depth) zeigt das Tool, wie viele Klicks eine Seite von der Startseite entfernt liegt. Wichtige Seiten sollten flach erreichbar sein. Orphan Pages, also Seiten ohne internen Inlink, werden durch Abgleich von Crawl und Sitemap oder GSC-Daten sichtbar. Die Inlink-Verteilung verrät, welche URLs intern Link-Equity erhalten und welche unterversorgt sind.

Datenanreicherung und KI-Sichtbarkeit

Ein reiner Crawl liefert technische Befunde ohne Traffic-Kontext. Erst die API-Integration macht ihn priorisierbar.

API-Integration: Screaming Frog bindet die Google Search Console, GA4 und die PageSpeed-Insights-API direkt an. Über Ahrefs, Majestic oder Moz lassen sich Linkmetriken wie Backlinks und verweisende Domains ergänzen. So entsteht ein traffic-gewichteter Crawl: Ein technischer Fehler auf einer Seite mit hohem organischen Traffic wird sichtbar höher priorisiert als derselbe Fehler auf einer Seite ohne Klicks.

Structured Data: Im Crawl validiert das Tool Schema.org-Markup und meldet fehlende oder fehlerhafte structured data. Korrekte Auszeichnung ist Voraussetzung für Rich Results und zunehmend für die Verarbeitung durch KI-Systeme.

KI-Crawler-Steuerung: Die robots.txt regelt heute klassische Suchmaschinen und KI-Crawler wie GPTBot. Screaming Frog kann prüfen, welche Direktiven für diese User-Agents gelten. Wer in KI-Antworten zitiert werden möchte (AI Answer Inclusion), muss bewusst entscheiden, welche KI-Crawler Zugriff erhalten. Das taten 2024 wenige: Laut Web Almanac 2024 nannten nur 2,6 Prozent (Mobile) bzw. 2,9 Prozent (Desktop) der robots.txt-Dateien GPTBot ausdrücklich. Kein anderer KI-Crawler wurde häufiger genannt.

Häufige Fehler bei der Crawl-Analyse

Crawl ohne JavaScript-Rendering bei JS-Sites: Wer eine clientseitig gerenderte Site ohne Rendering-Modus crawlt, übersieht fehlende Inhalte und Links und zieht falsche Schlüsse.

Befunde ohne Priorisierung: Ein Crawl-Export mit Tausenden Zeilen ist kein Maßnahmenplan. Ohne Traffic-Gewichtung über GSC oder Analytics werden Ressourcen auf irrelevante Befunde verschwendet.

robots.txt-Konfiguration ignorieren: Ein Crawl, der die robots.txt blind respektiert, übersieht gesperrte Bereiche. Ein Crawl, der sie ignoriert, ohne das zu dokumentieren, erzeugt Befunde, die in der Realität gar nicht crawlbar sind.

Speichermodus falsch gewählt: Große Sites im RAM-Modus zu crawlen, führt zu Abbrüchen. Im Datenbankmodus auf einer klassischen Festplatte (HDD) wird der Datenträger zum Engpass.

Einmal-Crawl statt Monitoring: Ein einzelner Crawl ist eine Momentaufnahme. Technische Probleme entstehen kontinuierlich durch Deployments, Content-Änderungen und Migrationen.

Metriken, Messung und Reporting

Der Wert einer Crawl-Analyse entsteht erst, wenn Befunde in messbare KPIs übersetzt werden.

Crawl-Vergleiche über Zeit: Die kostenpflichtige Version erlaubt es im Datenbank-Speichermodus, Crawls zu vergleichen. So wird sichtbar, ob die Zahl der 404er sinkt, ob Redirect-Chains abgebaut wurden und ob neue Indexierungsprobleme aufgetreten sind.

Scheduling und Automatisierung: Geplante Crawls (etwa wöchentlich) liefern ein kontinuierliches technisches Monitoring, dessen Ergebnisse exportiert und in Reports überführt werden.

Übersetzung in SEO-KPIs: Technische Befunde verbinden sich mit Business-Metriken. Ein Rückgang indexierbarer Seiten korreliert mit sinkenden Impressionen in der GSC. Behobene Broken Links und verkürzte Redirect-Chains verbessern die Crawl-Effizienz. Die Wirkung lässt sich am organischen Traffic, an der Indexierungsrate und am Sichtbarkeitsindex (etwa Sistrix) nachverfolgen. So wird aus einem technischen Audit ein nachweisbarer Beitrag zum SEO-ROI.

Weiterführendes: Vom Crawl zum priorisierten Maßnahmenplan im DACH-B2B

Ein durchdachter Workflow integriert Screaming Frog in das gesamte SEO-Toolset. Der Crawl liefert die technische Datenbasis. GSC und GA4 liefern den Traffic-Kontext. Sistrix oder Ahrefs liefern die Sichtbarkeits- und Wettbewerbsperspektive.

Der Praxis-Ablauf für ein B2B-Audit in Österreich folgt typischerweise fünf Schritten: Erstens den Crawl korrekt konfigurieren (User-Agent, Rendering, Speichermodus). Zweitens GSC, GA4 und ein Backlink-Tool anbinden, um die Befunde zu gewichten. Drittens die Befunde nach Schweregrad und Traffic-Relevanz priorisieren. Viertens einen konkreten, umsetzbaren Maßnahmenplan ableiten, der technische Befunde mit Verantwortlichkeiten verbindet. Fünftens das Ergebnis über geplante Folge-Crawls überwachen und gegen die Sichtbarkeitsentwicklung im Wettbewerb spiegeln.

So wird die Crawl-Analyse vom reinen Fehler-Scan zum strategischen Steuerungsinstrument, das technische Exzellenz mit messbaren Geschäftsergebnissen verbindet.