Crawl Analyse mit Screaming Frog

Warum Crawl-Analyse die Basis jedes technischen SEO-Audits ist

Jede Suchmaschine beginnt mit dem Crawlen. Bevor Google eine Seite ranken kann, muss der Googlebot sie erreichen, abrufen und verarbeiten. Genau hier setzt eine Crawl-Analyse mit Screaming Frog an: Sie zeigt eine Website aus der Perspektive eines Crawlers, nicht aus der Perspektive eines Besuchers. Probleme, die im Browser unsichtbar bleiben, werden sichtbar: ein 404er hinter einem internen Link, eine Redirect-Chain über vier Stationen, ein canonical-Tag, das auf die falsche URL zeigt.

Für B2B-Unternehmen im DACH-Raum hat das direkte wirtschaftliche Relevanz. In Österreich liegt der Google-Marktanteil bei 81,87 Prozent (Stand Mai 2026). Wer auf Google nicht sauber gecrawlt und indexiert wird, verliert den mit Abstand wichtigsten organischen Kanal. Gleichzeitig steigt die digitale Reife der Wirtschaft: 73 Prozent der österreichischen KMU verfügen über eine grundlegende digitale Intensität (EU: 71 Prozent). Mit der digitalen Präsenz wachsen auch die Websites, und mit ihnen die Zahl potenzieller technischer Fehler, die ohne systematischen Crawl unentdeckt bleiben.

Eine Crawl-Analyse ist damit kein einmaliges Audit, sondern ein wiederkehrender Kontrollmechanismus. Sie übersetzt einen oft diffusen Verdacht ("der organische Traffic stagniert") in konkrete, priorisierbare technische Befunde.

Funktionsweise und Konfiguration: Grundlagen von Screaming Frog

Screaming Frog läuft als Desktop-Anwendung auf dem eigenen Rechner. Das unterscheidet das Tool von cloudbasierten Auditing-Lösungen und gibt volle Kontrolle über Konfiguration und Datenhaltung. Zwei Lizenzmodelle stehen zur Verfügung:

Free vs. Paid: Die kostenlose Version crawlt bis zu 500 URLs pro Crawl und reicht für kleine Sites und schnelle Stichproben. Die kostenpflichtige Lizenz hebt das Limit auf, schaltet Scheduling, Custom-Extraktion, API-Anbindungen und JavaScript-Rendering frei. Für ernsthafte technische Audits im B2B-Umfeld ist die Lizenz Standard.

Spider- vs. List-Mode: Im Spider-Mode startet der Crawler bei einer Start-URL und folgt internen Links wie eine Suchmaschine. Im List-Mode crawlt er nur eine vorgegebene URL-Liste, etwa aus einer XML-Sitemap oder einem GSC-Export. Der List-Mode eignet sich für gezielte Prüfungen einzelner Seitencluster.

Memory- vs. Datenbank-Speichermodus: Standardmäßig hält Screaming Frog Crawl-Daten im Arbeitsspeicher (RAM), was schnell, aber bei großen Sites begrenzt ist. Für umfangreiche DACH-Sites ab mehreren Hunderttausend URLs empfiehlt sich der Datenbank-Speichermodus (SSD-basiert). Er crawlt langsamer, skaliert aber deutlich höher und ermöglicht das Wiederöffnen gespeicherter Crawls. Google selbst zählt Sites ab 10.000 Unique Pages mit täglich wechselndem Content sowie Sites ab 1 Million Unique Pages zu jenen, die aktiv auf ihr Crawl-Budget achten sollten. Genau für diese Größenordnung ist der Datenbankmodus konzipiert.

Crawl-Setup für eine korrekte Erfassung

Ein Crawl ist nur so aussagekräftig wie seine Konfiguration. Vor dem Start sind einige Entscheidungen zu treffen, die das Ergebnis stark beeinflussen.

User-Agent: Screaming Frog kann sich als eigener Crawler, als Googlebot (Smartphone oder Desktop) oder als individueller User-Agent ausgeben. Den Crawl als Googlebot-Smartphone durchzuführen, deckt mobile-spezifische Auslieferungen und Cloaking auf.

robots.txt-Respekt: Standardmäßig respektiert das Tool die robots.txt. Für ein vollständiges Audit ist es oft sinnvoll, sie zu ignorieren, um auch gesperrte Bereiche zu sehen, oder eine Custom-robots.txt zu testen, bevor sie live geht. Eine fehlerhafte robots.txt ist ein häufiges Problem: Laut Web Almanac 2024 lieferten 14,1 Prozent der mobilen Site-Abrufe einen 404-Status für die robots.txt, bei Desktop waren es 14,3 Prozent. Eine nicht erreichbare robots.txt führt zu undefiniertem Crawler-Verhalten.

JavaScript-Rendering: Viele moderne B2B-Sites rendern Inhalte clientseitig. Im Standard-Crawl sieht Screaming Frog nur das initiale HTML. Erst der JavaScript-Rendering-Modus (headless Chrome) führt das JavaScript aus und erfasst, was ein nutzendes Endgerät tatsächlich sieht. Dieser Modus ist langsamer und ressourcenintensiver, aber für Single-Page-Applications und JS-Frameworks unverzichtbar. Eine Gegenüberstellung von gerendertem und nicht-gerendertem Crawl zeigt, welche Inhalte und Links erst clientseitig entstehen, ein häufig unterschätztes Indexierungsrisiko.

Best Practices: Von Status-Codes bis zur internen Verlinkung

Ein strukturierter Crawl-Workflow arbeitet sich von der technischen Erreichbarkeit zur inhaltlichen Qualität vor.

Status-Code- und Broken-Link-Analyse: Im Reiter "Response Codes" zeigt das Tool alle 404er, 5xx-Serverfehler, Redirect-Chains und Redirect-Loops. Priorisiert wird nach Verlinkungsstärke: Ein 404er, auf den hundert interne Links zeigen, ist dringender als ein verwaister Fehler. Redirect-Chains über mehrere Stationen verschwenden Crawl-Budget und verwässern Link-Signale und sollten auf einen direkten 301-Redirect verkürzt werden.

Indexierbarkeit und Crawl-Steuerung: Die Spalte "Indexability" fasst zusammen, ob eine URL indexierbar ist und warum nicht. Häufige Befunde sind noindex-Direktiven auf wichtigen Seiten, canonical-Mismatches und widersprüchliche robots-Direktiven. Laut Web Almanac 2024 setzen 69 Prozent der Desktop-Seiten und 65 Prozent der Mobile-Seiten canonical-Tags ein, doch 0,8 Prozent weisen widersprüchliche canonical-Werte auf, was Google als undefiniertes Verhalten wertet. Screaming Frog deckt genau diese Mismatches systematisch auf.

On-Page-Audit: Der Crawl erfasst Title-Längen, Meta-Description-Längen, fehlende oder doppelte H1, Thin Content und fehlende Alt-Texte. Meta Descriptions sind ein klassischer Lückenbefund: Laut Web Almanac 2024 hatten nur 66,7 Prozent der Desktop-Seiten und 66,4 Prozent der Mobile-Seiten eine Meta Description. Eine Ahrefs-Analyse von über einer Million Domains kam sogar zu dem Ergebnis, dass Meta Descriptions auf 72,9 Prozent der untersuchten Sites fehlten. Wichtig zur Einordnung: Ahrefs betont, dass fehlende Meta Descriptions kein direktes Ranking-Problem darstellen, da Google sie automatisch generiert. Die Priorisierung solcher Befunde gehört zur fachlichen Bewertung dazu.

Interne Verlinkung und Seitenarchitektur: Über Crawl-Tiefe (Crawl Depth) zeigt das Tool, wie viele Klicks eine Seite von der Startseite entfernt liegt. Wichtige Seiten sollten flach erreichbar sein. Orphan Pages, also Seiten ohne internen Inlink, werden durch Abgleich von Crawl und Sitemap oder GSC-Daten sichtbar. Die Inlink-Verteilung verrät, welche URLs intern Link-Equity erhalten und welche unterversorgt sind.

Datenanreicherung und KI-Sichtbarkeit

Ein reiner Crawl liefert technische Befunde ohne Traffic-Kontext. Erst die API-Integration macht ihn priorisierbar.

API-Integration: Screaming Frog bindet die Google Search Console, GA4 und die PageSpeed-Insights-API direkt an. Über Drittanbieter wie Ahrefs oder Semrush lassen sich Backlink- und Keyword-Daten ergänzen. So entsteht ein traffic-gewichteter Crawl: Ein technischer Fehler auf einer Seite mit hohem organischen Traffic wird sichtbar höher priorisiert als derselbe Fehler auf einer Seite ohne Klicks.

Structured Data: Im Crawl validiert das Tool Schema.org-Markup und meldet fehlende oder fehlerhafte structured data. Korrekte Auszeichnung ist Voraussetzung für Rich Results und zunehmend für die Verarbeitung durch KI-Systeme.

KI-Crawler-Steuerung: Die robots.txt regelt heute nicht nur klassische Suchmaschinen, sondern auch KI-Crawler wie GPTBot. Screaming Frog kann prüfen, welche Direktiven für diese User-Agents gelten. Wer in KI-Antworten zitiert werden möchte (AI Answer Inclusion), muss bewusst entscheiden, welche KI-Crawler Zugriff erhalten. Bei einer Internetdurchdringung von 95,3 Prozent in Österreich mit 8,69 Millionen Internetnutzern gewinnt KI-gestützte Suche als Sichtbarkeitskanal an Bedeutung.

Häufige Fehler bei der Crawl-Analyse

Crawl ohne JavaScript-Rendering bei JS-Sites: Wer eine clientseitig gerenderte Site ohne Rendering-Modus crawlt, übersieht fehlende Inhalte und Links und zieht falsche Schlüsse.

Befunde ohne Priorisierung: Ein Crawl-Export mit Tausenden Zeilen ist kein Maßnahmenplan. Ohne Traffic-Gewichtung über GSC oder Analytics werden Ressourcen auf irrelevante Befunde verschwendet.

robots.txt-Konfiguration ignorieren: Ein Crawl, der die robots.txt blind respektiert, übersieht gesperrte Bereiche. Ein Crawl, der sie ignoriert, ohne das zu dokumentieren, erzeugt Befunde, die in der Realität gar nicht crawlbar sind.

Speichermodus falsch gewählt: Große Sites im RAM-Modus zu crawlen, führt zu Abbrüchen. Kleine Sites im Datenbankmodus zu crawlen, kostet unnötig Zeit.

Einmal-Crawl statt Monitoring: Ein einzelner Crawl ist eine Momentaufnahme. Technische Probleme entstehen kontinuierlich durch Deployments, Content-Änderungen und Migrationen.

Metriken, Messung und Reporting

Der Wert einer Crawl-Analyse entsteht erst, wenn Befunde in messbare KPIs übersetzt werden.

Crawl-Vergleiche über Zeit: Die kostenpflichtige Version erlaubt es, Crawls zu vergleichen. So wird sichtbar, ob die Zahl der 404er sinkt, ob Redirect-Chains abgebaut wurden und ob neue Indexierungsprobleme aufgetreten sind.

Scheduling und Automatisierung: Geplante Crawls (etwa wöchentlich) liefern ein kontinuierliches technisches Monitoring, dessen Ergebnisse exportiert und in Reports überführt werden.

Übersetzung in SEO-KPIs: Technische Befunde verbinden sich mit Business-Metriken. Ein Rückgang indexierbarer Seiten korreliert mit sinkenden Impressionen in der GSC. Behobene Broken Links und verkürzte Redirect-Chains verbessern die Crawl-Effizienz. Die Wirkung lässt sich am organischen Traffic, an der Indexierungsrate und am Sichtbarkeitsindex (etwa Sistrix) nachverfolgen. So wird aus einem technischen Audit ein nachweisbarer Beitrag zum SEO-ROI.

Weiterführendes: Vom Crawl zum priorisierten Maßnahmenplan im DACH-B2B

Ein durchdachter Workflow integriert Screaming Frog in das gesamte SEO-Toolset. Der Crawl liefert die technische Datenbasis. GSC und GA4 liefern den Traffic-Kontext. Sistrix oder Ahrefs liefern die Sichtbarkeits- und Wettbewerbsperspektive.

Der Praxis-Ablauf für ein B2B-Audit in Österreich folgt typischerweise fünf Schritten: Erstens den Crawl korrekt konfigurieren (User-Agent, Rendering, Speichermodus). Zweitens GSC, GA4 und ein Backlink-Tool anbinden, um die Befunde zu gewichten. Drittens die Befunde nach Schweregrad und Traffic-Relevanz priorisieren. Viertens einen konkreten, umsetzbaren Maßnahmenplan ableiten, der technische Befunde mit Verantwortlichkeiten verbindet. Fünftens das Ergebnis über geplante Folge-Crawls überwachen und gegen die Sichtbarkeitsentwicklung im Wettbewerb spiegeln.

So wird die Crawl-Analyse vom reinen Fehler-Scan zum strategischen Steuerungsinstrument, das technische Exzellenz mit messbaren Geschäftsergebnissen verbindet.