Googlebot und Crawling: Wie Google das Web durchsucht

Crawling ist der erste Schritt im Suchmaschinen-Prozess. Ohne Crawling keine Indexierung, ohne Indexierung kein Ranking. 2026 ist Crawling komplexer denn je, da neben Googlebot zahlreiche KI-Crawler das Web durchsuchen.

Wie Googlebot funktioniert

Googlebot ist ein automatisiertes Programm, das Webseiten besucht und deren Inhalte liest. Er startet bei bekannten URLs, lädt den HTML-Code herunter, extrahiert alle Links und fügt sie einer Crawling-Warteschlange hinzu. Dieser Prozess wiederholt sich milliardenfach.

Googlebot existiert in zwei Varianten: Desktop und Mobile. Seit der vollständigen Umstellung auf Mobile-First Indexing im Jahr 2024 ist der Mobile-Crawler die primäre Version. Google bewertet Websites primär anhand ihrer mobilen Darstellung.

Crawl Budget verstehen

Das Crawl Budget beschreibt, wie viele Seiten Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es wird durch zwei Faktoren bestimmt: die Crawl-Rate (wie schnell der Server reagiert) und den Crawl-Bedarf (wie wichtig und aktuell die Inhalte sind).

Für kleine Websites mit weniger als 1.000 Seiten ist Crawl Budget selten ein Problem. Für große Websites mit zehntausenden Seiten kann eine ineffiziente Crawl-Budget-Nutzung dazu führen, dass wichtige Seiten nicht indexiert werden.

AI-Crawler: Die neue Dimension

Neben Googlebot durchsuchen 2025/2026 zahlreiche KI-Crawler das Web. GPTBot-Traffic wuchs um 305 Prozent gegenüber dem Vorjahr. Insgesamt stieg der Crawler-Traffic um 18 Prozent. Die wichtigsten AI-Crawler sind GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) und Google-Extended.

Ein fundamentaler Unterschied: AI-Crawler führen in der Regel kein JavaScript aus. Websites, deren Inhalte nur client-seitig gerendert werden, sind für KI-Systeme unsichtbar. Server-Side Rendering (SSR) ist daher Pflicht.

robots.txt für die Crawler-Steuerung

Die robots.txt-Datei steuert, welche Crawler welche Bereiche der Website besuchen dürfen. Für SEO und GEO empfiehlt sich eine differenzierte Strategie: Googlebot und Such-Crawler uneingeschränkt erlauben, AI-Such-Crawler (OAI-SearchBot, PerplexityBot) ebenfalls erlauben, und Training-Only-Crawler (GPTBot, Google-Extended) optional nach strategischer Abwägung handhaben.

Wichtig: Der ChatGPT-User-Crawler ignoriert seit Dezember 2025 die robots.txt. Eine vollständige Blockierung von OpenAI-Crawlern ist damit nicht mehr möglich.