Googlebot a Crawling: Ako Google prehľadáva web
Googlebot je automatizovaný webcrawler od Googlu, ktorý systematicky navštevuje webové stránky, číta ich obsah a sleduje odkazy, aby objavil a spracoval nové a aktualizované stránky pre Google index.
Key Takeaways
- ✓Googlebot je primárny crawler Googlu pre desktop a mobil a prvý krok pred indexovaním a rankingom
- ✓Mobile-First Indexing znamená: Googlebot crawluje primárne mobilnú verziu, iba tam prítomný obsah musí byť dodaný mobilne
- ✓Googlebot bol podľa Cloudflare najaktívnejší crawler na webe a od mája 2024 do mája 2025 vzrástol o 96 percent
- ✓robots.txt riadi crawl prístup rôznych typov crawlerov, ale nebráni indexovaniu; na to slúžia noindex a canonical
- ✓Crawl-Budget z Crawl-Capacity-Limit a Crawl-Demand je relevantný predovšetkým pre veľmi veľké alebo rýchlo sa meniace stránky
- ✓AI-crawlery ako GPTBot, ClaudeBot a PerplexityBot spravidla nevykonávajú JavaScript, na rozdiel od Googlebotu s jeho Web Rendering Service
- ✓Skutočné prístupy Googlebotu sa dajú odlíšiť od falošných User-Agentov pomocou Reverse-DNS-Verifikácie
Crawling je prvý krok v procese vyhľadávačov. Bez crawlingu žiadne indexovanie, bez indexovania žiadne ranking. V roku 2026 je crawling zložitejší ako kedykoľvek predtým, keďže okrem Googlebotu prehľadávajú web aj početné AI crawlery.
Ako funguje Googlebot
Googlebot je automatizovaný program, ktorý navštevuje webové stránky a číta ich obsah. Začína so známymi URL, stiahne HTML kód, extrahuje všetky odkazy a pridá ich do crawling fronty. Tento proces sa opakuje miliardkrát.
Googlebot existuje v dvoch variantoch: Desktop a Mobile. Od úplného prechodu na Mobile-First Indexing v roku 2024 je mobilný crawler primárnou verziou. Google hodnotí webové stránky primárne na základe ich mobilného zobrazenia.
Pochopenie Crawl Budget
Crawl Budget opisuje, koľko stránok Googlebot precrawluje na webovej stránke v rámci určitého časového obdobia. Je determinované dvoma faktormi: crawl-rate (ako rýchlo server reaguje) a crawl-demand (ako dôležité a aktuálne sú obsahy).
Pre malé webové stránky s menej ako 1 000 stránkami je Crawl Budget zriedka problémom. Pre veľké webové stránky s desaťtisícami stránok môže neefektívne využitie Crawl Budget viesť k tomu, že dôležité stránky nebudú indexované.
AI-Crawlery: Nový rozmer
Okrem Googlebotu prehľadávajú v rokoch 2025/2026 web početné AI crawlery. GPTBot traffic vzrástol o 305 percent oproti predchádzajúcemu roku. Celkovo stúpol crawler traffic o 18 percent. Najdôležitejšie AI crawlery sú GPTBot a OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) a Google-Extended.
Zásadný rozdiel: AI crawlery zvyčajne nevykonávajú JavaScript. Webové stránky, ktorých obsah sa renderuje len na strane klienta, sú pre AI systémy neviditeľné. Server-Side Rendering (SSR) je preto povinnosťou.
robots.txt pre riadenie crawlerov
Súbor robots.txt riadi, ktoré crawlery môžu navštevovať ktoré oblasti webovej stránky. Pre SEO a GEO sa odporúča diferencovaná stratégia: Googlebot a vyhľadávacie crawlery povoliť bez obmedzení, AI vyhľadávacie crawlery (OAI-SearchBot, PerplexityBot) tiež povoliť, a tréningové crawlery (GPTBot, Google-Extended) riešiť voliteľne podľa strategického zváženia.
Dôležité: ChatGPT User-Crawler ignoruje od decembra 2025 robots.txt. Úplné zablokovanie OpenAI crawlerov tak už nie je možné.
Údaje a štatistiky
Der Google-Index umfasst hunderte Milliarden Webseiten und ist weit über 100.000.000 Gigabyte groß
Google - How Search Works (Organizing Information) (2025)Google hält in Österreich einen Suchmaschinen-Marktanteil von 81,87 Prozent, Bing folgt mit 9,01 Prozent
StatCounter Global Stats - Search Engine Market Share Austria (2026)In der österreichischen Bevölkerung zwischen 16 und 74 Jahren stehen 95 Prozent Internetnutzer:innen (Onliner) 5 Prozent Nicht-Nutzer:innen (Offliner) gegenüber
Statistik Austria - Nichtnutzung des Internets 2023 (Pressemitteilung 19.09.2024) (2023)Googlebot war der aktivste Crawler im Web und wuchs von Mai 2024 bis Mai 2025 um 96 Prozent, mit einem Spitzenwert von plus 145 Prozent im April 2025
Cloudflare Blog - From Googlebot to GPTBot: who's crawling your site in 2025 (2025)83,9 Prozent der robots.txt-Dateien lieferten bei mobilen Abrufen einen Status 200 zurück, 14,1 Prozent antworteten mit einem 404 (2024, mobil)
Web Almanac 2024 (HTTP Archive) - SEO-Kapitel (2024)Crawl-Budget definiert Google als Zusammenspiel aus Crawl-Kapazitätslimit und Crawl-Demand (set of URLs that Google can and wants to crawl)
Google Search Central - Crawl Budget Management (2025)Crawl-Budget-Optimierung ist vor allem relevant für grosse Sites mit über 1.000.000 einzigartigen Seiten (wöchentlich wechselnder Inhalt) oder mittlere bis grosse Sites ab 10.000 Seiten mit sehr schnell wechselndem Inhalt
Google Search Central - Crawl Budget Management for Large Sites (2025)4,7 Prozent der Desktop-Seiten und 3,9 Prozent der mobilen Seiten nutzen ein noindex
Web Almanac 2024 (HTTP Archive) - SEO-Kapitel (Robots directive rules) (2024)Das mediane Seitengewicht im mobilen Bereich lag bei 2.311 KB, ein Plus von 6,4 Prozent oder 140 KB gegenüber dem Vorjahr
Web Almanac 2024 (HTTP Archive) - Page Weight (2024)AI Overviews wurden bei 6,49 Prozent der Anfragen im Januar 2025 ausgelöst, im Juli bei 24,61 Prozent und im November bei 15,69 Prozent (US-Daten)
Semrush Blog - Semrush AI Overviews Study 2025 (2025)Gezielte GEO-Massnahmen können die Sichtbarkeit in generativen Suchantworten um bis zu 40 Prozent steigern (internationale Studie)
arXiv - GEO: Generative Engine Optimization (KDD 2024) (2024)Často kladené otázky
Čo je Googlebot?
Aký je rozdiel medzi crawlingom, indexovaním a rankingom?
Ako Googlebot nachádza nové stránky?
Čo je Crawl-Budget a pre koho je dôležitý?
Aký je rozdiel medzi robots.txt, noindex a canonical?
Ako overím, či prístup skutočne pochádza od Googlebotu?
V čom sa líšia AI-crawlery ako GPTBot a ClaudeBot od Googlebotu?
Related Articles
Ako si stojí vaša stránka?
Získajte bezplatný SEO report vašej stránky e-mailom: technické SEO, on-page, kľúčové slová a konkurencia. Nezáväzne.
Vyžiadať bezplatný SEO audit →