Googlebot a Crawling: Ako Google prehľadáva web

Googlebot je základom toho, aby sa web v Google vôbec dal nájsť. Bez úspešného crawlingu nie je indexovanie, bez indexu nie je ranking a bez rankingu nie je viditeľnosť. Pre B2B firmy v regióne DACH je to viac než technický detail: kto sa neobjaví v organickom vyhľadávaní, chýba v najdôležitejšom kanáli, cez ktorý si jeho cieľová skupina hľadá informácie. Tento článok vysvetľuje, ako Googlebot pracuje, ako riadiš jeho správanie, ktoré chyby bránia crawlingu a ako sa obraz práve mení vplyvom AI crawlerov pre ChatGPT a Perplexity a vplyvom Google AI Overviews.

Prečo crawling rozhoduje o tvojej viditeľnosti

Crawling je prvým krokom reťazca, na konci ktorého stojí obchodný úspech vo vyhľadávaní. Googlebot navštevuje stránky, číta ich obsah a sleduje odkazy, aby objavil nové a aktualizované URL adresy. Až potom môže Google obsah indexovať a zobrazovať pri relevantných vyhľadávacích dopytoch. Už samotný rozsah ukazuje, prečo tento proces nemožno nechať na náhodu: podľa Googlu zahŕňa jeho index stovky miliárd webových stránok a má veľkosť vysoko nad 100 000 000 gigabajtov. V takom rozsahu súperí každá stránka o obmedzenú pozornosť crawlera.

Na trhu DACH k tomu pribúda jasná koncentrácia. V Rakúsku má Google podľa StatCounter podiel na trhu vyhľadávačov 81,87 %, Bing nasleduje s 9,01 %. Základňa dosahu je široká: podľa Statistik Austria stálo v rakúskej populácii vo veku od 16 do 74 rokov 95 % používateľov internetu oproti iba 5 % nepoužívateľom. Kto chce byť v Rakúsku digitálne nájdený, optimalizuje teda v prvom rade pre Googlebot. A objem crawlingu rastie: podľa Cloudflare bol Googlebot najaktívnejším crawlerom na webe a od mája 2024 do mája 2025 vzrástol o 96 %, so špičkou plus 145 % v apríli 2025.

Ako funguje Googlebot: crawling, indexovanie, ranking

Googlebot je automatizovaný webový crawler Googlu. Existuje v dvoch hlavných variantoch: Googlebot Smartphone, ktorý načítava mobilné zobrazenie, a Googlebot Desktop. V rámci Mobile-First Indexing dnes Google crawluje primárne mobilnú verziu stránky. Kto poskytuje obsah alebo štruktúrované dáta iba v desktopovej verzii, riskuje, že ich Google nezachytí. Skutočné prístupy Googlebotu sa dajú overiť: pre IP adresu, z ktorej prístup prichádza, vykonáš reverzné DNS vyhľadávanie (reverse DNS lookup), skontroluješ, či hostname končí na googlebot.com alebo google.com, a potom ho potvrdíš priamym DNS vyhľadávaním (forward DNS). Takto odhalíš boty so sfalšovaným user agentom, ktoré sa vydávajú za Googlebot.

Vyhľadávanie Google prebieha v troch fázach, ktoré do seba zapadajú:

• Crawling: Googlebot objavuje URL adresy cez odkazy, sitemapy a už známe stránky a načítava ich obsah. Pri moderných stránkach Google obsah následne vyrenderuje ako prehliadač, aby zachytil obsah generovaný JavaScriptom.
• Indexovanie: Google analyzuje texty, obrázky a kľúčové tagy, rozpoznáva duplikáty a kanonické URL a ukladá stránku do indexu. Iba indexované stránky môžu vôbec rankovať.
• Ranking: Pri vyhľadávacom dopyte vyberie Google z indexu najrelevantnejšie výsledky a zoradí ich pre SERP. Crawling a indexovanie sú teda predpokladom, ranking rozhoduje o pozícii.

Ako Googlebot nachádza URL adresy a ako ho riadiš

Googlebot objavuje nové stránky prevažne cez odkazy. Každá crawlovaná stránka mu prinesie nové URL adresy, ktoré sleduje. Z toho vyplývajú tri hlavné páky, ktorými aktívne ovplyvňuješ nájditeľnosť:

• Interné prelinkovanie: Plochá, logická štruktúra odkazov zabezpečí, že dôležité stránky sú z úvodnej stránky dostupné na pár kliknutí. Osirelé stránky bez interných odkazov Googlebot nájde len ťažko alebo vôbec nie.
• XML sitemap: Sitemap obsahuje všetky relevantné URL adresy a cez Google Search Console ich priamo nahlási. Nenahrádza dobré interné prelinkovanie, ale pomáha najmä pri veľkých alebo slabo prelinkovaných weboch.
• robots.txt: Tento súbor v koreňovom adresári určuje, ktoré oblasti smie crawler načítať. Je najdôležitejším nástrojom na riadenie prístupu crawlerov, no nie nástrojom na deindexáciu.

Súbor robots.txt si zaslúži osobitnú starostlivosť, pretože chyby v ňom majú ďalekosiahle následky. Podľa Web Almanac 2024 83,9 % súborov robots.txt vrátilo pri mobilných požiadavkách status 200, zatiaľ čo 14,1 % odpovedalo kódom 404. Chýbajúci alebo chybný súbor teda nie je zriedkavosť. Dôležité je dôsledne oddeľovať nástroje: robots.txt blokuje crawling, ale nebráni indexovaniu už známych URL adries.

Crawl budget: pochopenie a optimalizácia

Crawl budget označuje množstvo URL adries, ktoré Google môže a chce na webe crawlovať. Google ho definuje ako súhru dvoch veličín: limitu kapacity crawlovania a dopytu po crawlovaní (Crawl Capacity Limit a Crawl Demand). Limit kapacity je maximálny počet súčasných pripojení plus čas čakania medzi načítaniami. Ak server odpovedá rýchlo, limit stúpa; pri chybách servera alebo pomalých odpovediach klesá. Dopyt po crawlovaní vyplýva z vnímaného rozsahu stránok webu, z popularity URL adries a z ich aktuálnosti.

Pre väčšinu menších webov nie je crawl budget limitujúcim faktorom. Podľa Googlu je relevantný najmä pre veľké weby s viac ako miliónom jedinečných stránok, ktorých obsah sa mení týždenne, alebo pre stredné až veľké weby od 10 000 stránok s veľmi rýchlo sa meniacim obsahom. Google tieto hodnoty označuje ako hrubé orientačné body, nie ako pevné hranice. Pre dotknuté weby je dôležité predovšetkým neplytvať budgetom: zlepšiť výkon servera, odstrániť soft 404 a nekonečné slučky, konsolidovať duplikáty a vylúčiť nepodstatné parametre URL. Každá zbytočne crawlovaná URL adresa ide na úkor dôležitých stránok.

Riadenie crawlingu a prevencia chýb

Najčastejšou príčinou problémov s crawlingom je zámena nástrojov na riadenie. Tri mechanizmy plnia tri rôzne úlohy a nesmú sa miešať:

• robots.txt: riadi, či sa URL adresa smie crawlovať. Stránka zablokovaná v robots.txt sa napriek tomu môže dostať do indexu, ak na ňu odkazujú iné stránky, potom bez obsahu, iba ako URL.
• noindex: meta tag robots alebo HTTP hlavička, ktorá bráni indexovaniu. Aby Google tag prečítal, stránka nesmie byť zároveň zablokovaná v robots.txt. Podľa Web Almanac 2024 používa 4,7 % desktopových stránok a 3,9 % mobilných stránok noindex.
• canonical: pri viacerých podobných URL adresách signalizuje preferovanú verziu a zlučuje ranking signály namiesto toho, aby obsah úplne vylúčil.

Typické pasce pri crawlingu vznikajú z technickej nedbanlivosti. Fazetová navigácia, filtre a ID relácií vytvárajú nekonečne veľa variantov URL, ktoré míňajú budget. Duplicitný obsah rozkladá signály medzi konkurujúce si URL adresy. Soft 404, teda chybové stránky so statusom 200 namiesto 404, predstierajú platný obsah a crawlujú sa ďalej. Kto tieto vzory rozpozná včas a čisto ich vyrieši stavovým kódom, canonical a noindex, udrží efektivitu crawlingu na vysokej úrovni.

Rendering a JavaScript SEO

Moderné weby často dodávajú obsah až cez JavaScript. Googlebot si s tým v zásade poradí, pretože stránky v druhom kroku vyrenderuje pomocou Web Rendering Service (WRS), teda vykoná kód ako prehliadač. Toto renderovanie je však náročné na zdroje a môže prebehnúť s oneskorením. Obsah, ktorý je kľúčový pre pochopenie stránky, by sa preto mal dodávať vyrenderovaný na strane servera alebo predrenderovaný, aby sa zachytil spoľahlivo a rýchlo.

Veľkosť stránky a výkon priamo ovplyvňujú crawling. Čím je stránka ťažšia a pomalšia, tým viac zdrojov stojí každé načítanie a tým menej stránok Googlebot stihne za rovnaký čas. Trend ide nesprávnym smerom: podľa Web Almanac 2024 bola mediánová veľkosť mobilnej stránky 2 311 KB, čo je nárast o 6,4 % alebo 140 KB oproti predchádzajúcemu roku. Štíhly kód, optimalizované obrázky a rýchla odpoveď servera tak zrýchľujú web a zároveň priamo optimalizujú crawling.

Diagnostika crawlingu pomocou nástrojov a logov

Crawling sa dá merať, netreba ho len odhadovať. Rozhodujúce sú na to dva zdroje dát. Prvým je Google Search Console, ktorá bezplatne poskytuje pohľad zvnútra na crawling vlastnej domény:

• Štatistiky prehľadávania: ukazujú počet požiadaviek, priemerné časy odozvy a stavové kódy v čase a odhaľujú problémy so serverom.
• Kontrola webovej adresy: pre jednotlivú URL adresu prezradí, či bola crawlovaná a indexovaná, ktorú kanonickú URL Google zvolil a ako vyzerá vyrenderovaná stránka.
• Pokrytie indexu (Indexovanie stránok): ukazuje, ktoré stránky sú indexované a z akých dôvodov boli iné vylúčené, napríklad pre noindex, duplikáty alebo chyby pri crawlingu.

Druhým zdrojom je analýza serverových logov. Logy zaznamenávajú každý skutočný prístup Googlebotu, a tak ukazujú, ktoré URL adresy sa naozaj crawlujú a ako často, kde sa plytvá budgetom a ktoré dôležité stránky crawler zanedbáva. V kombinácii s overením cez reverzné DNS sa dajú skutočné prístupy Googlebotu spoľahlivo oddeliť od sfalšovaných. Pre veľké weby je analýza logov najpresnejší dostupný nástroj na diagnostiku crawlingu.

Od Googlebotu k AI crawlerom: GEO v B2B v regióne DACH

Popri Googlebote prehľadáva web nová generácia botov pre AI systémy. GPTBot zbiera obsah pre OpenAI a ChatGPT, ClaudeBot pre Claude od spoločnosti Anthropic, PerplexityBot pre odpoveďový vyhľadávač Perplexity. Zásadný technický rozdiel: tieto AI crawlery spravidla nevykonávajú JavaScript. Obsah, ktorý sa renderuje až na strane klienta, zostáva pre ne neviditeľný, zatiaľ čo Googlebot ho cez WRS ešte zachytí. Google-Extended nie je samostatný crawler, ale token v robots.txt. Určuje iba to, či Google smie už crawlovaný obsah použiť na trénovanie a grounding Gemini, a nemá vplyv na vyhľadávanie Google. Ani pre AI Overviews neexistuje samostatný crawler: Google tam odkazuje iba na stránky, ktoré sú v indexe a smú sa zobrazovať so snippetom.

Tento posun má hmatateľné dôsledky, pretože AI odpovede preberajú čoraz väčšiu časť vyhľadávania. Podľa štúdie Semrush sa v USA AI Overviews zobrazili pri 6,49 % dopytov v januári 2025, v júli to bolo 24,61 % a v novembri 15,69 %. Generative Engine Optimization (GEO) sa zameriava na to, aby takéto AI odpovede citovali tvoj obsah. Medzinárodná štúdia ukazuje, že cielené opatrenia GEO môžu zvýšiť viditeľnosť v generatívnych odpovediach vyhľadávania až o 40 %.

Pre B2B firmy v regióne DACH z toho vyplýva dvojitá úloha. Po prvé, vedome rozhodnúť v robots.txt, ktoré AI crawlery dostanú prístup, pretože prístup zabezpečuje viditeľnosť, ale stojí serverové zdroje a kontrolu nad obsahom. Po druhé, dodávať kľúčový obsah bez závislosti od JavaScriptu a s jasnou štruktúrou, z ktorej sa dá obsah extrahovať, aby ho mohli spracovať Googlebot aj AI crawlery.

Súvisiace témy

Crawling je neviditeľným základom každej stratégie vyhľadávania. Kto rozumie Googlebotu, najprv zabezpečí čisté technické predpoklady: bezchybný robots.txt, aktuálnu XML sitemap, plochú internú štruktúru odkazov a rýchle, štíhle stránky. Na tom stavajú ďalšie kroky. Zmysluplné nadväzujúce témy sú indexovanie a jeho riadenie cez noindex a canonical, fungovanie ranking faktorov, optimalizácia Google Search Console na priebežnú diagnostiku a Generative Engine Optimization ako samostatná disciplína pre viditeľnosť v ChatGPT, Perplexity a Google AI Overviews. Spolu tvoria základ, na ktorom v regióne DACH vzniká organická viditeľnosť aj viditeľnosť v AI odpovediach. Ak nechceš technický základ priebežne kontrolovať sám, môžeš to zveriť priebežnej SEO správe. Viditeľnosť v AI odpovediach pokrýva GEO správa.