Analýza crawlu pomocou Screaming Frog

Prečo je analýza crawlu základom každého technického SEO auditu

Každý vyhľadávač začína crawlovaním. Skôr než Google môže stránku zobraziť vo výsledkoch vyhľadávania, musí sa k nej Googlebot dostať, načítať ju a spracovať. Práve tu nastupuje analýza crawlu pomocou Screaming Frog: ukáže web z pohľadu crawlera, nie z pohľadu návštevníka. Zviditeľní problémy, ktoré v prehliadači zostávajú skryté: chybu 404 za interným odkazom, reťazec presmerovaní cez štyri kroky, kanonickú značku, ktorá ukazuje na nesprávnu URL.

Pre B2B firmy to má priamy ekonomický význam. V Rakúsku dosahuje podiel Google na trhu 81,87 % (stav k máju 2026). Web, ktorý Google nedokáže bez chýb crawlovať a indexovať, prichádza o zďaleka najdôležitejší organický kanál. A s každou novou stránkou rastie počet potenciálnych technických chýb, ktoré bez systematického crawlu zostanú neodhalené.

Analýza crawlu preto nie je jednorazový audit, ale opakovaný kontrolný mechanizmus. Často nejasné podozrenie („organická návštevnosť stagnuje“) premieňa na konkrétne technické zistenia, ktoré sa dajú prioritizovať.

Fungovanie a konfigurácia: základy Screaming Frog

Screaming Frog beží ako desktopová aplikácia na tvojom počítači. Tým sa líši od cloudových auditových riešení a dáva ti plnú kontrolu nad konfiguráciou a uložením dát. K dispozícii sú dva licenčné modely:

Bezplatná vs. platená verzia: Bezplatná verzia crawluje až 500 URL na jeden crawl a stačí na malé weby a rýchle namátkové kontroly. Platená licencia limit ruší a sprístupňuje plánovanie, vlastnú extrakciu, napojenia na API a renderovanie JavaScriptu. Pre seriózne technické audity v B2B prostredí je licencia štandardom.

Režim Spider vs. režim List: V režime Spider začne crawler na štartovacej URL a sleduje interné odkazy ako vyhľadávač. V režime List crawluje iba zadaný zoznam URL, napríklad z XML mapy stránok (sitemap) alebo z exportu z GSC. Režim List sa hodí na cielené kontroly jednotlivých klastrov stránok.

Pamäťový vs. databázový režim ukladania: Screaming Frog štandardne štartuje v databázovom režime ukladania a dáta z crawlu zapisuje na disk. So SSD je tento režim takmer taký rýchly ako operačná pamäť, zvládne výrazne väčšie crawly a automaticky ich ukladá. Porovnania crawlov sú dostupné iba v tomto režime. Pamäťový režim (RAM) sa podľa výrobcu hodí pre weby pod 500 000 URL a pre počítače bez SSD. Približne od 500 000 URL preto crawl spravidla patrí do databázového režimu. Príručka Google o rozpočte na crawl (crawl budget) cieli predovšetkým na weby od 10 000 jedinečných stránok s denne sa meniacim obsahom a na weby od 1 milióna jedinečných stránok s obsahom, ktorý sa mení týždenne. Podľa Google sú tieto čísla len hrubé orientačné hodnoty. Pri weboch takejto veľkosti sa oplatí samostatne pozrieť na rozpočet na crawl.

Nastavenie crawlu na správne zachytenie dát

Crawl má len takú výpovednú hodnotu, akú mu dá jeho konfigurácia. Pred spustením treba urobiť niekoľko rozhodnutí, ktoré výrazne ovplyvnia výsledok.

User-agent: Screaming Frog sa môže identifikovať ako vlastný crawler, ako Googlebot (smartfón alebo desktop) alebo ako ľubovoľný iný user-agent. Crawl v role Googlebota pre smartfóny odhalí obsah doručovaný iba mobilným zariadeniam aj cloaking.

Rešpektovanie robots.txt: Nástroj štandardne rešpektuje súbor robots.txt. Pri úplnom audite má často zmysel ho ignorovať, aby si videl aj zablokované oblasti, alebo otestovať vlastný robots.txt skôr, než ho nasadíš. Over pritom aj, akým stavovým kódom odpovedá samotný robots.txt. Podľa Web Almanac 2024 vrátilo 14,1 % mobilných a 14,3 % desktopových požiadaviek na robots.txt stav 404. Google vyhodnotí stav 4xx (okrem 429) ako chýbajúci súbor a potom crawluje bez obmedzení. Kritické sú odpovede 5xx: vtedy Google crawlovanie webu najprv na dvanásť hodín zastaví a potom až 30 dní používa poslednú verziu, ktorú načítal bez chyby.

Renderovanie JavaScriptu: Mnohé moderné B2B weby renderujú obsah na strane klienta. Pri štandardnom crawle vidí Screaming Frog iba počiatočné HTML. Až režim renderovania JavaScriptu (headless Chrome) vykoná JavaScript a zachytí, čo skutočne vidí zariadenie používateľa. Tento režim je pomalší a náročnejší na zdroje, no pre jednostránkové aplikácie (SPA) a JS frameworky je nevyhnutný. Porovnanie renderovaného a nerenderovaného crawlu ukáže, ktorý obsah a ktoré odkazy vznikajú až na strane klienta. Ide o často podceňované riziko pre indexáciu.

Osvedčené postupy: od stavových kódov po interné prelinkovanie

Štruktúrovaný postup pri crawle vedie od technickej dostupnosti ku kvalite obsahu.

Analýza stavových kódov a nefunkčných odkazov: Na karte „Response Codes“ nástroj zobrazí všetky chyby 404, serverové chyby 5xx, reťazce presmerovaní a slučky presmerovaní. Priorita sa určuje podľa sily prelinkovania: chyba 404, na ktorú smeruje sto interných odkazov, je naliehavejšia než chyba, na ktorú neodkazuje nič. Reťazce presmerovaní cez viacero krokov plytvajú rozpočtom na crawl, oslabujú signály z odkazov a treba ich skrátiť na jedno priame presmerovanie 301.

Indexovateľnosť a riadenie crawlu: Stĺpec „Indexability“ zhŕňa, či je URL indexovateľná, a ak nie, prečo. Časté zistenia sú direktívy noindex na dôležitých stránkach, nesúlad kanonických značiek a protichodné direktívy robots. Podľa Web Almanac 2024 používa kanonické značky 69 % desktopových stránok a 65 % mobilných stránok, no 0,8 % má protichodné kanonické hodnoty, čo Google považuje za nedefinované správanie. Screaming Frog práve tieto nesúlady systematicky odhaľuje.

On-page audit: Crawl zachytí dĺžku titulkov stránok (title), dĺžku meta popisov, chýbajúce alebo duplicitné H1, tenký obsah (thin content) a chýbajúce alt texty. Meta popisy (meta descriptions) sú typickým príkladom chýbajúceho prvku: podľa Web Almanac 2024 malo meta popis iba 66,7 % desktopových stránok a 66,4 % mobilných stránok. Analýza Ahrefs, ktorá skúmala viac ako milión domén, dokonca zistila, že meta popisy chýbali na 72,9 % skúmaných webov. Dôležitý kontext: Ahrefs zdôrazňuje, že chýbajúce meta popisy priamo neovplyvňujú pozície vo vyhľadávaní, pretože Google ich generuje automaticky. Prioritizácia takýchto zistení patrí k odbornému hodnoteniu.

Interné prelinkovanie a architektúra webu: Pomocou hĺbky crawlu (Crawl Depth) nástroj ukáže, koľko kliknutí od domovskej stránky je daná stránka vzdialená. Dôležité stránky by mali byť dostupné na pár kliknutí. Osirelé stránky (orphan pages), teda stránky bez prichádzajúceho interného odkazu, sa zviditeľnia porovnaním crawlu s mapou stránok alebo s dátami z GSC. Rozloženie prichádzajúcich interných odkazov prezradí, ktoré URL dostávajú hodnotu odkazov (link equity) a ktoré sú nedostatočne prelinkované.

Obohatenie dát a viditeľnosť v AI

Samotný crawl prináša technické zistenia bez kontextu návštevnosti. Až integrácia API umožní jeho zistenia prioritizovať.

Integrácia API: Screaming Frog sa priamo napája na Google Search Console, GA4 a PageSpeed Insights API. Z Ahrefs, Majestic alebo Moz môžeš doplniť metriky odkazov, ako sú spätné odkazy a odkazujúce domény. Vznikne tak crawl vážený podľa návštevnosti: technická chyba na stránke s vysokou organickou návštevnosťou dostane viditeľne vyššiu prioritu než tá istá chyba na stránke bez kliknutí.

Štruktúrované dáta: Počas crawlu nástroj validuje značkovanie Schema.org a hlási chýbajúce alebo chybné štruktúrované dáta. Správne značkovanie je predpokladom rozšírených výsledkov (rich results) a čoraz častejšie aj spracovania AI systémami.

Riadenie AI crawlerov: Súbor robots.txt dnes riadi klasické vyhľadávače aj AI crawlery, ako je GPTBot. Screaming Frog dokáže overiť, ktoré direktívy platia pre tieto user-agenty. Ak chceš byť citovaný v odpovediach AI (AI Answer Inclusion), musíš vedome rozhodnúť, ktoré AI crawlery dostanú prístup. V roku 2024 to robil málokto: podľa Web Almanac 2024 uvádzalo GPTBot výslovne iba 2,6 % (mobil) resp. 2,9 % (desktop) súborov robots.txt. Žiadny iný AI crawler nebol uvedený častejšie.

Časté chyby pri analýze crawlu

Crawl bez renderovania JavaScriptu pri JS weboch: Kto crawluje web renderovaný na strane klienta bez režimu renderovania, prehliadne chýbajúci obsah a odkazy a vyvodí nesprávne závery.

Zistenia bez prioritizácie: Export z crawlu s tisíckami riadkov nie je plán opatrení. Bez váženia podľa návštevnosti pomocou GSC alebo analytiky sa zdroje premrhajú na nepodstatné zistenia.

Ignorovanie konfigurácie robots.txt: Crawl, ktorý slepo rešpektuje robots.txt, prehliadne zablokované oblasti. Crawl, ktorý ho ignoruje bez toho, aby to zdokumentoval, prináša zistenia k stránkam, ktoré v skutočnosti vôbec nie sú crawlovateľné.

Nesprávne zvolený režim ukladania: Crawlovanie veľkých webov v režime RAM vedie k prerušeniam. V databázovom režime na klasickom pevnom disku (HDD) sa disk stáva úzkym hrdlom.

Jednorazový crawl namiesto monitoringu: Jediný crawl zachytí iba aktuálny stav. Technické problémy vznikajú priebežne, pri nasadeniach, zmenách obsahu a migráciách.

Metriky, meranie a reporting

Hodnota analýzy crawlu vzniká až vtedy, keď sa zistenia premenia na merateľné KPI.

Porovnania crawlov v čase: Platená verzia umožňuje v databázovom režime ukladania porovnávať crawly. Vidíš tak, či počet chýb 404 klesá, či sa reťazce presmerovaní odstránili a či sa objavili nové problémy s indexáciou.

Plánovanie a automatizácia: Plánované crawly (napríklad raz týždenne) zabezpečujú priebežný technický monitoring. Jeho výsledky sa exportujú a prenášajú do reportov.

Prevod na SEO KPI: Technické zistenia sa prepájajú s obchodnými metrikami. Pokles indexovateľných stránok koreluje s klesajúcimi zobrazeniami v GSC. Opravené nefunkčné odkazy a skrátené reťazce presmerovaní zlepšujú efektívnosť crawlovania. Účinok sa dá sledovať na organickej návštevnosti, miere indexácie a indexe viditeľnosti (napríklad Sistrix). Z technického auditu sa tak stáva preukázateľný príspevok k návratnosti investícií do SEO.

Nadväzujúci postup: od crawlu k prioritizovanému plánu opatrení pre B2B v regióne DACH

Premyslený pracovný postup začleňuje Screaming Frog do celej sady SEO nástrojov. Crawl poskytuje technický dátový základ. GSC a GA4 dodávajú kontext návštevnosti. Sistrix alebo Ahrefs dodávajú pohľad na viditeľnosť a konkurenciu.

Praktický postup pri B2B audite v Rakúsku má zvyčajne päť krokov. Po prvé, správne nakonfiguruj crawl (user-agent, renderovanie, režim ukladania). Po druhé, napoj GSC, GA4 a nástroj na spätné odkazy, aby si mohol zistenia vážiť. Po tretie, zoraď zistenia podľa závažnosti a relevancie pre návštevnosť. Po štvrté, odvoď konkrétny a realizovateľný plán opatrení, ktorý spája technické zistenia so zodpovednosťami. Po piate, sleduj výsledok pomocou plánovaných nasledujúcich crawlov a porovnávaj ho s vývojom viditeľnosti konkurencie.

Analýza crawlu sa tak mení z obyčajného skenovania chýb na strategický nástroj riadenia, ktorý spája technickú excelentnosť s merateľnými obchodnými výsledkami.