Analyse de crawl avec Screaming Frog

Pourquoi l'analyse de crawl est la base de tout audit SEO technique

Tout moteur de recherche commence par crawler. Avant que Google puisse positionner une page, Googlebot doit l'atteindre, la récupérer et la traiter. C'est précisément là qu'intervient une analyse de crawl avec Screaming Frog : elle montre un site du point de vue d'un crawler, et non de celui d'un visiteur. Des problèmes invisibles dans le navigateur apparaissent : une erreur 404 derrière un lien interne, une chaîne de redirections à quatre étapes, une balise canonical qui pointe vers la mauvaise URL.

Pour les entreprises B2B, l'enjeu économique est direct. En Autriche, la part de marché de Google atteint 81,87 % (mai 2026). Si Google ne crawle et n'indexe pas correctement ton site, tu perds de loin le canal organique le plus important. Et chaque nouvelle page augmente le nombre d'erreurs techniques potentielles qui passent inaperçues sans crawl systématique.

Une analyse de crawl n'est donc pas un audit ponctuel, mais un mécanisme de contrôle récurrent. Elle traduit un soupçon souvent diffus (« le trafic organique stagne ») en constats techniques concrets et priorisables.

Fonctionnement et configuration : les bases de Screaming Frog

Screaming Frog s'exécute comme application de bureau sur ton propre ordinateur. C'est ce qui le distingue des solutions d'audit dans le cloud, et cela te donne un contrôle total sur la configuration et le stockage des données. Deux modèles de licence sont disponibles :

Gratuit ou payant : la version gratuite crawle jusqu'à 500 URL par crawl et suffit pour les petits sites et les vérifications rapides. La licence payante supprime la limite et débloque la planification, l'extraction personnalisée, les connexions API et le rendu JavaScript. Pour des audits techniques sérieux en B2B, la licence est la norme.

Mode Spider ou mode List : en mode Spider, le crawler part d'une URL de départ et suit les liens internes comme un moteur de recherche. En mode List, il ne crawle qu'une liste d'URL prédéfinie, issue par exemple d'un sitemap XML ou d'un export de la GSC. Le mode List convient aux vérifications ciblées de clusters de pages précis.

Mode mémoire ou mode de stockage en base de données : par défaut, Screaming Frog démarre en mode de stockage en base de données et enregistre les données du crawl sur le disque. Avec un SSD, ce mode est presque aussi rapide que la mémoire vive, gère des volumes bien plus importants et enregistre les crawls automatiquement. Les comparaisons de crawls n'existent que dans ce mode. Selon l'éditeur, le mode mémoire (RAM) convient aux sites de moins de 500 000 URL et aux ordinateurs sans SSD. Au-delà d'environ 500 000 URL, le crawl relève donc en règle générale du mode base de données. Google adresse son guide sur le budget de crawl surtout aux sites à partir de 10 000 pages uniques dont le contenu change chaque jour et aux sites à partir de 1 million de pages uniques dont le contenu change chaque semaine. Selon Google, ces chiffres sont des ordres de grandeur. Pour les sites de cette taille, le budget de crawl mérite une analyse à part.

Configurer le crawl pour collecter des données fiables

Un crawl ne vaut que par sa configuration. Avant de le lancer, il faut prendre quelques décisions qui influencent fortement le résultat.

User-agent : Screaming Frog peut se présenter comme son propre crawler, comme Googlebot (smartphone ou desktop) ou avec un user-agent personnalisé. Crawler en tant que Googlebot Smartphone révèle les contenus servis spécifiquement aux mobiles et le cloaking.

Respect du robots.txt : par défaut, l'outil respecte le robots.txt. Pour un audit complet, il est souvent utile de l'ignorer afin de voir aussi les zones bloquées, ou de tester un robots.txt personnalisé avant sa mise en ligne. Vérifie aussi quel code de statut renvoie le robots.txt lui-même. Selon le Web Almanac 2024, 14,1 % des requêtes mobiles et 14,3 % des requêtes desktop renvoyaient une erreur 404 pour le robots.txt. Google traite un statut 4xx (sauf 429) comme un fichier absent et crawle alors sans restriction. Les réponses 5xx posent un vrai problème : dans ce cas, Google interrompt d'abord le crawl du site pendant douze heures, puis utilise pendant 30 jours au maximum la dernière version récupérée sans erreur.

Rendu JavaScript : de nombreux sites B2B modernes génèrent leur contenu côté client. Lors d'un crawl standard, Screaming Frog ne voit que le HTML initial. Seul le mode de rendu JavaScript (Chrome headless) exécute le JavaScript et récupère ce que voit réellement l'appareil de l'utilisateur. Ce mode est plus lent et plus gourmand en ressources, mais indispensable pour les Single-Page Applications et les frameworks JS. En comparant un crawl avec rendu et un crawl sans rendu, tu vois quels contenus et liens n'apparaissent que côté client, un risque d'indexation souvent sous-estimé.

Bonnes pratiques : des codes de statut au maillage interne

Un workflow de crawl structuré progresse de l'accessibilité technique vers la qualité du contenu.

Analyse des codes de statut et des liens cassés : dans l'onglet « Response Codes », l'outil affiche toutes les erreurs 404, les erreurs serveur 5xx, les chaînes de redirections et les boucles de redirection. La priorité dépend du poids du maillage : une erreur 404 vers laquelle pointent cent liens internes est plus urgente qu'une erreur orpheline. Les chaînes de redirections à plusieurs étapes gaspillent du budget de crawl, diluent les signaux de liens et devraient être réduites à une redirection 301 directe.

Indexabilité et pilotage du crawl : la colonne « Indexability » indique si une URL est indexable et, sinon, pourquoi. Les constats fréquents sont des directives noindex sur des pages importantes, des incohérences de canonical et des directives robots contradictoires. Selon le Web Almanac 2024, 69 % des pages desktop et 65 % des pages mobiles utilisent des balises canonical, mais 0,8 % présentent des valeurs canonical contradictoires, ce que Google considère comme un comportement indéfini. Screaming Frog met précisément ces incohérences en évidence de façon systématique.

Audit on-page : le crawl relève la longueur des titres et des meta descriptions, les H1 manquants ou en double, le thin content et les textes alt manquants. Les meta descriptions sont un manque classique : selon le Web Almanac 2024, seulement 66,7 % des pages desktop et 66,4 % des pages mobiles avaient une meta description. Une analyse d'Ahrefs portant sur plus d'un million de domaines a même conclu que les meta descriptions manquaient sur 72,9 % des sites étudiés. Une nuance importante : Ahrefs souligne que l'absence de meta description ne pose pas de problème direct de classement, car Google en génère automatiquement. Prioriser ce type de constats fait partie de l'évaluation experte.

Maillage interne et architecture du site : avec la profondeur de crawl (Crawl Depth), l'outil indique à combien de clics de la page d'accueil se trouve une page. Les pages importantes doivent être accessibles en peu de clics. Les pages orphelines, c'est-à-dire sans lien interne entrant, apparaissent en croisant le crawl avec le sitemap ou les données de la GSC. La répartition des liens entrants révèle quelles URL reçoivent du link equity interne et lesquelles en manquent.

Enrichissement des données et visibilité IA

Un crawl seul fournit des constats techniques sans contexte de trafic. Seule l'intégration par API permet de le prioriser.

Intégration par API : Screaming Frog se connecte directement à Google Search Console, à GA4 et à l'API PageSpeed Insights. Via Ahrefs, Majestic ou Moz, tu peux ajouter des métriques de liens comme les backlinks et les domaines référents. Tu obtiens ainsi un crawl pondéré par le trafic : une erreur technique sur une page à fort trafic organique passe nettement avant la même erreur sur une page sans clics.

Données structurées : pendant le crawl, l'outil valide le balisage Schema.org et signale les données structurées manquantes ou erronées. Un balisage correct est la condition des résultats enrichis et, de plus en plus, du traitement par les systèmes d'IA.

Pilotage des crawlers IA : aujourd'hui, le robots.txt encadre les moteurs de recherche classiques et les crawlers IA comme GPTBot. Screaming Frog peut vérifier quelles directives s'appliquent à ces user-agents. Si tu veux être cité dans les réponses d'IA (AI Answer Inclusion), tu dois décider consciemment quels crawlers IA ont accès. En 2024, peu de sites l'ont fait : selon le Web Almanac 2024, seulement 2,6 % (mobile) ou 2,9 % (desktop) des fichiers robots.txt citaient explicitement GPTBot. Aucun autre crawler IA n'était cité plus souvent.

Erreurs fréquentes dans l'analyse de crawl

Crawler des sites JS sans rendu JavaScript : si tu crawles un site rendu côté client sans le mode de rendu, tu passes à côté de contenus et de liens manquants et tu tires de mauvaises conclusions.

Des constats sans priorisation : un export de crawl de plusieurs milliers de lignes n'est pas un plan d'action. Sans pondération par le trafic via la GSC ou Analytics, on gaspille des ressources sur des constats sans importance.

Ignorer la configuration du robots.txt : un crawl qui respecte aveuglément le robots.txt passe à côté des zones bloquées. Un crawl qui l'ignore sans le documenter produit des constats sur des pages qui, en réalité, ne sont même pas crawlables.

Mauvais choix du mode de stockage : crawler de grands sites en mode RAM provoque des plantages. En mode base de données sur un disque dur classique (HDD), le support de stockage devient le goulot d'étranglement.

Un crawl ponctuel au lieu d'un monitoring : un crawl isolé n'est qu'un instantané. Les problèmes techniques apparaissent en continu avec les déploiements, les modifications de contenu et les migrations.

Métriques, mesure et reporting

Une analyse de crawl ne prend de la valeur que lorsque ses constats sont traduits en KPI mesurables.

Comparaisons de crawls dans le temps : en mode de stockage en base de données, la version payante permet de comparer des crawls. Tu vois ainsi si le nombre d'erreurs 404 baisse, si les chaînes de redirections ont été supprimées et si de nouveaux problèmes d'indexation sont apparus.

Planification et automatisation : des crawls planifiés (par exemple chaque semaine) assurent un monitoring technique continu, dont les résultats sont exportés et intégrés aux rapports.

Traduction en KPI SEO : les constats techniques se relient aux métriques business. Une baisse du nombre de pages indexables est corrélée à une baisse des impressions dans la GSC. Corriger les liens cassés et raccourcir les chaînes de redirections améliore l'efficacité du crawl. L'effet se suit via le trafic organique, le taux d'indexation et l'indice de visibilité (Sistrix, par exemple). Un audit technique devient ainsi une contribution démontrable au ROI SEO.

Pour aller plus loin : du crawl au plan d'action priorisé en B2B

Un workflow bien pensé intègre Screaming Frog dans l'ensemble de la boîte à outils SEO. Le crawl fournit la base de données technique. La GSC et GA4 apportent le contexte de trafic. Sistrix ou Ahrefs apportent la perspective de visibilité et de concurrence.

Le déroulé pratique d'un audit B2B suit généralement cinq étapes. Premièrement, configurer correctement le crawl (user-agent, rendu, mode de stockage). Deuxièmement, connecter la GSC, GA4 et un outil de backlinks pour pondérer les constats. Troisièmement, prioriser les constats selon leur gravité et leur importance pour le trafic. Quatrièmement, en tirer un plan d'action concret et applicable qui attribue des responsables aux constats techniques. Cinquièmement, suivre le résultat grâce à des crawls de contrôle planifiés et le comparer à l'évolution de la visibilité face à la concurrence.

L'analyse de crawl passe ainsi du simple scan d'erreurs à un outil de pilotage stratégique qui relie l'excellence technique à des résultats business mesurables.