Googlebot et crawl : comment Google explore le web

Googlebot est la condition pour qu'un site soit tout simplement trouvé sur Google. Sans crawl réussi, pas d'indexation, sans index pas de classement et sans classement pas de visibilité. Pour les entreprises B2B en Europe, c'est plus qu'un détail technique : qui n'apparaît pas dans la recherche organique est absent du principal canal de recherche d'information de sa cible. Cet article explique comment fonctionne Googlebot, comment tu pilotes son comportement, quelles erreurs bloquent le crawl et comment la donne évolue en ce moment avec les crawlers IA de ChatGPT et Perplexity et avec les AI Overviews de Google.

Pourquoi le crawl décide de ta visibilité

Le crawl est le premier maillon d'une chaîne au bout de laquelle se trouve la réussite commerciale dans la recherche. Googlebot visite des pages, lit leur contenu et suit les liens pour découvrir des URL nouvelles et mises à jour. Ce n'est qu'ensuite que Google peut indexer le contenu et l'afficher pour les requêtes pertinentes. L'ampleur seule montre pourquoi ce processus ne doit pas être laissé au hasard : selon Google, son index compte des centaines de milliards de pages web et pèse bien plus de 100 000 000 gigaoctets. À cette échelle, chaque page se dispute l'attention limitée du crawler.

Sur le marché DACH (Allemagne, Autriche, Suisse) s'ajoute une forte concentration. En Autriche, Google détient selon StatCounter une part de marché de 81,87 % parmi les moteurs de recherche, suivi de Bing avec 9,01 %. La base d'audience est large : selon Statistik Austria, la population autrichienne âgée de 16 à 74 ans comptait 95 % d'internautes pour seulement 5 % de non-utilisateurs. Pour être trouvé en ligne en Autriche, il faut donc optimiser avant tout pour Googlebot. Et le volume de crawl augmente : selon Cloudflare, Googlebot était le crawler le plus actif du web et a progressé de 96 % entre mai 2024 et mai 2025, avec un pic de +145 % en avril 2025.

Comment fonctionne Googlebot : crawl, indexation, classement

Googlebot est le robot d'exploration automatisé de Google. Il existe en deux variantes principales : Googlebot pour smartphone, qui récupère la version mobile, et Googlebot pour ordinateur. Avec l'indexation mobile-first, Google explore aujourd'hui principalement la version mobile d'une page. Si tu ne sers du contenu ou des données structurées que dans la version ordinateur, tu risques qu'ils ne soient pas pris en compte. Les vraies visites de Googlebot peuvent être vérifiées : tu effectues une résolution DNS inverse de l'IP qui accède au site, tu vérifies que le nom d'hôte se termine par googlebot.com ou google.com, puis tu le confirmes par une résolution DNS directe. Tu démasques ainsi les user agents usurpés qui se font passer pour Googlebot.

La recherche Google se déroule en trois étapes qui s'enchaînent :

• Crawl : Googlebot découvre des URL via les liens, les sitemaps et les pages déjà connues, puis récupère leur contenu. Pour les pages modernes, Google effectue ensuite le rendu du contenu comme un navigateur afin de prendre en compte le contenu généré en JavaScript.
• Indexation : Google analyse les textes, les images et les balises clés, repère les doublons et les canonicals, puis enregistre la page dans l'index. Seules les pages indexées peuvent se classer.
• Classement : pour une requête donnée, Google sélectionne dans l'index les résultats les plus pertinents et les trie pour la SERP. Le crawl et l'indexation sont donc la condition préalable, le classement détermine la position.

Comment Googlebot trouve les URL et comment tu le pilotes

Googlebot découvre de nouvelles pages principalement via les liens. Chaque page explorée fournit de nouvelles URL qu'il suit. Il en découle trois leviers essentiels pour influencer activement la découvrabilité de tes pages :

• Maillage interne : une structure de liens plate et logique garantit que les pages importantes sont accessibles en quelques clics depuis la page d'accueil. Les pages orphelines, sans liens internes, sont mal trouvées, voire pas du tout.
• Sitemap XML : le sitemap répertorie toutes les URL pertinentes et les soumet directement via Google Search Console. Il ne remplace pas un bon maillage interne, mais aide surtout pour les sites volumineux ou mal maillés.
• robots.txt : ce fichier, placé à la racine du site, détermine quelles zones un crawler peut explorer. C'est le principal outil de contrôle de l'accès au crawl, mais pas un outil de désindexation.

Le robots.txt mérite une attention particulière, car les erreurs y ont des effets étendus. Selon le Web Almanac 2024, 83,9 % des fichiers robots.txt renvoyaient un statut 200 lors des requêtes mobiles, tandis que 14,1 % répondaient par une 404. Un fichier absent ou défectueux n'a donc rien de rare. L'essentiel est de bien séparer les outils : le robots.txt bloque le crawl, mais n'empêche pas l'indexation d'URL déjà connues.

Comprendre et optimiser le budget de crawl

Le budget de crawl désigne le nombre d'URL que Google peut et veut explorer sur un site. Google le définit comme la combinaison de deux grandeurs : la limite de capacité de crawl et la demande de crawl (Crawl Capacity Limit et Crawl Demand). La limite de capacité correspond au nombre maximal de connexions simultanées ainsi qu'au temps d'attente entre deux requêtes. Si un serveur répond rapidement, la limite augmente ; en cas d'erreurs serveur ou de réponses lentes, elle baisse. La demande de crawl découle du volume de pages perçu, de la popularité des URL et de leur fraîcheur.

Pour la plupart des petits sites, le budget de crawl n'est pas un facteur limitant. Selon Google, il devient surtout pertinent pour les grands sites de plus d'un million de pages uniques dont le contenu change chaque semaine, ou pour les sites moyens à grands à partir de 10 000 pages dont le contenu change très rapidement. Google présente ces valeurs comme des repères approximatifs, pas comme des seuils fixes. Pour les sites concernés, l'essentiel est de ne pas gaspiller de budget : améliorer les performances du serveur, éliminer les soft 404 et les boucles infinies, consolider les doublons et exclure les paramètres d'URL sans importance. Chaque URL explorée inutilement se fait au détriment des pages importantes.

Piloter le crawl et éviter les erreurs

La cause la plus fréquente des problèmes de crawl est la confusion entre les outils de contrôle. Trois mécanismes remplissent trois fonctions différentes et ne doivent pas être mélangés :

• robots.txt : détermine si une URL peut être explorée. Une page bloquée par le robots.txt peut tout de même se retrouver dans l'index si d'autres pages pointent vers elle, mais alors sans contenu, uniquement sous forme d'URL.
• noindex : une balise meta robots ou un en-tête HTTP qui empêche l'indexation. Pour que Google lise la balise, la page ne doit pas être bloquée en même temps par le robots.txt. Selon le Web Almanac 2024, 4,7 % des pages sur ordinateur et 3,9 % des pages mobiles utilisent un noindex.
• canonical : signale la version préférée parmi plusieurs URL similaires et regroupe les signaux de classement, au lieu d'exclure complètement des contenus.

Les pièges de crawl typiques naissent d'une négligence technique. La navigation à facettes, les filtres et les identifiants de session génèrent une infinité de variantes d'URL qui consomment le budget. Le contenu dupliqué disperse les signaux entre des URL concurrentes. Les soft 404, c'est-à-dire des pages d'erreur renvoyant un statut 200 au lieu de 404, se font passer pour des contenus valides et continuent d'être explorées. En repérant ces schémas tôt et en les corrigeant proprement via le code de statut, canonical et noindex, tu maintiens une efficacité de crawl élevée.

Rendu et SEO JavaScript

Les sites modernes servent souvent leur contenu via JavaScript. Googlebot s'en sort en principe, car il effectue le rendu des pages dans un second temps avec le Web Rendering Service (WRS) : il exécute le code comme un navigateur. Ce rendu est toutefois gourmand en ressources et peut intervenir en différé. Le contenu essentiel à la compréhension de la page devrait donc être rendu côté serveur ou pré-rendu, afin d'être pris en compte rapidement et de façon fiable.

La taille des pages et les performances agissent directement sur le crawl. Plus une page est lourde et lente, plus chaque requête consomme de ressources et moins Googlebot traite de pages dans le même laps de temps. La tendance va dans le mauvais sens : selon le Web Almanac 2024, le poids médian des pages sur mobile atteignait 2 311 Ko, soit une hausse de 6,4 % ou 140 Ko par rapport à l'année précédente. Un code léger, des images optimisées et une réponse rapide du serveur ne sont donc pas de simples facteurs de vitesse : ils constituent une optimisation directe du crawl.

Diagnostic du crawl avec les outils et les fichiers de logs

Le crawl se mesure, il ne se devine pas. Deux sources de données sont déterminantes. La première est Google Search Console, qui offre gratuitement une vue de l'intérieur sur le crawl de ton propre domaine :

• Statistiques sur l'exploration : indiquent le nombre de requêtes, les temps de réponse moyens et les codes de réponse au fil du temps, et révèlent les problèmes de serveur.
• Inspection de l'URL : indique pour une URL donnée si elle a été explorée et indexée, quelle URL canonique Google choisit et à quoi ressemble la page rendue.
• Couverture de l'index (Indexation des pages) : liste les pages indexées et les raisons pour lesquelles d'autres ont été exclues, par exemple un noindex, des doublons ou des erreurs de crawl.

La seconde source est l'analyse des logs du serveur. Les fichiers de logs enregistrent chaque visite réelle de Googlebot et montrent ainsi quelles URL sont réellement explorées et à quelle fréquence, où le budget est gaspillé et quelles pages importantes le crawler néglige. Combinés à la vérification par DNS inverse, ils permettent de séparer proprement les vraies visites de Googlebot des fausses. Pour les grands sites, l'analyse de logs est l'outil de diagnostic du crawl le plus précis qui existe.

De Googlebot aux crawlers IA : le GEO en B2B

En plus de Googlebot, une nouvelle génération de bots explore le web pour des systèmes d'IA. GPTBot collecte du contenu pour OpenAI et ChatGPT, ClaudeBot pour Claude d'Anthropic, PerplexityBot pour le moteur de réponse Perplexity. Une différence technique essentielle : ces crawlers IA n'exécutent généralement pas de JavaScript. Le contenu rendu uniquement côté client leur reste invisible, alors que Googlebot peut encore le prendre en compte via le WRS. Google-Extended n'est pas un crawler à part entière, mais un token dans le robots.txt. Il détermine seulement si Google peut utiliser le contenu déjà exploré pour l'entraînement et le grounding de Gemini, et n'a aucun effet sur la recherche Google. Il n'existe pas non plus de crawler distinct pour les AI Overviews : Google n'y renvoie que vers des pages qui figurent dans l'index et peuvent être affichées avec un extrait.

Ce glissement a des conséquences concrètes, car les réponses de l'IA absorbent une part croissante des comportements de recherche. Selon une étude Semrush, aux États-Unis, les AI Overviews se sont déclenchés sur 6,49 % des requêtes en janvier 2025, sur 24,61 % en juillet et sur 15,69 % en novembre. La Generative Engine Optimization (GEO) vise à être cité dans ces réponses générées par l'IA. Une étude internationale montre que des actions GEO ciblées peuvent augmenter jusqu'à 40 % la visibilité dans les réponses des moteurs génératifs.

Pour les entreprises B2B en Europe, il en découle une double tâche. D'abord, décider en connaissance de cause, dans le robots.txt, quels crawlers IA obtiennent l'accès : l'accès assure la visibilité, mais coûte en charge serveur et en contrôle sur le contenu. Ensuite, servir le contenu essentiel sans dépendance à JavaScript et avec une structure claire et facile à extraire, afin que Googlebot comme les crawlers IA puissent le traiter.

Pour aller plus loin

Le crawl est la base invisible de toute stratégie de recherche. Qui comprend Googlebot commence par assurer des bases techniques saines : un robots.txt sans erreur, un sitemap XML à jour, un maillage interne plat et des pages rapides et légères. Les étapes suivantes s'appuient sur ces fondations. Les sujets à approfondir ensuite sont l'indexation et son contrôle via noindex et canonical, le fonctionnement des facteurs de classement, l'optimisation de Google Search Console pour le diagnostic continu, ainsi que la Generative Engine Optimization, discipline à part entière pour la visibilité dans ChatGPT, Perplexity et Google AI Overviews. Ensemble, ils forment le socle de la visibilité organique et portée par l'IA. Si tu ne veux pas contrôler toi-même la base technique en continu, tu peux confier cette tâche à un accompagnement SEO. La visibilité dans les réponses de l'IA relève d'un accompagnement GEO.