Budget crawl : comprendre et optimiser l’exploration

Qu’est-ce que le budget crawl ?

Le web est trop vaste pour que Google explore toutes les URL publiques. Il répartit donc son temps d’exploration entre les sites. C’est le budget crawl, ou budget d’exploration (Google, Crawl Budget Management, 22/07/2026). Google le décrit comme la rencontre de deux composantes.

La mise à jour de juillet 2026 précise un point utile. Tous les sites démarrent avec la même limite de capacité, volontairement prudente. Google l’augmente ensuite s’il a des raisons d’explorer davantage et si le site reste en bonne santé.

Votre site est-il concerné par le budget crawl ?

Pour la grande majorité des sites, non. Google réserve son guide à trois profils :

• les grands sites, de l’ordre de 1 million de pages uniques ou plus, dont le contenu change environ une fois par semaine ;
• les sites moyens ou grands, de l’ordre de 10 000 pages uniques ou plus, dont le contenu change chaque jour ;
• les sites dont une grande part des URL apparaît en « Détectée, actuellement non indexée » dans la Search Console.

Google ajoute que ces nombres sont une estimation grossière, « not exact thresholds » (même documentation). Il donne aussi un test simple. Si vos pages sont explorées le jour même de leur publication, ce guide ne vous concerne pas. Un sitemap à jour et un œil régulier sur le rapport d’indexation suffisent.

Comment savoir si Googlebot gaspille votre budget crawl ?

Le rapport Statistiques d’exploration

Dans la Search Console, le menu Paramètres, puis Statistiques d’exploration, montre 90 jours d’activité de Googlebot. Le rapport n’existe que pour les propriétés racine, et Google le juge peu utile sous 1 000 pages. Quatre lectures sont à faire :

• par réponse : une forte part de 301, de 404 ou de 5xx signale du temps perdu ;
• par type de fichier : trop de requêtes sur des scripts ou des images au détriment du HTML ;
• par objectif : la part de découverte (nouvelles URL) face à l’actualisation ;
• état de l’hôte : disponibilité du robots.txt, DNS, connectivité du serveur.

Les logs serveur

Les logs enregistrent chaque requête reçue par le serveur. C’est la seule source qui dit ce que Googlebot fait réellement, URL par URL. Prenez deux précautions. D’abord, vérifiez que les visites attribuées à Googlebot viennent bien de Google. Le DNS inverse ou les plages d’IP publiées le confirment (Google, vérification des robots, 20/03/2026). Ensuite, croisez les URL explorées avec celles de votre crawl. Une page stratégique rarement visitée, ou des milliers d’URL à paramètres très visitées, disent où part le budget.

Côté outils, le Log File Analyser de Screaming Frog est gratuit jusqu’à 1 000 lignes de logs et un projet. Au-delà, la licence coûte 99 £ par an (tarif vérifié le 24/09/2026). La méthode complète est détaillée dans notre guide d’analyse de logs.

Quels leviers améliorent vraiment l’exploration ?

La documentation de Google liste des pratiques précises. Les voici, de la plus structurante à la plus technique :

1. Réduire les URL inutiles : fusionner les doublons (voir le contenu dupliqué), limiter les combinaisons de filtres et de tris.
2. Bloquer l’inutile, ce qui ne doit jamais être exploré : versions triées d’une même liste, défilement infini qui répète des pages liées. Le bon outil est le fichier robots.txt, pour un blocage durable.
3. Répondre 404 ou 410 aux pages supprimées : Google réduit alors progressivement leur exploration (Google, codes HTTP et erreurs réseau, mis à jour le 04/02/2026). Les soft 404, erreurs servies en 200, continuent de consommer du budget.
4. Raccourcir les redirections : chaque saut est une requête de plus. Les liens internes doivent pointer vers l’URL finale.
5. Tenir le sitemap à jour, avec une balise lastmod fiable. Google n’utilise cette date que si elle est exacte de façon constante (Google, créer un sitemap, mis à jour le 08/07/2026). Voir notre article sur le sitemap XML.
6. Accélérer le serveur et gérer le cache HTTP : un temps de réponse stable fait monter la limite de capacité. Le code 304 (non modifié) permet à Google de réutiliser sa copie sans retélécharger la page.

Enfin, l’exploration suit les liens. Une page à cinq clics de l’accueil est en général découverte plus tard qu’une page liée depuis une rubrique. Le maillage interne reste le moyen le plus simple d’indiquer à Googlebot ce qui compte. La règle « trois clics au plus pour une page stratégique » est une convention d’agence. Google ne la formule pas.

Pour obtenir davantage de budget, Google cite deux voies seulement. La première : ajouter des ressources serveur si l’inspection d’URL signale « Hostload exceeded ». La seconde : améliorer la qualité des contenus, c’est-à-dire leur popularité, leur valeur pour l’utilisateur et leur unicité.

Ce qui ne libère pas de budget crawl

Plusieurs réflexes courants n’ont aucun effet, ou un effet contraire. La documentation de Google les écarte explicitement.

Le budget crawl est un chapitre du SEO technique, pas un objectif en soi. Sur un grand site, il se pilote avec les logs et les statistiques d’exploration. Sur les autres, surveiller le rapport d’indexation suffit.