Crawler web : qu’est-ce que c’est et comment fonctionne-t-il ?

Qu’est-ce qu’un crawler web ?

Un crawler web est un programme qui parcourt le web de lien en lien pour découvrir des pages et les télécharger. Google emploie le terme générique « robot d’exploration », ou simplement « robot », pour tout programme qui découvre et analyse automatiquement des sites.

Synonymes courants : spider, bot, robot, web crawler. « Robot d’indexation » circule aussi, mais le terme est inexact : le robot explore, l’indexation est une étape séparée chez Google.

L’exploration est la première étape du référencement, détaillée dans notre guide du SEO. Ne pas publier de lien ne suffit pas à cacher une page : Google juge « quasiment impossible » de garder un site secret de cette façon.

Comment fonctionne un crawler web ?

Un crawler web part d’URL connues, télécharge chaque page, en extrait les liens et place les nouvelles adresses dans une file d’attente. Aucun registre central n’existe : Google découvre les URL par les liens des pages connues et par les sitemaps (guide du fonctionnement de la recherche Google, mis à jour le 18/12/2025).

1. URL connues : pages déjà explorées, liens trouvés ailleurs, URL d’un sitemap XML.
2. robots.txt : le robot lit les règles du site avant d’en explorer les pages.
3. Téléchargement : une requête HTTP renvoie un code de réponse et le HTML.
4. Liens : les liens <a href> de la page rejoignent la file d’attente.
5. Rendu : Google exécute le JavaScript avec une version récente de Chromium et relève les liens du HTML rendu.
6. Retour : le robot repasse sur les pages connues, au rythme qu’il choisit.

Googlebot décide par algorithme quels sites explorer, à quelle fréquence et combien de pages extraire de chacun. Il ralentit selon les réponses du serveur : pour lui, une erreur 500 signifie « ralentir ».

Explorer n’est pas indexer

Google décrit trois étapes, exploration, indexation et diffusion des résultats, détaillées dans notre page sur le fonctionnement de Google. Toutes les pages ne franchissent pas chaque étape.

Pour la méthode, voyez comment faire indexer une page.

Quels sont les différents types de crawlers ?

Les robots qui explorent le web se rangent en six familles, selon ce qu’ils font des pages et leur rapport au robots.txt. Chez Google, Googlebot respecte toujours le robots.txt pour l’exploration automatique, mais des robots spéciaux comme AdsBot peuvent s’en écarter selon un accord avec le site.

L’extraction à la demande échappe donc en partie au robots.txt. Chez OpenAI, chaque robot se règle à part : bloquer GPTBot ne bloque pas OAI-SearchBot (présentation des robots d’OpenAI, non datée). Anthropic indique que ses robots respectent le robots.txt et ne contournent pas les CAPTCHA (centre d’aide de Claude).

Pour décider quels robots des IA laisser passer, voyez notre page sur les robots des IA.

Que fait Googlebot, d’après Google ?

Googlebot est le robot d’exploration de la recherche Google. Le nom couvre deux robots, Googlebot Smartphone et Googlebot Desktop, qui partagent le jeton Googlebot du robots.txt ; la plupart des requêtes viennent du mobile.

Google liste d’autres robots communs dans sa présentation des robots d’exploration (16/06/2026) : Googlebot Image, Video et News, Storebot-Google (Shopping), Google-InspectionTool (outils de test) et GoogleOther. La chaîne User-Agent de Googlebot Smartphone se termine par (compatible; Googlebot/2.1; +http://www.google.com/bot.html).

Comment contrôler les crawlers qui visitent votre site ?

Le fichier robots.txt indique aux robots ce qu’ils peuvent explorer. Le RFC 9309 précise que ces règles « ne sont pas une forme d’autorisation d’accès ».

Né d’un consensus du 30 juin 1994 entre auteurs de robots, consigné par Martijn Koster, le protocole a été normalisé par l’IETF en septembre 2022. Le RFC 9309, signé par Koster et trois auteurs de Google, impose de lire au moins 500 Kio du fichier et autorise un cache de 24 heures. Google applique ces deux valeurs. Pour lui, le robots.txt sert d’abord à éviter de surcharger un site, pas à retirer une page des résultats.

Google remonte ensuite la vitesse de lui-même (Réduire la vitesse d’exploration de Google, 12/10/2026). La même page attribue surtout les hausses d’exploration aux facettes, filtres et tris, et aux calendriers à URL infinies.

Pour savoir si votre site est concerné par une limite d’exploration, voyez notre page sur le budget crawl. La syntaxe et le cas de WordPress sont dans notre guide du robots.txt.

Comment reconnaître un vrai Googlebot ?

Le User-Agent de Googlebot est souvent usurpé. Google recommande une double résolution DNS : l’adresse IP doit donner un nom en googlebot.com, google.com ou googleusercontent.com, et ce nom doit renvoyer la même IP. En ligne de commande : host <adresse IP>, puis host <nom obtenu>. Google publie aussi ses plages d’IP en JSON.

Common Crawl signale aussi de faux CCBot ; le vrai a un DNS inverse en crawl.commoncrawl.org. Bing fournit un outil « Verify Bingbot ». Ces contrôles portent sur les adresses de vos journaux serveur : voyez notre méthode d’analyse de logs.

Qu’est-ce qu’un crawler SEO ?

Un crawler SEO est un logiciel qui explore un site comme le ferait un robot de moteur, pour en relever les codes HTTP, les liens, la profondeur de clic et les balises.

Sa limite : il simule l’exploration à un instant donné. Ce que Googlebot a réellement fait se lit dans les journaux serveur et dans le rapport Statistiques sur l’exploration de la Search Console, que Google juge « probablement d’aucune utilité » sous 1 000 pages.

Screaming Frog SEO Spider est gratuit jusqu’à 500 URL ; une licence débloque l’exploration au-delà et des fonctions avancées, comme le rendu JavaScript. Elev8 Lab n’a aucun lien commercial avec les éditeurs cités.

Exemple : ce qu’un crawler voit sur elev8-lab.fr

Crawl de lecture mené par Elev8 Lab le 19/10/2026 : un script Python suit depuis l’accueil les liens <a href> du domaine, sans paramètres d’URL, respecte le robots.txt et se déclare avec un User-Agent propre.

Le robots.txt ne ferme que l’administration et la connexion de WordPress (quatre règles) et autorise par défaut les robots des moteurs et des IA. D’où l’absence d’URL bloquée.

Tous les articles et guides français sont à 2 clics ou moins de l’accueil ; plus loin, il ne reste que des pages de pagination et des archives d’auteur.

Les 20 pages hors sitemaps sont ces pages de liste : le crawler les trouve par les liens, car le sitemap aide la découverte sans la limiter. Aucune erreur 404 ni redirection n’est apparue.

Les pages mesurées pèsent environ 8 % de la limite de 2 Mo de Googlebot. La page /seo/budget-crawl/ est servie en gzip, mais la limite porte sur les données non compressées : ce sont ses 160 Ko qui comptent. Les durées, mesurées à distance, restent un ordre de grandeur.

Crawler ou scraper : quelle différence, quelles règles ?

Un crawler web découvre et parcourt des pages ; un scraper en extrait des données ciblées pour les réutiliser.

Google classe comme spam le scraping qui republie le contenu d’autres sites sans valeur ajoutée ni citation, pour manipuler le classement, ainsi que le scraping non autorisé de ses résultats.

En droit européen, l’article 4 de la directive (UE) 2019/790 crée une exception de fouille de textes et de données pour les contenus accessibles de manière licite. Elle ne joue pas si les titulaires de droits ont réservé cet usage « de manière appropriée, notamment par des procédés lisibles par machine ». Depuis le 2 août 2025, l’article 53 de l’AI Act (règlement (UE) 2024/1689) impose aux fournisseurs de modèles d’IA à usage général une politique de respect du droit d’auteur, qui identifie et respecte cette réserve.

Pour les données personnelles, la fiche de la CNIL sur le moissonnage du 19/06/2025 pose que le moissonnage « n’est pas interdit en lui-même » mais s’analyse au cas par cas, avec une minimisation obligatoire. Ne pas exclure les sites qui s’y opposent par robots.txt ou CAPTCHA sort, selon elle, des attentes raisonnables des personnes. Elle cite d’autres signaux (ai.txt, TDMRep, balises noai) et constate qu’aucun standard unique n’existe.

Pour lancer votre propre crawler web, reprenez les règles de notre crawl : robots.txt respecté, User-Agent identifiable, une requête par seconde. Si des données personnelles sont en jeu, ajoutez l’analyse au cas par cas que demande la CNIL.