GPTBot et robots IA : comprendre et arbitrer

Qu’est-ce que GPTBot ?

GPTBot est le robot d’OpenAI chargé de collecter des pages web pouvant servir à l’entraînement de ses modèles d’IA générative. OpenAI le décrit comme un outil pour rendre ses modèles « plus utiles et plus sûrs » (OpenAI, Overview of OpenAI Crawlers). Il s’identifie avec la mention GPTBot dans sa chaîne user-agent et respecte les règles de robots.txt.

Point souvent mal compris : GPTBot n’alimente pas la recherche de ChatGPT. Ce rôle revient à OAI-SearchBot. OpenAI précise que les deux réglages sont indépendants. Un site peut autoriser OAI-SearchBot pour apparaître dans la recherche et refuser GPTBot. Si les deux sont autorisés, OpenAI peut utiliser une seule exploration pour les deux usages.

Quels sont les principaux robots IA et à quoi servent-ils ?

Chaque grand éditeur distingue désormais plusieurs robots. Le tableau ci-dessous reprend leur documentation officielle, consultée le 24/09/2026. Les noms changent souvent : revérifiez sur la page de l’éditeur avant toute modification.

Éditeur	Entraînement	Index de recherche	Récupération à la demande
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User (robots.txt peut ne pas s’appliquer)
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	Aucun robot d’entraînement déclaré	PerplexityBot	Perplexity-User (ignore en général robots.txt)
Google	Jeton Google-Extended (pas un robot)	Googlebot, qui alimente aussi AI Overviews et AI Mode	Non concerné ici

Anthropic : ClaudeBot et ses deux compagnons

Anthropic décrit trois robots (Anthropic, article d’aide mis à jour le 07/04/2026). Bloquer ClaudeBot signale que vos contenus futurs doivent être exclus des jeux d’entraînement. Bloquer Claude-User empêche Claude de récupérer votre page quand un utilisateur pose une question. Bloquer Claude-SearchBot empêche l’indexation de vos contenus pour sa recherche. Anthropic précise aussi que les règles s’appliquent sous-domaine par sous-domaine.

Perplexity : un index, pas d’entraînement déclaré

Perplexity indique que PerplexityBot sert à faire apparaître et lier des sites dans ses résultats. Il n’est pas utilisé pour entraîner des modèles de fondation. Perplexity-User, lui, visite une page quand un utilisateur pose une question. L’éditeur précise qu’il ignore en général robots.txt, puisque la visite est demandée par une personne (Perplexity, documentation des robots).

Google : Google-Extended n’est pas un robot

Google-Extended ne dispose d’aucune chaîne user-agent propre : il s’agit d’un jeton lu dans robots.txt. Il contrôle l’usage de vos contenus pour entraîner les futurs modèles Gemini et pour l’ancrage (grounding) dans les applications Gemini et l’API Vertex AI. Google précise qu’il n’a aucune incidence sur l’inclusion dans la recherche et n’est pas un signal de classement (Google Search Central, robots d’exploration courants). Les AI Overviews de Google et AI Mode reposent, eux, sur Googlebot.

Faut-il bloquer GPTBot et les robots d’entraînement ?

C’est une décision de politique de contenu, à prendre par écrit avec la direction. Elle se raisonne famille par famille.

Famille	Effet d’un blocage	Recommandation par défaut
Entraînement (GPTBot, ClaudeBot, Google-Extended)	Vos contenus sortent des futurs corpus. Aucun retour direct mesurable, effet de long terme sur ce que le modèle sait de vous	Choix éditorial : bloquer si vos contenus sont votre produit (média, données payantes)
Index de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot)	Vos pages ne peuvent plus être citées comme sources par ces moteurs	Autoriser si la visibilité IA fait partie de vos objectifs
Récupération à la demande (ChatGPT-User, Claude-User, Perplexity-User)	Un utilisateur ne peut plus faire lire votre page par l’assistant	Autoriser : c’est une personne qui demande la page

Une marque qui veut être citée par ChatGPT doit au minimum laisser passer OAI-SearchBot. Notre article sur le référencement ChatGPT détaille les autres leviers.

Comment autoriser ou bloquer les robots IA dans robots.txt ?

La syntaxe est celle de tout robots.txt : un groupe de règles pour un ou plusieurs user-agents. Exemple d’une politique « recherche oui, entraînement non » :

# Moteurs de réponse : autorisés
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# Entraînement : refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

• OpenAI indique un délai d’environ 24 heures pour prendre en compte une modification de robots.txt ;
• chaque sous-domaine a son propre robots.txt : vérifiez-les tous ;
• un Disallow hérité d’une ancienne politique peut bloquer un robot de recherche sans que personne ne le sache.

Les règles générales de syntaxe, de priorité et de test sont détaillées dans notre guide du fichier robots.txt. Le fichier llms.txt, souvent cité à ce stade, ne bloque ni n’autorise aucun robot : voir notre analyse du fichier llms.txt.

Pourquoi robots.txt ne suffit pas : la couche CDN

Un CDN ou un pare-feu applicatif peut refuser un robot avant qu’il ne lise robots.txt. C’est le point aveugle le plus fréquent en audit. Chez Cloudflare, trois étapes se sont succédé.

1. 01/07/2025 : blocage des robots IA par défaut pour les nouveaux domaines (communiqué Cloudflare) et lancement de pay per crawl, qui permet de facturer l’exploration (Cloudflare, pay per crawl).
2. 24/09/2025 : signaux de contenu dans robots.txt (search, ai-input, ai-train), des préférences déclaratives sans force technique (Cloudflare, Content Signals Policy).
3. 15/09/2026 : nouveaux réglages par défaut pour les nouveaux domaines. Robots d’entraînement et agents bloqués sur les pages qui affichent de la publicité, robots de recherche autorisés (Cloudflare, annonce du 01/07/2026).

Comment vérifier que les robots IA visitent votre site ?

La lecture de robots.txt dit ce qui est permis, pas ce qui se passe. Trois contrôles complètent le diagnostic.

• Journaux serveur : filtrez les user-agents GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, et relevez pages visitées et codes réponse. Méthode détaillée dans notre guide d’analyse de logs.
• Plages d’adresses IP : OpenAI publie les plages de chacun de ses robots au format JSON. Une visite qui se dit GPTBot hors de ces plages est un imposteur.
• Test d’accès réel : une requête avec le user-agent du robot montre la réponse du CDN (code 200 ou blocage).

Google-Extended n’apparaît jamais dans les logs, puisqu’il ne s’agit pas d’un robot. Pour suivre ensuite l’effet de ces réglages sur les citations, voyez notre page pour mesurer la visibilité IA. La stratégie d’ensemble est dans notre guide du GEO.