Robots des IA et site d'avocat : GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, lesquels autoriser
9 min de lecture
Un cabinet qui veut être cité par les IA sans fournir de matière à leur entraînement peut le faire : il autorise les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot et Googlebot) et décide à part pour les robots d'entraînement (GPTBot, ClaudeBot). Google-Extended est un cas particulier : le bloquer refuse l'entraînement des modèles Gemini, mais retire aussi les pages de l'ancrage des réponses de l'application Gemini. Tout se règle dans le fichier robots.txt, placé à la racine du site.
Ce fichier exprime une demande, pas une serrure. La norme qui le décrit, la RFC 9309, le dit en une phrase : ces règles « ne sont pas une forme d'autorisation d'accès ». Ce qui suit reprend ce que chaque éditeur écrit dans sa propre documentation.
Trois familles de robots
Les éditeurs d'IA séparent désormais leurs robots selon l'usage :
- Les robots d'entraînement collectent des pages qui peuvent servir à entraîner de futurs modèles. Les bloquer n'empêche pas d'être cité.
- Les robots de recherche construisent l'index dans lequel l'IA puise ses sources quand elle cherche sur le web. Les bloquer fait sortir le site des réponses.
- Les visites à la demande d'un utilisateur ont lieu quand quelqu'un pose une question qui exige de lire une page précise. Plusieurs éditeurs préviennent que le robots.txt peut ne pas s'appliquer à ces visites.
Éditeur par éditeur
OpenAI (ChatGPT)
La documentation d'OpenAI décrit trois agents principaux :
- OAI-SearchBot alimente la recherche de ChatGPT. Si vous le bloquez, vos pages ne figurent plus dans ses réponses ; elles peuvent tout au plus apparaître comme lien de navigation. OpenAI recommande de l'autoriser et d'accepter ses adresses IP publiées.
- GPTBot rassemble des pages susceptibles d'entraîner les modèles de fondation d'OpenAI. Une interdiction signifie que le contenu ne doit pas y être utilisé.
- ChatGPT-User se rend sur une page lorsqu'une question d'utilisateur l'exige. Il ne parcourt pas le web de façon automatique et ne sert pas à décider de l'apparition dans la recherche. OpenAI écrit que les règles du robots.txt peuvent ne pas s'appliquer à ces visites.
Les réglages sont indépendants. Côté recherche, OpenAI compte environ 24 heures pour s'ajuster à une modification du robots.txt.
Anthropic (Claude)
La page d'Anthropic sur ses robots en décrit trois :
- ClaudeBot collecte des contenus qui pourraient contribuer à l'entraînement. Le restreindre signale que les futurs contenus du site doivent être exclus des données d'entraînement.
- Claude-SearchBot explore le web pour rendre les réponses de recherche plus pertinentes et plus exactes. Le bloquer empêche Anthropic d'indexer le contenu pour sa recherche, avec un risque de moindre visibilité et d'informations moins exactes dans les réponses.
- Claude-User récupère une page au moment où un utilisateur interroge Claude. Le désactiver empêche Claude de récupérer le contenu pour répondre, ce qui peut réduire la visibilité du site.
Anthropic indique que ses robots respectent le robots.txt et acceptent la directive non standard Crawl-delay. Il ajoute deux précisions pratiques : la règle doit être posée sur chaque sous-domaine concerné, et bloquer ses adresses IP peut ne pas fonctionner, puisque cela l'empêche de lire le fichier robots.txt. Depuis le 30 octobre 2026, Anthropic dit tenir compte aussi d'un signal général « pas d'entraînement » issu des travaux du groupe aipref de l'IETF ; une règle qui nomme ClaudeBot reste prioritaire.
Perplexity
La documentation de Perplexity présente deux agents :
- PerplexityBot fait apparaître les sites, avec un lien, dans les résultats de recherche. Perplexity précise qu'il ne sert pas à collecter des contenus pour entraîner des modèles de fondation.
- Perplexity-User visite une page pour répondre à la question d'un utilisateur et peut inclure un lien vers elle. Perplexity écrit que, la visite étant demandée par l'utilisateur, cet agent ignore en général le robots.txt.
Les changements peuvent prendre jusqu'à 24 heures.
Pour Google, il faut distinguer deux jetons.
- Googlebot reste le robot de la recherche Google. Google écrit que l'IA fait partie intégrante de la recherche et que les directives du robots.txt pour Googlebot sont le moyen de gérer l'exploration, y compris pour les Aperçus IA et le Mode IA (page de Google sur les fonctionnalités d'IA). Bloquer Googlebot, c'est quitter la recherche Google.
- Google-Extended est un jeton sans robot propre : l'exploration passe par les robots habituels de Google, et le jeton ne sert qu'au contrôle dans le robots.txt. D'après la liste des robots de Google, il permet de refuser que les contenus servent à entraîner les futures générations de modèles Gemini, et à l'ancrage des réponses dans les applications Gemini et sur Vertex AI. Google précise qu'il n'a aucune incidence sur l'inclusion d'un site dans la recherche Google, ni sur son classement.
La même page annonce que Google prévoit de prendre en charge le signal commun AIPREF début 2027. Pour les Aperçus IA et le Mode IA, Google propose en outre un réglage dans la Search Console, détaillé dans notre article sur les Aperçus IA et le Mode IA.
Lesquels autoriser : trois configurations
Un fichier robots.txt sans règle visant ces robots les autorise tous. Les exemples ci-dessous ne concernent que les robots des IA ; vos autres règles restent à part.
1. Tout autoriser
C'est la situation par défaut. Le cabinet peut être cité partout où il est trouvé, et ses pages peuvent servir à l'entraînement. Il n'y a rien à écrire, à condition qu'aucune règle existante ne bloque ces robots.
2. Être cité, sans servir à l'entraînement
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
OAI-SearchBot, Claude-SearchBot, PerplexityBot et Googlebot restent autorisés. Pour Google-Extended, le choix est plus délicat : l'ajouter à cette liste refuse l'entraînement de Gemini, mais retire aussi les pages de l'ancrage des réponses de l'application Gemini. Un cabinet qui veut être présent dans Gemini le laisse passer.
3. Tout refuser
Bloquer OAI-SearchBot, Claude-SearchBot et PerplexityBot fait sortir le site des réponses de ChatGPT, de Claude et de Perplexity. Les visites à la demande d'un utilisateur peuvent continuer, puisque plusieurs éditeurs indiquent que le robots.txt peut ne pas s'y appliquer. Pour un cabinet qui cherche à être trouvé, cette configuration va contre l'objectif.
Pour un cabinet dont le but est d'être cité, la configuration 1 ou 2 est cohérente. Choisir entre les deux relève d'une préférence sur l'entraînement, pas de la visibilité : en dehors de Google-Extended, aucun de ces éditeurs ne lie l'entraînement à la citation dans sa documentation.
Les pièges fréquents
Un groupe dédié fait oublier les règles générales. Selon la RFC 9309, un robot qui trouve un groupe portant son nom applique ce groupe, et seulement lui ; il ne regarde le groupe User-agent: * que s'il n'en trouve aucun à son nom. Si vous créez un groupe pour GPTBot, les interdictions écrites sous * ne s'appliquent plus à lui.
Le pare-feu bloque sans le dire. OpenAI recommande d'accepter ses adresses IP publiées ; Google cite, parmi les bonnes pratiques, une exploration autorisée « par toute infrastructure CDN ou d'hébergement » ; Anthropic rappelle qu'un blocage par adresse IP l'empêche de lire le robots.txt. Un service anti-robots activé par l'hébergeur peut donc annuler un robots.txt parfaitement rédigé. Demandez à votre prestataire ce qui est filtré.
Chaque sous-domaine a son propre fichier. La norme place le fichier à la racine de chaque service. Un sous-domaine qui héberge des pages du cabinet doit avoir son robots.txt, comme le rappelle Anthropic.
Les effets ne sont pas immédiats. Comptez environ 24 heures chez OpenAI, jusqu'à 24 heures chez Perplexity. Chez Google, une nouvelle exploration peut prendre de plusieurs jours à plusieurs mois selon la page.
Le robots.txt ne protège rien de confidentiel. Il est public et ne bloque que les robots qui acceptent de le lire. Aucune information couverte par le secret professionnel n'a sa place sur une page accessible en ligne, robots.txt ou pas.
Comment vérifier
- Ouvrez l'adresse de votre site suivie de
/robots.txtet relisez chaque groupeUser-agent. - Cherchez dans les journaux du serveur les noms des agents (
OAI-SearchBot,Claude-SearchBot,PerplexityBot) pour voir s'ils passent et quelle réponse ils reçoivent. - Un nom d'agent peut être usurpé : OpenAI et Perplexity publient la liste de leurs adresses IP, qui permet de vérifier qu'une visite vient bien d'eux.
- Refaites ce contrôle après chaque refonte ou changement d'hébergeur.
Le robots.txt n'est qu'une condition d'accès. La façon dont ChatGPT choisit ensuite ses sources est détaillée dans comment ChatGPT choisit les cabinets qu'il cite, celle des autres assistants dans d'où Perplexity, Gemini, Claude, Grok et Copilot tirent leurs sources. Les autres leviers sont présentés dans notre guide du référencement IA d'un cabinet d'avocats.
webavocats vérifie l'accès des robots des IA dans le cadre de son travail de mesure et d'amélioration de la présence des cabinets dans les réponses des IA.
Questions fréquentes
Bloquer GPTBot et ClaudeBot me retire-t-il de ChatGPT et de Claude ?
Non. OpenAI et Anthropic séparent leurs robots d'entraînement (GPTBot, ClaudeBot) de leurs robots de recherche (OAI-SearchBot, Claude-SearchBot). Refuser l'entraînement ne retire pas le site des réponses.
Faut-il bloquer Google-Extended ?
C'est un choix. Le bloquer refuse l'entraînement des futurs modèles Gemini et l'usage des pages pour ancrer les réponses de l'application Gemini. Il n'a aucun effet sur la recherche Google, Aperçus IA compris, qui dépendent de Googlebot.
Un robot peut-il ignorer le robots.txt ?
Oui. La norme précise que ces règles ne sont pas une autorisation d'accès. OpenAI et Perplexity indiquent aussi que leurs visites déclenchées par un utilisateur peuvent ne pas suivre le robots.txt.
Où placer le fichier robots.txt ?
À la racine du site, à l'adresse /robots.txt, en minuscules et encodé en UTF-8, comme le prévoit la RFC 9309. Un fichier par sous-domaine.
Sources
- IETF, RFC 9309, « Robots Exclusion Protocol »
- OpenAI, « Overview of OpenAI Crawlers »
- OpenAI, adresses IP publiées d'OAI-SearchBot
- Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? »
- Perplexity, « Perplexity Crawlers »
- Google Search Central, robots d'exploration courants de Google (Google-Extended)
- Google Search Central, « Fonctionnalités d'IA et votre site Web »
- IETF, groupe de travail AI Preferences (aipref)