Tester son robots.txt : Google et les robots d'IA

Le robots.txt en deux minutes

C'est un simple fichier texte, posé à la racine du site : monsite.fr/robots.txt. Chaque bloc commence par le nom d'un robot (User-agent), suivi de ce qu'il ne doit pas lire (Disallow) ou de ce qu'il peut lire malgré tout (Allow). Un robot qui n'a pas de bloc à son nom suit le bloc User-agent: *, celui de tout le monde.

Google lit ce fichier d'une façon précise, que l'outil reprend : quand deux règles visent la même page, la plus longue gagne, et Allow l'emporte à égalité. Le signe * remplace n'importe quelle suite de caractères, et $ marque la fin de l'adresse. C'est là que les testeurs simplistes se trompent : Disallow: /fr/ suivi de Allow: /fr/blog/ laisse bien Google lire le blog.

Les robots d'IA, famille par famille

La liste ci-dessous vient des pages officielles de chaque entreprise, relues le 14 novembre 2026. Le point qui change tout : une même entreprise envoie un robot pour sa recherche et un autre pour entraîner ses modèles. On peut donc refuser l'un et garder l'autre.

Deux noms ne sont pas des robots. Google-Extended n'a pas de robot à lui : Google lit votre site avec ses robots habituels, et ce nom dit seulement si Gemini peut se servir de vos pages. Applebot-Extended joue le même rôle chez Apple. Les bloquer ne vous retire ni de Google ni des recherches d'Apple.

Et deux robots ne promettent pas d'obéir. OpenAI écrit que les règles du robots.txt peuvent ne pas s'appliquer à ChatGPT-User, et Perplexity que Perplexity-User les ignore en général. Leur logique : ils agissent pour un utilisateur précis, comme un navigateur.

Un exemple réel : lemonde.fr

Nous avons passé lemonde.fr dans l'outil le 14 novembre 2026. Son robots.txt bloque les trois robots d'Anthropic, CCBot, Google-Extended et Applebot-Extended, mais laisse passer GPTBot et les robots de recherche d'OpenAI et de Perplexity. Et son serveur refuse CCBot (réponse 406) avant même la lecture du fichier. Un grand site fait donc ses choix robot par robot, pas en bloc : c'est exactement ce que le tableau du test permet de voir chez vous.

Autorisé dans le robots.txt, refusé par le serveur

C'est le cas que la plupart des testeurs de robots.txt ne voient pas, et il est courant. Votre robots.txt laisse passer un robot, mais votre pare-feu, votre hébergeur ou votre CDN le refuse avant qu'il ait lu quoi que ce soit : réponse 403, page « Vérification que vous êtes humain », ou page vide. Certains CDN, comme Cloudflare, proposent de bloquer les robots d'IA d'un simple réglage, que l'on oublie ensuite.

Notre outil ouvre la page une fois sous son propre nom, puis une fois sous le nom de chaque robot, et compare les réponses. Une précaution à garder en tête : il se présente sous le nom du robot, mais il ne vient pas de ses adresses. Or un pare-feu bien réglé refuse justement les faux robots, en vérifiant d'où ils viennent avec les listes d'adresses que publient Google, OpenAI, Anthropic, Perplexity, Apple et Common Crawl. Un refus peut donc venir d'une protection saine. Dans ce cas, allez voir dans les réglages de votre pare-feu si les vrais robots sont bien autorisés.

Les erreurs qu'on retrouve le plus souvent

Un Disallow: / oublié après la mise en ligne. Pendant la construction du site, on interdit tout pour que Google n'indexe pas le chantier. Le jour du lancement, personne ne retire la ligne. Le site existe, mais Google ne le lit pas.

Un bloc pour un robot qui annule le bloc général. Un robot qui a son propre bloc ne lit plus le bloc User-agent: *. Si vous écrivez un bloc pour GPTBot avec une seule ligne, toutes les interdictions du bloc général cessent de valoir pour lui.

Bloquer « les IA » en bloc. Une liste trouvée sur un forum qui interdit OAI-SearchBot, Claude-SearchBot et PerplexityBot vous retire des réponses de ChatGPT, de Claude et de Perplexity, alors que vous vouliez seulement refuser l'entraînement.

Croire que le robots.txt cache une page. Une page interdite peut quand même apparaître dans Google si d'autres sites font un lien vers elle, sans son texte. Pour sortir une page de Google, il faut une balise noindex sur une page que Google a le droit de lire.