Test robots.txtCollez votre fichier, choisissez une page, et voyez quels robots de moteurs et d’IA peuvent la lire.
Le fichier robots.txt dit aux robots ce qu’ils peuvent explorer sur votre site. Une ligne mal écrite, et Google ou une IA ne lit plus vos pages. Cet outil gratuit teste votre fichier pour 15 robots, dans votre navigateur. Rien n’est envoyé.
Tester votre fichier robots.txt
Ouvrez l’adresse de votre site suivie de /robots.txt dans votre navigateur, par exemple votresite.fr/robots.txt. Copiez tout le texte, et collez-le ici.
Le test se fait entièrement dans votre navigateur. Je ne reçois ni votre fichier, ni l’adresse testée. Il applique les règles de la norme RFC 9309 et la façon dont Google les lit : le groupe du robot, sinon le groupe *, puis la règle la plus longue, et en cas d’égalité, la moins restrictive.
Une limite à connaître : chaque robot a sa propre façon de lire le fichier. Ce test vous dit ce que ces règles demandent. Il ne garantit pas qu’un robot les respecte. Pour le savoir, il faut regarder votre journal du serveur.
À quoi sert le fichier robots.txt ?
À dire aux robots ce qu’ils ont le droit d’explorer. Pas à cacher une page de Google.
Le fichier robots.txt est un petit fichier texte, placé à la racine de votre site. Avant d’explorer vos pages, la plupart des robots le lisent. Il leur dit, robot par robot, quelles adresses ils peuvent ouvrir, et lesquelles ils doivent laisser de côté.
Ses règles sont décrites dans une norme, la RFC 9309, publiée en septembre 2022. Google précise que ces règles ne valent que pour le site exact où se trouve le fichier : même nom de domaine, même protocole, même port. Le robots.txt de www.votresite.fr ne vaut pas pour boutique.votresite.fr.
Google rappelle que le fichier sert d’abord à gérer le passage des robots sur votre site. Ce n’est pas un moyen de garder une page hors de Google. Une page bloquée peut même apparaître dans les résultats, sans description, si d’autres sites la citent. Pour retirer une page de Google, Google conseille la balise noindex ou un mot de passe.
C’est un point que je vois souvent mal compris. On bloque une page dans le robots.txt en pensant la cacher. En réalité, on empêche seulement Google de la lire, y compris de lire la consigne noindex qu’elle contient.
Aujourd’hui, le robots.txt a un nouveau rôle : dire aux robots des IA s’ils peuvent lire vos pages. C’est pour ça que l’outil ci-dessus teste aussi GPTBot, ClaudeBot, PerplexityBot et les autres.
Comment l’outil décide-t-il qu’un robot est bloqué ?
La même logique que Google, appliquée ligne par ligne. Le résultat indique la règle qui a décidé.
Il cherche le groupe du robot
Un groupe commence par une ou plusieurs lignes User-agent. Si un groupe porte le nom du robot, il s’applique. Sinon, c’est le groupe *.
Il garde celles qui correspondent
Chaque ligne Allow ou Disallow est comparée à l’adresse testée. Le signe * remplace n’importe quels caractères, et $ marque la fin de l’adresse.
La règle la plus précise gagne
Si plusieurs règles correspondent, c’est la plus longue qui s’applique. Une règle sur /blog/ l’emporte sur une règle sur /.
En cas d’égalité, Allow gagne
Si une règle Allow et une règle Disallow ont la même longueur, Google applique la moins restrictive : la page est autorisée.
Les lignes d’un fichier robots.txt, expliquées
Ce qu’il faut savoir pour lire, ou écrire, votre fichier sans erreur.
Le nom du robot
La ligne User-agent: GPTBot ouvre un groupe pour GPTBot. Le nom ne tient pas compte des majuscules.
User-agent: * vise tous les robots qui n’ont pas de groupe à leur nom.
Ce qui est interdit
Disallow: /wp-admin/ interdit tout ce qui commence par /wp-admin/.
Disallow: / interdit tout le site. Une ligne Disallow vide n’interdit rien.
L’exception
Allow: /wp-admin/admin-ajax.php autorise une adresse à l’intérieur d’un dossier interdit.
C’est la règle la plus longue qui l’emporte.
Les jokers
Disallow: /*?tri= interdit toutes les adresses qui contiennent ?tri=.
Disallow: /*.pdf$ interdit les adresses qui finissent par .pdf.
Le plan du site
Sitemap: suivi de l’adresse complète de votre plan du site. Cette ligne vaut pour tous les robots.
Elle n’appartient à aucun groupe, et vous pouvez en mettre plusieurs.
Le délai entre deux passages
Google ne prend pas en charge cette consigne. Bing indique la respecter, et Anthropic dit que ses robots la suivent.
Ne comptez pas dessus pour ralentir Googlebot.
Les commentaires
Tout ce qui suit un # est ignoré. Pratique pour expliquer une règle à la personne qui reprendra votre site.
Google ignore aussi les lignes qu’il ne comprend pas.
Pas de mélange avec *
Pour Google, un robot qui a son propre groupe ne suit que celui-là. Les règles du groupe * ne s’y ajoutent pas.
Une erreur fréquente : croire qu’un groupe GPTBot hérite des interdictions du groupe *.
La taille maximale
Google lit au plus 500 Kio du fichier. Au-delà, le reste est ignoré.
Google garde aussi le fichier en mémoire jusqu’à 24 heures en général : un changement n’est pas vu tout de suite.
Les erreurs les plus fréquentes dans un robots.txt
Elles sont faciles à faire, et faciles à corriger une fois repérées.
La plus grave : un Disallow: / oublié. On bloque tout le site pendant sa construction, puis on oublie de retirer la ligne à la mise en ligne. Plus aucun robot ne lit le site. Le test de cette page le montre en une seconde.
Deuxième erreur : un groupe à part pour un robot, en croyant qu’il garde aussi les règles du groupe *. Pour Google, ce n’est pas le cas. Si vous créez un groupe GPTBot, recopiez dedans les interdictions qui doivent aussi s’appliquer à lui.
Troisième erreur : bloquer des fichiers dont les pages ont besoin, comme les feuilles de style ou les images. Google conseille de ne pas bloquer les fichiers sans lesquels une page devient difficile à comprendre.
Dernière erreur : le mauvais site. Le fichier de www.votresite.fr ne vaut pas pour votresite.fr sans www, ni pour un sous-domaine. Chaque adresse de site doit avoir le sien, ou rediriger vers la bonne.
Le robots.txt de WordPress
WordPress crée un fichier robots.txt tout seul. Voici ce qu’il contient, et comment le modifier.
Si vous n’avez pas déposé de fichier robots.txt sur votre hébergement, WordPress en fabrique un à la volée. D’après la documentation de WordPress, il contient trois lignes : User-agent: *, une ligne Disallow sur le dossier d’administration, souvent /wp-admin/, et une ligne Allow sur le fichier admin-ajax.php de ce dossier.
Depuis la version 5.3, la case « Demander aux moteurs de recherche de ne pas indexer ce site » n’ajoute plus Disallow: /. WordPress utilise à la place une balise noindex dans les pages. C’est plus juste : Google peut lire la consigne.
Pour modifier votre robots.txt, deux solutions. Déposer un vrai fichier robots.txt à la racine de votre site, qui prend alors la place de celui de WordPress. Ou passer par une extension qui permet de l’éditer depuis l’administration. Dans les deux cas, testez le résultat avec l’outil de cette page.
J’explique tout le fonctionnement du fichier, avec des exemples, dans mon guide sur le fichier robots.txt. Et pour voir ce que les robots font vraiment chez vous, voyez la page Googlebot dans vos logs.
Bloquer les robots des IA : quelle ligne, quel effet ?
Ce que chaque entreprise dit de son robot, d’après sa documentation consultée le 23 octobre 2026.
| Robot | La ligne à écrire | Ce que ça change, selon l’entreprise |
|---|---|---|
| GPTBot | User-agent: GPTBot puis Disallow: / | OpenAI : vos textes ne doivent pas servir à l’entraînement |
| OAI-SearchBot | User-agent: OAI-SearchBot puis Disallow: / | OpenAI : il ne lit plus vos pages pour la recherche de ChatGPT |
| ClaudeBot | User-agent: ClaudeBot puis Disallow: / | Anthropic : il ne collecte plus vos pages pour l’entraînement |
| PerplexityBot | User-agent: PerplexityBot puis Disallow: / | Perplexity : il ne lit plus vos pages pour son index de recherche |
| Google-Extended | User-agent: Google-Extended puis Disallow: / | Google : vos textes ne servent plus à Gemini, sans effet sur la recherche Google |
| Applebot-Extended | User-agent: Applebot-Extended puis Disallow: / | Apple : vos textes ne servent plus à entraîner ses modèles, vous restez dans ses résultats |
Deux robots lisent à la demande d’une personne : ChatGPT-User et Perplexity-User. OpenAI et Perplexity précisent que le fichier robots.txt peut ne pas s’appliquer à eux. Anthropic, lui, indique que Claude-User le respecte.
Moi, sur mon site, je ne bloque aucun robot d’IA. Je recommande de regarder d’abord votre journal pendant quelques semaines : qui lit vos pages, lesquelles, et si des personnes arrivent ensuite. Tout est expliqué sur la page robots des IA.
Comment tester mon fichier robots.txt ?
Ouvrez votresite.fr/robots.txt dans votre navigateur, copiez le texte, et collez-le dans l’outil de cette page. Indiquez l’adresse à tester, puis cliquez sur « Tester ».
Vous voyez, pour 15 robots, si l’adresse est autorisée ou bloquée, et quelle ligne a décidé.
Où se trouve le fichier robots.txt ?
Toujours à la racine du site : votresite.fr/robots.txt. Un fichier placé dans un sous-dossier n’est pas lu.
Sous WordPress, s’il n’existe pas de vrai fichier, WordPress en crée un à la volée.
Le robots.txt empêche-t-il une page d’apparaître dans Google ?
Non. Google le dit clairement : ce n’est pas un moyen de garder une page hors de Google. Une page bloquée peut apparaître sans description si d’autres sites la citent.
Pour retirer une page, Google conseille la balise noindex, ou un mot de passe. Et la page ne doit pas être bloquée dans le robots.txt, sinon Google ne lit pas la consigne.
Comment bloquer GPTBot ?
Ajoutez un groupe à son nom : User-agent: GPTBot, puis Disallow: / sur la ligne suivante.
Testez ensuite le fichier ici. Attention : si vous avez déjà un groupe *, GPTBot ne suivra plus que son propre groupe.
Pourquoi mon test dit-il « autorisé » alors que j’ai bloqué le dossier ?
Vérifiez trois choses. Le nom du robot dans la ligne User-agent. Le début de l’adresse, qui doit correspondre exactement, majuscules comprises. Et une éventuelle règle Allow plus longue, qui l’emporte.
Le résultat de l’outil indique la ligne qui a décidé : c’est le plus rapide pour comprendre.
Le robots.txt est-il respecté par tous les robots ?
Non. C’est une consigne, pas un verrou. Les robots des grands moteurs et des grandes IA disent la respecter, avec des exceptions pour les lectures à la demande d’une personne.
Les robots malveillants l’ignorent. Pour savoir ce qui passe vraiment, il faut regarder votre journal du serveur.
Combien de temps avant que Google voie mon nouveau robots.txt ?
Google indique garder le fichier en mémoire jusqu’à 24 heures en général. OpenAI parle aussi d’environ 24 heures pour sa recherche.
Ne paniquez pas si un changement ne se voit pas dans l’heure.
Faut-il bloquer /wp-admin/ sur WordPress ?
WordPress le fait déjà dans son fichier par défaut, avec une exception pour admin-ajax.php, utilisé par certaines pages publiques.
Si vous écrivez votre propre fichier, gardez ces deux lignes.
Ce test enregistre-t-il mon fichier ?
Non. Tout se passe dans votre navigateur. Je ne reçois ni votre fichier, ni l’adresse testée.
Vous pouvez fermer la page : rien n’est gardé.
Puis-je tester le robots.txt d’un autre site ?
Oui. Ouvrez son adresse suivie de /robots.txt, copiez le texte et collez-le dans l’outil. Le fichier robots.txt d’un site est public.
C’est une bonne façon de voir comment d’autres sites traitent les robots des IA.
Quelle différence entre Disallow et noindex ?
Disallow, dans le robots.txt, demande au robot de ne pas lire la page. Noindex, dans la page, demande au moteur de ne pas la montrer dans ses résultats.
Pour qu’un moteur voie la consigne noindex, il doit pouvoir lire la page. Ne combinez donc pas les deux sur la même adresse.
Laissez l’analyseur surveiller votre robots.txt.
Il le lit chaque jour, et vous prévient le matin s’il se met à bloquer une IA.
Vous m’envoyez l’adresse de votre site et le nom de votre hébergeur.
Je vous réponds avec un code d’invitation à la bêta.
Vous branchez votre site. Vous voyez ce que les robots font vraiment chez vous.
Page publiée le 23 octobre 2026 · Dernière modification le 23 octobre 2026
Demander une invitation