Robots des IAQui lit vos pages : GPTBot, ClaudeBot, PerplexityBot, et ceux qui lisent en direct.
Les intelligences artificielles envoient des robots lire le web. Certains apprennent, d’autres remplissent un index, d’autres lisent pendant qu’une personne pose une question. Votre journal les voit tous. Mon analyseur vous dit lesquels, et sur quelles pages.
Pourquoi suivre les robots IA dans vos logs ?
Parce que c’est le seul endroit où on les voit. Vos statistiques habituelles ne les montrent pas.
Les robots des IA ne se comportent pas comme des visiteurs. Ils demandent la page, prennent le texte, et repartent. Ils ne lancent pas les petits programmes qui servent à compter les visites. Une étude publiée par Vercel en décembre 2024 l’a vérifié : aucun des grands robots d’IA observés n’exécutait le JavaScript des pages.
Résultat : Google Analytics ne les voit pas. La plupart des extensions de statistiques non plus. Le journal du serveur, lui, note chacun de leurs passages, avec leur nom et leur adresse.
Sur mon propre site, j’ai fait le calcul en juillet 2026. Les robots des IA avaient lu mes pages 6 516 fois, pour 42 visiteurs renvoyés vers moi. Je l’ai raconté dans mon article sur l’analyse de logs de mon site. Ce chiffre m’a fait comprendre une chose : il faut savoir qui lit, avant de se demander qui clique.
Tous les robots d’IA ne servent pas à la même chose. Certains lisent pour entraîner un futur modèle. D’autres lisent pour remplir l’index d’un moteur de réponses. D’autres encore lisent en direct, parce qu’une personne vient de poser une question. Ce dernier cas est le plus intéressant : il montre qu’une vraie personne s’intéresse à votre sujet, à ce moment précis.
Mon analyseur sépare ces trois usages. Il vérifie aussi que chaque robot est bien celui qu’il prétend être. Puis il vous montre quelles pages les IA lisent, et lesquelles leur échappent.
Trois familles de robots d’IA
Le nom du robot dit souvent à quoi il sert. Les entreprises le décrivent dans leur documentation officielle.
Ils apprennent
GPTBot chez OpenAI, ClaudeBot chez Anthropic, CCBot chez Common Crawl. Ils collectent des textes qui pourront servir à entraîner de futurs modèles.
Ils passent souvent, et sur beaucoup de pages. Ils ne renvoient pas de visiteurs.
Ils remplissent un moteur
OAI-SearchBot pour la recherche de ChatGPT, Claude-SearchBot chez Anthropic, PerplexityBot chez Perplexity. Ils lisent vos pages pour pouvoir les proposer plus tard dans une réponse.
C’est l’équivalent de Googlebot, pour les moteurs d’IA.
Ils lisent pour une personne
ChatGPT-User, Claude-User, Perplexity-User. Ils ouvrent une page parce qu’une personne vient de poser une question à l’IA, ou de lui donner un lien.
Chaque passage correspond à une vraie demande, en ce moment.
Les principaux robots IA, et ce qu’ils font
D’après la documentation officielle de chaque entreprise, consultée le 23 octobre 2026.
| Robot | Entreprise | À quoi il sert | Le fichier robots.txt |
|---|---|---|---|
| GPTBot | OpenAI | Collecter des textes pour l’entraînement | Respecté |
| OAI-SearchBot | OpenAI | Alimenter la recherche de ChatGPT | Respecté |
| ChatGPT-User | OpenAI | Lire une page à la demande d’un utilisateur | Peut ne pas s’appliquer, selon OpenAI |
| ClaudeBot | Anthropic | Collecter des textes pour l’entraînement | Respecté |
| Claude-SearchBot | Anthropic | Améliorer la qualité de la recherche | Respecté |
| Claude-User | Anthropic | Lire une page à la demande d’un utilisateur | Respecté, selon Anthropic |
| PerplexityBot | Perplexity | Remplir l’index de recherche, pas l’entraînement | Respecté |
| Perplexity-User | Perplexity | Lire une page à la demande d’un utilisateur | Généralement ignoré, selon Perplexity |
| CCBot | Common Crawl | Bâtir une archive publique du web | Respecté |
OpenAI, Anthropic, Perplexity, Apple et Common Crawl publient la liste des adresses de leurs robots. Mon analyseur s’en sert pour démasquer les imposteurs, comme il le fait pour Googlebot.
Deux noms reviennent souvent sans être des robots. Google-Extended et Applebot-Extended sont des consignes à écrire dans le fichier robots.txt. Elles servent à refuser que vos textes entraînent les modèles de Google ou d’Apple. Google précise que Google-Extended n’a pas de nom de navigateur à lui : vous ne le verrez jamais dans votre journal. Apple précise qu’Applebot-Extended ne parcourt pas les pages.
Meta a aussi ses robots, Meta-ExternalAgent et Meta-ExternalFetcher. Le second lit une page à la demande d’un utilisateur, et Meta précise qu’il peut ne pas suivre le fichier robots.txt.
Ce que l’outil vous montre sur les IA
Un exemple sur un site fictif. Les noms des robots sont réels, les chiffres sont inventés.
Lectures par robot
Ce que l’outil remarque
/stages-ete/ est votre page la plus lue par les IA. 88 lectures, et 14 visites de personnes venues d’une IA ensuite.
/blog/choisir-son-argile/ est lue, mais jamais visitée. Les IA la lisent, mais personne n’arrive par elle.
12 pages renvoient une erreur aux robots des IA. Ce sont d’anciennes adresses, toujours liées quelque part.
Démonstration sur un site fictif. Ces chiffres ne viennent d’aucun client.
Ce que vous pouvez suivre, robot par robot
Tout est rangé par usage : entraînement, index de recherche, lecture en direct.
Le nombre de lectures, robot par robot
Chaque robot d’IA, avec son entreprise, son usage et son nombre de passages, jour par jour.
Les pages qui intéressent les IA
La liste de vos pages les plus lues par les IA. Et celles qu’aucune IA n’a jamais ouvertes.
Les personnes qui arrivent d’une IA
Les visites venues de ChatGPT, Perplexity, Claude ou Gemini. OpenAI indique que ChatGPT ajoute une étiquette à ses liens : l’outil la reconnaît.
Lue, puis visitée
Pour chaque page : a-t-elle été lue par une IA, puis visitée par une personne venue d’une IA ? Vous voyez les pages qui mènent jusqu’à vous.
Les faux robots d’IA
Un robot qui se dit ClaudeBot ou GPTBot, mais dont l’adresse n’est pas dans la liste officielle, est mis de côté.
Ce que votre robots.txt autorise
L’outil lit votre fichier robots.txt et vous dit quels robots d’IA il bloque. Il vous prévient le matin si ça change, ou si une nouvelle IA apparaît.
Faut-il bloquer les robots des IA ?
C’est une vraie question, et la réponse dépend de vous. Voici comment je la pose.
Bloquer un robot, c’est l’écrire dans votre fichier robots.txt. Par exemple, User-agent: GPTBot suivi de Disallow: / demande à GPTBot de ne lire aucune page. OpenAI précise que bloquer GPTBot indique que vos textes ne doivent pas servir à l’entraînement.
Mais tous les robots ne se valent pas. Bloquer un robot d’entraînement ne vous fait pas disparaître des réponses. Bloquer un robot de recherche, comme OAI-SearchBot, peut en revanche vous retirer des résultats de ce moteur. OpenAI indique qu’un changement du fichier robots.txt met environ 24 heures à s’appliquer à sa recherche.
Et certains robots lisent quand même. OpenAI écrit que les règles du fichier robots.txt peuvent ne pas s’appliquer à ChatGPT-User, parce que la lecture est demandée par une personne. Perplexity écrit que Perplexity-User les ignore généralement. Anthropic, de son côté, indique que ses trois robots les respectent.
Moi, sur mon site, je ne bloque aucun robot d’IA. Avant de décider quoi que ce soit, je recommande de regarder votre journal pendant quelques semaines. Qui lit vos pages ? Lesquelles ? Est-ce que des personnes arrivent ensuite ? Vous déciderez ensuite robot par robot, en connaissant les chiffres.
Si vous voulez revoir votre fichier robots.txt, j’explique son fonctionnement dans mon guide sur le fichier robots.txt. Et l’analyseur vous dit, page par page, ce que votre fichier autorise. Pour un test tout de suite, collez votre fichier dans le test robots.txt gratuit.
Ce que le journal dit des IA, et ce qu’il ne dit pas
Je préfère être clair : une lecture n’est pas une citation.
Quels robots d’IA lisent vos pages, quand, et combien de fois.
L’usage de chaque lecture : entraînement, index, ou lecture en direct.
Les personnes qui arrivent sur votre site depuis une IA, quand l’IA transmet cette information.
Les erreurs que vos pages renvoient aux robots des IA.
Si une IA vous cite dans sa réponse. Le journal voit la lecture, pas ce que l’IA en fait.
Combien de fois une question est posée à une IA. Personne ne publie ce chiffre.
Toutes les visites venues d’une IA. Certaines arrivent sans aucune indication, et ressemblent à des accès directs.
Qu’est-ce que GPTBot ?
C’est le robot d’OpenAI qui collecte des textes sur le web pour l’entraînement de ses modèles. Il se présente sous le nom GPTBot dans votre journal.
OpenAI publie la liste de ses adresses. Mon analyseur s’en sert pour vérifier que le GPTBot qui visite votre site est bien le vrai.
Comment savoir si ChatGPT lit mon site ?
Regardez votre journal du serveur. Les lectures d’OpenAI y apparaissent sous trois noms : GPTBot, OAI-SearchBot et ChatGPT-User.
Mon analyseur fait ce tri pour vous, vérifie leurs adresses et vous montre les pages lues, jour par jour.
Quelle différence entre GPTBot et ChatGPT-User ?
GPTBot collecte des textes pour l’entraînement. Il passe de lui-même, sur beaucoup de pages.
ChatGPT-User ouvre une page parce qu’un utilisateur de ChatGPT le demande, par exemple en collant votre lien. Chaque passage correspond donc à une vraie personne.
Comment bloquer GPTBot sur mon site ?
Ajoutez deux lignes à votre fichier robots.txt : User-agent: GPTBot, puis Disallow: /. OpenAI indique que ce réglage signale que vos textes ne doivent pas servir à l’entraînement.
Pensez à vérifier ensuite, dans votre journal, que les passages s’arrêtent. Mon analyseur vous montre aussi ce que votre fichier autorise.
Les robots des IA respectent-ils le fichier robots.txt ?
Les robots d’entraînement et de recherche d’OpenAI, d’Anthropic et de Perplexity disent le respecter. Pour les lectures en direct, c’est différent : OpenAI et Perplexity précisent que leurs robots à la demande peuvent ne pas le suivre.
Le journal vous permet de vérifier par vous-même ce qui passe chez vous, robot par robot.
Pourquoi Google Analytics ne montre-t-il pas les robots des IA ?
Parce qu’il compte avec un programme qui se lance dans le navigateur. Les robots des IA ne le lancent pas.
Seul le journal du serveur note leurs passages. C’est pour ça que j’ai construit l’analyseur.
Comment reconnaître une visite venue de ChatGPT ?
OpenAI indique que ChatGPT ajoute l’étiquette utm_source=chatgpt.com aux liens qu’il propose dans ses réponses de recherche. L’analyseur la reconnaît.
Mais toutes les visites venues d’une IA ne portent pas d’étiquette. Certaines arrivent comme des accès directs. Le parcours « lue, puis visitée » aide à les repérer.
Peut-on se faire passer pour ClaudeBot ou GPTBot ?
Oui. N’importe quel programme peut écrire ces noms. C’est pour ça que les entreprises publient la liste de leurs adresses.
L’analyseur compare chaque robot à ces listes, mises à jour chaque nuit. Les imposteurs sont rangés à part, avec les faux robots.
Si une IA lit ma page, va-t-elle me citer ?
Pas forcément. La lecture est une condition, pas une garantie. L’IA peut lire votre page et répondre sans la citer.
Le journal vous montre les lectures. Les visites venues d’une IA vous montrent, elles, les fois où une personne a cliqué jusqu’à vous.
Les robots des IA peuvent-ils ralentir mon site ?
Ils passent parfois très souvent, surtout les robots d’entraînement. Sur un petit hébergement, ça peut peser. Le journal vous montre lesquels passent le plus, et à quelle heure.
Anthropic indique que ses robots respectent la consigne Crawl-delay du fichier robots.txt, qui demande d’espacer les passages. Si un robot vous gêne vraiment, vous pouvez aussi le bloquer.
Que veut dire une erreur servie à un robot d’IA ?
Le robot a demandé une page qui n’existe plus, ou qui a déménagé sans redirection. Souvent, c’est une ancienne adresse encore liée quelque part.
L’outil liste ces erreurs. Une redirection vers la bonne page suffit en général à les corriger.
Voyez quelles IA lisent votre site.
La bêta est ouverte sur invitation. Votre journal a déjà tout noté.
Vous m’envoyez l’adresse de votre site et le nom de votre hébergeur.
Je vous réponds avec un code d’invitation.
Vous branchez votre site. Les lectures des IA apparaissent dans l’heure.
Page publiée le 23 octobre 2026 · Dernière modification le 23 octobre 2026
Demander une invitation