Analyseur de logs · budget crawl

Budget crawlCe que Google explore vraiment sur votre site, et pourquoi c’est rarement un souci pour un petit site.

On lit partout qu’il faut « optimiser son budget crawl ». Google, lui, écrit que son guide vise surtout les très grands sites. Votre journal vous montre ce que Googlebot fait vraiment chez vous. Et il vous dit si vous avez un problème, ou pas.

Passages vérifiésGaspillage repéréVerdict en clair

C’est quoi, le budget crawl ?

C’est la quantité de pages que Google peut et veut explorer sur votre site. Deux choses la fixent.

Googlebot ne lit pas tout le web en même temps. Il passe sur chaque site avec une limite. Google appelle ça le budget d’exploration. En anglais, crawl budget. En français, on dit souvent budget crawl ou budget de crawl. C’est la même chose.

Google le définit comme l’ensemble des adresses qu’il peut explorer, et qu’il veut explorer. Il y a donc deux limites. La première, c’est la capacité de votre serveur. Google ne veut pas le faire tomber. Il règle le nombre de connexions en même temps, et leur durée. Cette limite est partagée par tous ses robots.

La seconde, c’est l’envie. Google appelle ça la demande d’exploration. Si votre site change peu, ou si ses pages intéressent peu, Google explore moins. Il l’écrit lui-même : quand la demande est faible, il explore moins votre site.

Le budget, c’est donc le plus petit des deux. Un serveur rapide ne suffit pas si Google n’a pas envie. Et l’envie ne suffit pas si le serveur rame.

Chez les spécialistes du SEO, on en parle beaucoup. Pourtant, pour la plupart des sites que je croise, ce n’est pas le vrai problème. La suite de cette page vous dit pourquoi, et comment le vérifier dans votre journal.

Le budget crawl, c’est pour qui ?

Google répond lui-même à cette question, au début de son guide.

Le guide de Google sur le budget d’exploration vise trois cas. Les très grands sites, de plus d’un million de pages, dont le contenu change chaque semaine. Les sites moyens ou grands, de plus de 10 000 pages, dont le contenu change chaque jour. Et les sites qui ont beaucoup d’adresses classées « Détectée, actuellement non indexée » dans la Search Console.

Google précise que ces chiffres sont des ordres de grandeur, pas des seuils exacts. Mais l’idée est claire. Un site vitrine de 20 pages, un blog de 300 articles ou une petite boutique ne sont pas visés.

Pour ces sites, Google conseille surtout de garder un plan du site à jour, et de suivre le rapport d’indexation de la Search Console. C’est tout.

Je vous le dis franchement : si votre site compte quelques centaines de pages, je déconseille de passer du temps à « optimiser votre budget crawl ». Passez ce temps à corriger les erreurs que Googlebot rencontre, et à relier vos pages entre elles. C’est là que se trouvent les vrais gains.

Il y a une exception. Une petite boutique avec des filtres peut fabriquer des milliers d’adresses sans le vouloir : une par couleur, par taille, par tri. Pour Google, ce sont autant de pages. C’est là que le journal devient très utile.

Votre site a-t-il un problème de budget crawl ?

Quelques situations courantes, lues à la lumière du guide de Google.

Votre siteFaut-il s’en soucier ?Ce que je regarde dans le journal
Un site vitrine de 10 à 50 pagesNon, en généralLes erreurs servies à Googlebot, et les pages qu’il n’ouvre jamais
Un blog de quelques centaines d’articlesRarementLes anciennes adresses qui répondent encore 404, et les redirections en chaîne
Une boutique avec des filtres et des trisParfoisLe nombre d’adresses avec des paramètres que Googlebot ouvre chaque jour
Un site de plus de 10 000 pages qui change chaque jourOuiLa part des passages qui tombe sur des pages utiles, jour après jour

Le guide de Google est daté du 22 juillet 2026 pour sa dernière mise à jour. Il parle de « Détectée, actuellement non indexée » : dans la Search Console, Google explique que l’exploration a pu être reportée parce que le site risquait d’être surchargé.

Ce qui gaspille l’exploration de Googlebot

Même un petit site peut faire perdre du temps à Googlebot. Voici ce que Google cite, et ce que votre journal en montre.

01 · les fausses pages

Les erreurs déguisées

Une page qui dit « introuvable » mais répond comme si tout allait bien. Google appelle ça une soft 404. Il écrit que ces pages continuent d’être explorées, et gaspillent le budget.

02 · les chaînes

Les redirections en série

Une adresse qui redirige vers une autre, qui redirige encore. Google conseille d’éviter les longues chaînes, qui gênent l’exploration. Le journal les montre, étape par étape.

03 · les doublons

Le même contenu à plusieurs adresses

Avec et sans barre finale, avec un paramètre de tri, en version imprimable. Google conseille d’éliminer le contenu en double.

04 · les filtres

Les adresses à paramètres

Les filtres d’une boutique fabriquent une adresse par combinaison. Google explique ailleurs que la navigation par filtres crée souvent du contenu en double, et peut faire trop explorer un site.

05 · les pages supprimées

Les pages qui n’existent plus

Pour une page retirée pour de bon, Google conseille de répondre 404 ou 410. Il écrit qu’une 404 est un signal fort de ne plus explorer cette adresse.

06 · la lenteur

Un serveur qui rame

Si votre serveur répond lentement ou tombe en panne, Google réduit sa limite de capacité. Le journal montre les pannes servies à Googlebot, et l’outil vous prévient.

Ce que l’outil vous montre sur l’exploration

Un exemple sur un site fictif. Les chiffres sont inventés.

atelier-exemple.fr · Robots des moteurs · 30 joursDémonstration · chiffres inventés
3 000passages du vrai Googlebot
78 %sur des pages qui répondent normalement
14 %sur des redirections
8 %sur des erreurs

Adresses qui font perdre du temps à Googlebot

/boutique/?tri=prixparamètre de tri142
/tarifs-2024/répond 40486
/ancien-blog/redirection 30163
/cours-enfants/répond 40438

Ce que l’outil remarque

/tarifs-2024/ répond 404 à Googlebot. 86 passages ce mois-ci, tous perdus. Une redirection vers la page des tarifs réglerait le problème.

3 000 passages, contre 2 640 le mois d’avant. Googlebot passe un peu plus souvent depuis vos dernières mises à jour.

140 faux Googlebot démasqués. Comptés, ils auraient fait croire à une exploration bien plus forte.

Démonstration sur un site fictif. Ces chiffres ne viennent d’aucun client.

Regardez la dernière alerte. Beaucoup de robots se font passer pour Googlebot. Si vous les comptez, vous croyez que Google explore énormément votre site. C’est faux. Mon analyseur vérifie chaque passage avec les listes officielles de Google. Je l’explique sur la page Googlebot dans vos logs.

Search Console ou journal : comment mesurer l’exploration ?

Les deux sont utiles. Ils ne montrent pas la même chose.

La Search Console a un rapport appelé « Statistiques sur l’exploration ». Il montre le nombre de demandes de Google, la taille des fichiers, le temps de réponse, et une répartition par type de réponse. Google précise que les exemples d’adresses qu’il donne ne sont pas complets. Il précise aussi que les sites de moins de 1 000 pages n’ont en général pas besoin de ce rapport.

Votre journal, lui, note chaque passage, sans exception. Vous voyez quelle page Googlebot ouvre, à quelle heure, et ce que votre serveur lui répond. Vous voyez aussi ce que la Search Console ne montre jamais : les faux Googlebot.

Mon analyseur fait le tri. Il ne garde que les passages du vrai Googlebot. Il compte les pages utiles, les redirections, les erreurs. Et il compare avec les semaines d’avant, pour voir si l’exploration monte ou baisse.

Si vous voulez comprendre la Search Console en détail, j’en parle dans ma formation analytique. Pour lire vous-même une ligne de journal, voyez la page fonctionnement de l’analyseur.

Ce que je recommande pour un petit site

Quatre gestes simples. Ils aident Googlebot, et vos visiteurs aussi.

01 · Le plan

Gardez un plan du site à jour

C’est le premier conseil de Google pour les sites qui ne sont pas immenses. Sous WordPress, une extension comme Rank Math le fait toute seule.

02 · Les erreurs

Corrigez ce que Googlebot rencontre

Une ancienne adresse en 404, une page qui renvoie une erreur serveur. Commencez par celles que Googlebot ouvre le plus souvent. Voyez la page erreurs 404.

03 · Les redirections

Redirigez en un seul saut

Une ancienne adresse doit mener directement à la bonne page. Si elle passe par deux ou trois étapes, corrigez la redirection, et les liens qui pointent vers elle.

04 · Les liens

Reliez vos pages importantes

Google trouve surtout les pages par les liens des autres pages. Une page importante doit recevoir des liens. Voyez la page maillage interne.

Questions sur le budget crawl

Une question sur l’exploration de votre site ? Écrivez-moi.

M’écrire

Qu’est-ce que le budget crawl ?

C’est la quantité d’adresses que Google peut et veut explorer sur votre site. Google la règle selon la capacité de votre serveur et selon son intérêt pour vos pages.

On dit aussi budget de crawl, crawl budget ou budget d’exploration. Les quatre désignent la même chose.

Comment connaître le budget crawl de mon site ?

Google ne donne pas de chiffre. Vous pouvez seulement mesurer l’exploration réelle : combien de pages Googlebot ouvre, et à quelle fréquence.

Pour ça, regardez votre journal du serveur, ou le rapport « Statistiques sur l’exploration » de la Search Console. Mon analyseur fait le calcul chaque jour, en ne gardant que le vrai Googlebot.

Mon petit site doit-il optimiser son budget crawl ?

En général, non. Le guide de Google vise les très grands sites, et les sites de plus de 10 000 pages qui changent chaque jour.

Pour un petit site, gardez un plan du site à jour, corrigez les erreurs et reliez vos pages. C’est suffisant.

Comment augmenter le budget crawl ?

On ne l’augmente pas sur commande. On évite de le gaspiller : moins d’erreurs, pas de chaînes de redirections, pas de doublons.

Un serveur rapide et stable aide aussi : Google réduit son exploration quand votre serveur ralentit ou tombe en panne.

Les erreurs 404 gaspillent-elles le budget crawl ?

Une vraie 404, sur une page supprimée, est même un bon signal. Google écrit qu’une 404 lui indique fortement de ne plus explorer cette adresse.

Ce qui gaspille, ce sont les fausses pages : celles qui disent « introuvable » mais répondent comme une page normale. Google les appelle soft 404.

Que veut dire « Détectée, actuellement non indexée » ?

C’est un statut du rapport d’indexation de la Search Console. Google connaît l’adresse, mais ne l’a pas encore explorée.

Google explique que l’exploration a pu être reportée parce que votre site risquait d’être surchargé. Si beaucoup de vos pages sont dans ce cas, le guide sur le budget d’exploration vous concerne.

Les faux Googlebot faussent-ils les chiffres ?

Oui, si vous ne les triez pas. Beaucoup de robots se font passer pour Googlebot. Comptés à tort, ils font croire à une exploration bien plus forte.

Mon analyseur vérifie chaque passage avec les listes d’adresses publiées par Google, et met les imposteurs de côté.

Le budget crawl concerne-t-il les robots des IA ?

Le guide de Google parle de ses propres robots. Les robots des IA ont leurs propres règles, et leurs entreprises ne publient pas de budget.

Votre journal montre quand même leurs passages, page par page. C’est le sujet de la page robots des IA.

Le budget crawl a-t-il un lien avec la vitesse de mon site ?

Oui, par la limite de capacité. Google règle son exploration selon la santé de votre serveur. Des pannes ou des réponses lentes le poussent à ralentir.

Le journal montre les moments où votre serveur a renvoyé des erreurs à Googlebot. L’analyse technique de l’outil mesure aussi la vitesse de vos pages.

Combien de fois Googlebot passe-t-il sur un petit site ?

Il n’y a pas de chiffre normal. Ça dépend du nombre de pages, de la fréquence de vos changements et de l’intérêt de Google pour votre site.

Le plus utile est de suivre l’évolution. L’analyseur compare chaque mois au précédent, et vous prévient si les choses bougent beaucoup.

Voyez ce que Googlebot fait chez vous.

Pas de théorie : vos vrais passages, triés, avec un verdict clair.

1

Vous m’envoyez l’adresse de votre site et le nom de votre hébergeur.

2

Je vous réponds avec un code d’invitation à la bêta.

3

Vous branchez votre site. L’exploration de Googlebot apparaît dans l’heure.

Page publiée le 23 octobre 2026 · Dernière modification le 23 octobre 2026

Demander une invitation