Le crawl avec SemrushComprendre et optimiser le budget de crawl

Le crawl, point de départ de tout audit

Avant même de parler d’erreurs ou de score, il faut comprendre une chose : Semrush ne peut analyser que ce qu’il arrive à atteindre. Le crawl, c’est cette phase d’exploration où le robot part de votre domaine et suit les liens de page en page, exactement comme le fait Googlebot. Si une page n’est reliée à rien, le robot ne la trouve pas, et elle reste dans l’angle mort de votre audit. Cette page fait partie de mon guide de l’audit SEO Semrush, dont elle détaille le moteur d’exploration.

Comprendre le crawl, c’est comprendre pourquoi certaines pages rankent et d’autres restent invisibles. Google alloue à chaque site un budget de crawl, c’est-à-dire un nombre de pages qu’il accepte d’explorer sur une période donnée. Si ce budget part dans des pages inutiles, des filtres e-commerce ou des redirections en cascade, il en reste moins pour vos vraies pages importantes. Le Site Audit de Semrush vous montre précisément où ce budget fuit.

Pour un débutant, la bonne nouvelle c’est que tout ça se configure sans une seule ligne de code. Vous pouvez même vous entraîner avec le compte gratuit Semrush qui autorise le crawl de 100 URL, de quoi comprendre la mécanique sur un petit site avant de passer à l’échelle supérieure.

Beaucoup de débutants passent des heures à produire du contenu sans jamais vérifier si les moteurs arrivent seulement à le lire. C’est mettre la charrue avant les bœufs. Un article parfait sur une page que le robot n’atteint pas ne rankera jamais. Maîtriser le crawl, c’est s’assurer que le travail éditorial ne part pas dans le vide, et c’est pour ça que je considère cette étape comme le véritable point de départ de toute stratégie SEO sérieuse.

Comment fonctionne le robot de Semrush ?

Le robot démarre à l’adresse que vous lui donnez et explore votre site selon la source de crawl choisie. Trois grandes options s’offrent à vous, et le choix n’est pas anodin car il détermine quelles pages seront vues.

Dans les réglages de Semrush, ces sources s’appellent Website, sitemap (lu dans le fichier robots.txt ou donné par son adresse) et import d’URL depuis un fichier.

En complément, vous choisissez d’auditer la version desktop ou mobile du site (le robot de Semrush, SiteAuditBot, part en version mobile par défaut), vous activez ou non le rendu JavaScript, et vous pouvez inclure ou exclure des chemins précis. Ce cadrage évite que le robot ne se perde dans des sections sans valeur SEO. Sur un site propre, la source Website suffit ; sur un site complexe, croiser Website et sitemap révèle souvent des écarts révélateurs.

Le rapport Crawled Pages

Une fois le crawl terminé, le rapport Crawled Pages liste toutes les URL que le robot a parcourues. C’est ma section préférée pour un diagnostic rapide, parce qu’elle donne une vue page par page du statut de votre site : code de réponse, profondeur, nombre de liens entrants, problèmes détectés.

Ce rapport répond à une question simple mais cruciale : le robot a-t-il vu ce que je pensais qu’il verrait ? Souvent, la surprise vient du nombre. Vous croyez avoir 300 pages, le crawl en trouve 1 200 à cause de paramètres d’URL, ou seulement 80 parce qu’une partie du site est orpheline. Dans les deux cas, le rapport Crawled Pages vous met le nez sur la réalité de votre structure.

Je conseille de trier ce rapport par profondeur et par nombre de liens entrants dès le premier coup d’œil. Les pages à forte profondeur avec peu de liens entrants sont vos candidates prioritaires à la reprise du maillage. C’est aussi là que vous détectez les pages fantômes que vous croyiez supprimées et qui répondent encore en 200, ou les vieilles versions d’articles qui cannibalisent vos contenus récents.

La profondeur de crawl, un signal sous-estimé

La profondeur de crawl, c’est le nombre de clics nécessaires pour atteindre une page depuis la page d’accueil par le chemin le plus court. L’accueil est à une profondeur de 0, une page liée directement depuis l’accueil est à 1, et ainsi de suite. Plus une page est profonde, moins le robot la juge importante, et moins elle reçoit de jus interne.

La bonne pratique que je recommande : garder vos pages importantes à une profondeur de 3 ou moins. Au-delà, vous envoyez à Google le signal que ces pages sont secondaires, même si elles sont stratégiques pour votre business. Le rapport de Semrush vous montre la profondeur de chaque page, ce qui vous permet de repérer d’un coup d’œil les contenus enterrés trop loin dans l’arborescence.

Les pages orphelines, gouffre à budget de crawl

Une page orpheline est une page vers laquelle aucun lien interne ne pointe. Le robot ne peut pas la découvrir en suivant les liens, ce qui la rend quasiment invisible pour les moteurs. Pire, si vous incluez ces pages orphelines dans votre sitemap.xml, les moteurs vont les crawler quand même et gaspiller votre budget sur des contenus déconnectés du reste du site.

Le Site Audit identifie ces pages orphelines pour que vous puissiez agir. La méthode est simple : allez dans l’onglet des problèmes et cherchez le terme orphan. Semrush affiche alors toutes les pages concernées. À vous ensuite de décider, page par page, quoi en faire.

• Si la page a du contenu de valeur et amène du trafic, ajoutez-lui des liens internes depuis des pages pertinentes.
• Si la page répond à un besoin précis sans avoir besoin de maillage, laissez-la telle quelle.
• Ne laissez pas traîner une page obsolète orpheline dans votre sitemap : supprimez-la.
• N’ignorez pas les orphelines en pensant que Google les trouvera : sans lien, elles restent dans l’ombre.

Le rapport Crawlability

Le rapport Crawlability est le premier que je regarde après un crawl, parce qu’il concentre les blocages les plus graves. Il vous montre trois familles de problèmes qui empêchent le robot de faire son travail correctement.

Une chaîne de trois redirections est une fuite de budget de crawl caractérisée. Chaque saut supplémentaire coûte au robot et ralentit l’utilisateur. Corriger ces chaînes pour pointer directement vers la destination finale est l’un des gains les plus rapides que vous puissiez obtenir sur la crawlabilité d’un site.

Je traite toujours ce rapport dans l’ordre de gravité : d’abord les pages bloquées par erreur qui devraient être indexées, ensuite les erreurs serveur qui signalent un problème technique, enfin les chaînes de redirections. Cet ordre n’est pas anodin : une page bloquée par robots.txt est invisible immédiatement, alors qu’une redirection en trop ne fait que ralentir. Attaquer d’abord ce qui rend du contenu totalement inaccessible, c’est récupérer du trafic le plus vite possible.

Optimiser concrètement son budget de crawl

Optimiser son budget de crawl, ce n’est pas de la magie, c’est de la discipline. L’objectif est simple : faire en sorte que chaque passage du robot serve à explorer des pages qui comptent, pas du bruit. Voici les leviers que j’actionne dans l’ordre.

Chacun de ces leviers, pris isolément, semble mineur. Mis bout à bout sur un site de plusieurs milliers de pages, ils redirigent le budget de crawl vers ce qui rapporte vraiment. C’est souvent la différence entre un contenu publié mais jamais indexé et un contenu qui remonte dans les résultats en quelques jours.

Crawl Semrush face au crawl de Google

Une confusion fréquente chez les débutants : penser que le crawl de Semrush et celui de Google sont identiques. Ils partagent la même logique d’exploration, mais ils ne servent pas le même but. Voici comment je les distingue.

Crawl Semrush

• Sert à diagnostiquer la santé technique de votre site
• Vous contrôlez la limite, la source et la fréquence
• Génère un rapport pédagogique et priorise les correctifs
• Simule le passage d’un robot de moteur de recherche pour vous alerter
• Idéal pour anticiper et corriger avant Google

Crawl Google

• Sert à indexer et classer les pages du web
• Google décide seul du budget qu’il vous alloue
• Aucun rapport détaillé, juste des données dans la Search Console
• Impacte directement votre visibilité réelle
• Vous le subissez, vous ne le pilotez pas directement

La logique est donc de se servir du crawl de Semrush comme d’un miroir : il vous montre ce que Google est susceptible de voir et de pénaliser, pour que vous corrigiez avant que ça ne coûte des positions. Un site propre pour Semrush a toutes les chances d’être propre pour Google.

Crawl et rendu JavaScript, le piège des sites modernes

De plus en plus de sites reposent sur du JavaScript pour afficher leur contenu : frameworks React, Vue, Angular, contenus chargés dynamiquement après l’affichage initial. Le problème, c’est qu’un crawl classique lit le code HTML brut renvoyé par le serveur, avant que le JavaScript ne s’exécute. Si votre contenu principal apparaît uniquement après ce rendu, le robot risque de voir une page vide.

Semrush propose, sur ses plans supérieurs, un crawl avec rendu JavaScript qui exécute le code comme le ferait un navigateur avant d’analyser la page. C’est indispensable pour auditer correctement une application web moderne. Le rapport dédié vous montre l’écart entre ce que voit le robot avec et sans rendu JavaScript, ce qui révèle immédiatement les contenus qui dépendent trop du client pour être correctement indexés.

Mon conseil : si votre site est en HTML classique ou en WordPress standard, vous n’avez pas besoin d’activer ce rendu, il ralentirait le crawl sans rien apporter. Mais si vous constatez que des pages riches en contenu remontent comme quasi vides dans le rapport, activez le rendu JavaScript et comparez : l’écart vous indiquera exactement ce que Google peine à voir.

C’est un piège particulièrement sournois parce qu’il est totalement invisible à l’œil nu : vous ouvrez la page dans votre navigateur, tout s’affiche parfaitement, et vous concluez à tort que tout va bien. Or votre navigateur exécute le JavaScript, contrairement à un crawler basique. Seul un crawl avec rendu révèle le fossé entre ce que voit un humain et ce que récupère réellement un moteur au premier passage.

Crawl technique et santé des backlinks

Un crawl impeccable résout la moitié de l’équation SEO : la partie on-site. Mais un site techniquement parfait peut quand même souffrir si son profil de liens est pollué. Le robot qui crawle vos pages ne juge pas la qualité des sites qui pointent vers vous, c’est un travail distinct.

C’est là que le Toxic Score entre en jeu : il évalue le risque que représentent vos domaines référents. Je détaille toute la méthode de détection et de nettoyage dans mon guide du Toxic Score Semrush. Un audit complet croise toujours la crawlabilité on-site et la santé du netlinking, jamais l’un sans l’autre.

Combien de pages crawler selon la taille du site ?

La question que tout le monde se pose au démarrage : quelle limite de pages régler ? La réponse dépend de la taille réelle de votre site, pas de votre envie. Régler une limite trop basse revient à auditer une fraction de votre domaine sans le savoir ; la régler trop haut sur un petit plan consomme des crédits pour rien. Voici les repères que j’utilise.

La marge de 20 % que j’ajoute systématiquement sert à capter les URL que vous n’attendiez pas : paramètres, pagination, versions dupliquées. Si le crawl atteint sa limite exactement, c’est mauvais signe : il reste probablement des pages non explorées, et donc des problèmes invisibles. Une limite jamais atteinte, au contraire, vous garantit une vue complète de votre structure.

Bien préparer son crawl avant de le lancer

Un crawl réussi commence avant même de cliquer sur le bouton. Prendre cinq minutes pour cadrer la configuration vous évite de relancer trois fois un crawl mal paramétré et de brûler vos crédits. Voici la checklist que je passe en revue avant chaque premier crawl d’un nouveau site.

• Vérifier que le domaine saisi est le bon : avec ou sans www, en http ou https selon la version canonique.
• Choisir la bonne source de crawl : Website pour un audit standard, sitemap pour vérifier ce qui est déclaré.
• Régler la limite de pages selon la taille réelle du site, avec une marge de sécurité.
• Sélectionner la version mobile si votre audience est majoritairement sur téléphone.
• Ne pas lancer un crawl JavaScript sur un gros site sans en avoir besoin : c’est lent et coûteux en crédits.
• Ne pas oublier d’exclure les sous-domaines ou chemins de test qui pollueraient le rapport.

Ce cadrage prend cinq minutes et vous en fait gagner trente. Un crawl bien configuré du premier coup, c’est un rapport exploitable immédiatement, sans avoir à démêler les faux positifs générés par une mauvaise portée ou une source de crawl inadaptée.

Les erreurs de crawl que je vois le plus souvent

Certains problèmes de crawl reviennent en boucle, d’un site à l’autre. Les connaître à l’avance vous fait gagner un temps précieux, parce que vous savez où regarder en premier dès que le rapport tombe. Voici mon top des pièges récurrents.

Le point commun de ces erreurs, c’est qu’elles passent inaperçues sans un crawl régulier. Personne ne remarque un noindex ajouté par erreur avant que le trafic ne s’effondre. C’est exactement pour ça que je considère le crawl non pas comme un audit ponctuel, mais comme un capteur d’alerte à laisser tourner en permanence.

Programmer des crawls réguliers

Le crawl n’est pas une opération ponctuelle. La santé technique se dégrade avec le temps : une mise à jour de plugin casse votre robots.txt, un nouveau développeur passe par erreur la moitié de votre blog en noindex, un changement de thème casse le maillage. Sans surveillance, vous découvrez le problème des semaines plus tard, quand le trafic a déjà chuté.

La parade tient en un réglage : programmez un recrawl automatique, quotidien ou hebdomadaire selon l’activité du site. Vous obtenez une ligne de base historique qui vous permet de repérer immédiatement toute régression. Détecter une anomalie en 24 heures plutôt qu’en trois semaines, c’est exactement ce qui sépare un site surveillé d’un site laissé à l’abandon.

Semrush garde l’historique de vos crawls, ce qui vous permet de comparer deux dates et de voir l’évolution du nombre de pages, du score de santé et des erreurs. Cette courbe dans le temps vaut de l’or : elle transforme une photo instantanée en un film où vous voyez si votre site s’améliore ou se dégrade, crawl après crawl.

Mon verdict sur le crawl Semrush

Le crawl est la fondation de tout audit technique : sans une exploration bien configurée, votre rapport Semrush est incomplet et vos conclusions faussées. Réglez la limite de pages selon votre taille réelle, surveillez la profondeur et les pages orphelines, et traquez les fuites de budget de crawl que sont les 4xx et les chaînes de redirections. C’est un travail invisible pour le visiteur mais décisif pour Google. La plupart des sites qui stagnent en référencement ne souffrent pas d’un manque de contenu, mais d’un contenu que les moteurs peinent à explorer correctement. Régler le crawl, c’est souvent débloquer un potentiel déjà présent mais mal exploité.

Mon conseil pour démarrer : lancez un premier crawl en source Website, comparez le nombre de pages trouvées à ce que vous attendiez, puis attaquez le rapport Crawlability avant tout le reste.