Dilution du budget d'indexation

Googlebot consacre des ressources de crawl à 1,15 million de pages paramétrées quasi dupliquées qui ne méritent pas d’être indexées. Comme le pipeline d’indexation de Google doit d’abord explorer avant de pouvoir indexer, ces URL à faible valeur consomment le budget d’indexation effectif du site, laissant 12 000 URL produit à forte valeur encore en attente d’un crawl menant à l’indexation (statut « Discovered »). Il s’agit d’un cas classique de dilution du budget d’indexation : les pages importantes se retrouvent en concurrence avec un flot d’URL improductives. Action 1 – Consolidation via canonicalisation correcte + gestion des paramètres : implémentez rel="canonical" sur chaque URL paramétrée pointant vers l’URL produit propre et configurez les Paramètres d’URL dans la Search Console (ou utilisez des indications basées sur des règles) afin que Google puisse retirer les variantes de sa file de crawl. Action 2 – Refonte de l’architecture Facette/Filtre : déplacez les filtres derrière un #hash ou des requêtes POST, ou créez une liste blanche dans le robots.txt combinée à un noindex,follow sur les combinaisons à faible valeur. Cela empêche la génération d’URL explorables dès le départ, réduit la frontière de crawl et libère du budget d’indexation pour les produits canoniques.

La dilution du budget d’indexation est un problème d’*allocation* : Googlebot gaspille des cycles de crawl sur des URL à faible valeur, si bien que les pages importantes sont explorées mais n’atteignent jamais la phase d’indexation ou y parviennent avec retard. Un problème de budget de crawl lié aux performances du serveur est un problème de *capacité* : Googlebot réduit son rythme de crawl parce que le site répond lentement ou avec des erreurs, quelle que soit la qualité des URL. KPI principal pour la dilution : ratio élevé de « Explorée — actuellement non indexée » ou « Détectée — actuellement non indexée » dans GSC par rapport au nombre total d’URL valides (> 10-15 % est un signal d’alerte). KPI principal pour un budget de crawl limité par le serveur : temps de réponse moyen élevé dans les logs serveur (> 1 s) corrélé à une baisse du nombre de requêtes Googlebot par jour. Remédiation : la dilution se corrige par la canonicalisation, la suppression ou le blocage des URL à faible valeur. Les problèmes de crawl dus à la capacité serveur se résolvent en améliorant l’infrastructure (CDN, mise en cache, requêtes BD plus rapides) afin que Googlebot augmente automatiquement son taux de crawl.

Taux de dilution = explorations hors article / explorations totales = 800 000 ÷ (800 000 + 200 000) = 80 % de l’activité de Googlebot consacrée à des pages d’archives non positionnées. Plan de suivi : 1. Rapport hebdomadaire de répartition du crawl (logs) : suivre le pourcentage de requêtes vers les URLs d’article ; objectif : <30 % de dilution sur six semaines. 2. Couverture de l’index dans GSC : surveiller le nombre d’URL de tags/archives dans les statuts « URL envoyée mais non sélectionnée comme canonique » et « Explorée – actuellement non indexée » afin de tendre vers zéro. 3. Audit de couverture des sitemaps : vérifier que le nombre d’URL « Indexées » dans le sitemap se rapproche des 200 000 articles soumis. 4. Performance organique : utiliser Analytics/Looker Studio pour suivre l’évolution des clics et impressions des URLs d’article ; une hausse indique que le budget d’indexation libéré est réinvesti dans du contenu à forte valeur.

Hypothèse 1 – Contenu dupliqué avec localisation faible : les traductions générées par l’IA sont trop similaires, si bien que Google les regroupe sous une seule URL canonique et laisse les versions alternatives non indexées. Test : lancer une analyse de similarité inter-langues ou utiliser la fonctionnalité « Inspecter l’URL » de Google pour confirmer la consolidation canonique sur un échantillon de pages. Hypothèse 2 – Erreurs de cluster hreflang entraînant des boucles d’auto-canonicalisation : des balises hreflang de retour incorrectes pointent vers la version anglaise, de sorte que Google n’indexe qu’une seule langue et traite les autres comme des versions alternatives. Test : consulter le rapport hreflang de Screaming Frog pour repérer les incohérences de balises réciproques et le rapport « Ciblage international » de la Search Console afin d’identifier les erreurs. Ces deux problèmes gaspillent des ressources de crawl et d’indexation sur des pages que Google finit par écarter, diluant ainsi le budget disponible pour d’autres contenus à forte valeur ajoutée tels que les pages produits.