Rozcieńczenie budżetu indeksowania

Googlebot zużywa zasoby crawl na 1,15 mln niemal identycznych adresów URL z parametrami, które nie powinny być indeksowane. Ponieważ pipeline indeksowania Google’a musi najpierw skanować, zanim zaindeksuje, nadmiar niskowartościowych URL-i pochłania efektywny budżet indeksowania serwisu, pozostawiając 12 000 kluczowych stron produktowych nadal w statusie „Discovered”, czekających na crawl prowadzący do indeksacji. To klasyczny przykład rozcieńczenia budżetu indeksowania: ważne strony konkurują z zalewem nieproduktywnych adresów. Działanie 1 – konsolidacja poprzez poprawną kanonikalizację i obsługę parametrów: wdroż tag rel="canonical" na każdym parametrycznym URL-u wskazujący na czysty adres produktu oraz skonfiguruj Parametry adresów URL w GSC (lub zastosuj reguły-podpowiedzi), aby Google mógł usunąć te warianty ze swojej kolejki crawl. Działanie 2 – przeprojektowanie architektury faceted/filter: przenieś filtry za #hash lub zapytania POST albo utwórz allowlistę w robots.txt w połączeniu z noindex,follow dla niskowartościowych kombinacji. Zapobiega to generowaniu skanowalnych URL-i na starcie, ogranicza frontier crawl i zwalnia budżet indeksowania dla kanonicznych produktów.

Rozrzedzenie budżetu indeksowania to problem *alokacji*: Googlebot marnuje cykle crawlowania na niskowartościowe URL-e, przez co wartościowe strony są skanowane, ale nigdy nie trafiają do indeksu lub trafiają tam z opóźnieniem. Problem budżetu crawlowania powiązany z wydajnością serwera to problem *pojemności*: Googlebot ogranicza tempo skanowania, ponieważ witryna odpowiada wolno lub zwraca błędy, niezależnie od jakości adresów URL. Kluczowy KPI dla rozrzedzenia: wysoki udział statusów „Crawled – currently not indexed” lub „Discovered – currently not indexed” w GSC względem łącznej liczby prawidłowych adresów URL (>10–15% to sygnał alarmowy). Kluczowy KPI dla budżetu crawlowania ograniczanego przez serwer: podwyższony średni czas odpowiedzi w logach serwera (>1 s) skorelowany ze spadkiem liczby zapytań Googlebota na dobę. Remediacja: rozrzedzenie eliminuje się poprzez kanonizację, przycinanie lub blokowanie niskowartościowych URL-i. Problemy z budżetem crawlowania wynikające z ograniczeń serwera rozwiązuje się poprzez poprawę infrastruktury (CDN, cache, szybsze zapytania do bazy danych), dzięki czemu Googlebot automatycznie zwiększa tempo skanowania.

Współczynnik rozproszenia = crawl stron nieartykułowych / łączna liczba crawlów = 800 000 ÷ (800 000 + 200 000) = 80 % aktywności Googlebota poświęcane jest na niepozycjonujące strony archiwalne. Plan monitorowania: 1. Cotygodniowy raport rozkładu crawlów z plików logów: śledź procent żądań kierowanych do URL-i artykułów; cel: <30 % rozproszenia w ciągu sześciu tygodni. 2. GSC Index Coverage (Stan indeksowania): monitoruj liczbę zgłoszeń „Przesłany adres URL nie jest wybrany jako kanoniczny” oraz „Zgłoszono – obecnie nie zindeksowano” dla URL-i tagów/archiwum, dążąc do zera. 3. Audyt pokrycia mapy witryny: sprawdź, czy liczba URL-i ze statusem „Zaindeksowano” w sitemapie zbliża się do 200 000 zgłoszonych artykułów. 4. Wyniki organiczne: wykorzystaj Analytics/Looker Studio do analizowania trendów kliknięć/wyświetleń URL-i artykułów; wzrost oznacza, że uwolniony budżet indeksowania jest reinwestowany w wartościowe treści.

Hipoteza 1 – Zduplikowana treść ze słabą lokalizacją: tłumaczenia generowane przez AI są zbyt podobne, więc Google konsoliduje je pod jednym canonicalem, pozostawiając wersje alternatywne poza indeksem. Test: uruchom scoring podobieństwa między wersjami językowymi lub użyj narzędzia „Sprawdź URL” Google, aby potwierdzić konsolidację canonical dla przykładowych stron. Hipoteza 2 – Błędy klastra hreflang powodujące pętle autokanoniczacji: nieprawidłowe tagi zwrotne hreflang wskazują na wersję angielską, przez co Google indeksuje tylko jeden język, a pozostałe traktuje jako alternatywy. Test: raport hreflang w Screaming Frog w celu wykrycia niespójności tagów wzajemnych oraz raport „Targetowanie międzynarodowe” w Search Console w poszukiwaniu błędów. Oba problemy marnują zasoby crawl/index na strony, które Google finalnie odrzuca, rozcieńczając dostępny budżet indeksowania dla innej wartościowej zawartości, takiej jak strony produktowe.