Wyłącz blokadę AI-Bot w Cloudflare i pozwól, by ruch geotargetowany płynął swobodnie

(„ruch GEO” = ruch Generative-Engine-Optimised pochodzący z asystentów AI takich jak ChatGPT, Claude, Perplexity i Gemini.)
Otwórz w tym tygodniu logi serwera i zobaczysz powtarzalny wzór: GPTBot, ClaudeBot, PerplexityBot, Google-Extended — pukają, dostają 403, a ich miejsce zajmują zewnętrzne streszczenia Twoich treści.
Jeśli korzystasz z Cloudflare, prawdopodobnie nie zablokowałeś ich świadomie. Jeden przełącznik — „Block AI Scrapers” — domyślnie włączony w Bot Fight Mode. Deklaruje oszczędność transferu i ochronę treści, a w praktyce dusi ruch GEO (Generative-Engine-Optimised): cytowania i kliknięcia referencyjne z asystentów AI, które odpowiadają już za miliard zapytań dziennie.
Gdy Cloudflare zwraca 403, ChatGPT sięga po to, co znajdzie gdzie indziej: notki z Product Hunt, nieaktualne recenzje albo artykuły konkurencji. Tracisz kontrolę nad przekazem, a — co bardziej boli — link prowadzący bezpośrednio do Twojej strony.
Ten artykuł to dwie minuty pracy z potencjałem sześciocyfrowego zysku. Pokażemy dokładnie, jak działa ustawienie Cloudflare, dlaczego wpuszczenie renomowanych crawlerów AI to najłatwiejsze zwycięstwo SEO 2025 roku, oraz jak przełączyć opcję, żeby to Twoje treści były cytowane, a nie dopisywane jako przypis. Gorączka złota AI już trwa; nie zamykaj bramy tak mocno, by okazja przeszła obok.
Co tak naprawdę oznacza „ruch GEO”
Generative-Engine-Optimised (GEO) traffic to strumień użytkowników, którzy trafiają do Ciebie po zacytowaniu Twojej treści w asystentach AI — ChatGPT „Browse”, migawkach Gemini, odpowiedziach Perplexity, panelach Microsoft Copilot, a nawet w komunikatach inteligentnych głośników. Gdy GPTBot czy ClaudeBot zindeksuje stronę, tekst i linki trafiają do wektorowej bazy wiedzy. Za każdym razem, gdy model wyświetli Twój akapit z aktywnym linkiem, część użytkowników kliknie.
Dlaczego to ważne w 2025 r.: analizy logów serwerowych pokazują, że renomowane crawlery AI stanowią już 20–30 % wolumenu klasycznego Googlebota na stronach technologicznych i SaaS. Ta część rośnie o ~5 % miesięcznie, podczas gdy tradycyjne kliknięcia organiczne rosną jedynie o 1–2 %. Zignoruj ruch GEO dziś, a jutro oddasz nowy kanał odkryć, gdy modele utrwalą obecne zrzuty danych.
Typowa ścieżka cytowania:
-
GPTBot pobiera Twój wpis lub notkę →
-
Tekst zostaje osadzony i zapisany →
-
Użytkownik zadaje pytanie →
-
Model pobiera Twój fragment, cytuje URL →
-
Kliknięcie → zyskujesz odwiedzającego z wysoką intencją.
Zablokuj krok 1, a łańcuch nigdy się nie rozpocznie.
Jak Cloudflare przypadkowo dusi odkrywalność przez AI
Funkcja Bot Fight Mode w Cloudflare ma niepozorny przełącznik: „Block AI Scrapers”. Po włączeniu każde żądanie z GPTBot, ClaudeBot, PerplexityBot czy Google-Extended otrzymuje wyzwanie lub bezpośrednie 403. Blokada odbywa się na edge’u, więc logi originu mogą jej nie odnotować — tylko analityka Cloudflare pokaże wzrost odpowiedzi 4xx dla user-agentów AI.
Dlaczego istnieje ten przełącznik: Cloudflare testuje rynek pay-per-crawl, w którym duzi dostawcy LLM kupują tokeny dostępu, a Cloudflare pobiera 30–40 % prowizji — podobnie jak podatek Apple App Store. Do tego czasu domyślne ustawienie „chroni” treści, odmawiając dostępu botom AI, które nie płacą. Świetne dla marży Cloudflare; katastrofalne dla Twojej widoczności.
Objawy, które zauważysz
Objaw | Gdzie to sprawdzić | Co to oznacza |
---|---|---|
Nagły wzrost 403 dla GPTBot w logach Cloudflare | Security ▸ Events | Boty AI blokowane na edge’u |
ChatGPT Browse cytuje zewnętrzne streszczenia zamiast Twojej domeny | Ręczny test promptu | Model nie mógł zindeksować Twojej treści |
Lista „Sources” w Perplexity pomija Cię mimo trafności tematu | Panel odpowiedzi Perplexity | Indeks pominął Twoją stronę |
Dowód techniczny
curl -I https://yourdomain.com/ --user-agent "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.0" HTTP/2 403
Uruchom ten sam curl ze zwykłym UA przeglądarki; dostaniesz 200 OK
. Różnicę robi blokada botów AI w Cloudflare.
Sedno: zostawiając przełącznik włączony, ustawiasz w praktyce Disallow: /
dla każdego crawlery AI, na którym opiera się dziś sieć. Wyłącz go albo dodaj wyraźną regułę Allow dla renomowanych user-agentów, a ruch GEO zacznie płynąć w ciągu 24–48 godzin — zanim konkurenci zrozumieją, dlaczego Twoja witryna pojawia się w odpowiedziach czatów, a ich zanika w pyle cytowań.
Boty AI, które warto wpuścić za bramę
Bot | Dostawca | Dlaczego warto | Oficjalny ciąg User-Agent* |
---|---|---|---|
GPTBot | OpenAI | Zasila odpowiedzi ChatGPT i cytowania linków. | Mozilla/5.0 … GPTBot/1.0 |
ClaudeBot | Anthropic | Dostarcza Claude AI cytowania i odczyty w czasie rzeczywistym. | Mozilla/5.0 … ClaudeBot/1.0 |
PerplexityBot | Perplexity.ai | Buduje indeks odpowiedzi Perplexity (panel Sources generuje kliknięcia). | Mozilla/5.0 … PerplexityBot/1.0 |
Google-Extended | Dostarcza dane do LLM Gemini; oddzielny od klasycznego Googlebota. | Mozilla/5.0 (compatible; Google-Extended/1.0…) |
|
BingBot (Copilot) | Microsoft | Skanuje na potrzeby wyszukiwarki Bing oraz odpowiedzi Copilot AI. | Mozilla/5.0 … bingbot/2.0 |
*Wielokropki (…) oznaczają standardowe ciągi przeglądarki poprzedzające identyfikator bota.
Krok po kroku — wyłącz blokowanie botów AI w Cloudflare
-
Zaloguj się do Cloudflare Dashboard
Wybierz domenę, którą chcesz naprawić. -
Nawiguj do:
Security ▸ Bots
-
Znajdź przełącznik „Block AI Scrapers”
Znajduje się pod Bot Fight Mode. Wyłącz go. -
(Opcjonalnie, ale bezpieczniej) Dodaj wyraźną regułę Allow
-
Security ▸ WAF ▸ Custom Rules ▸ Create
-
Wyrażenie:
(http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot") or (http.user_agent contains "PerplexityBot") or (http.user_agent contains "Google-Extended") or (http.user_agent contains "bingbot")
-
Akcja: Skip → Bot Fight Mode, Managed Challenge
-
-
Wyczyść cache
Caching ▸ Configuration ▸ Purge Everything
, aby boty pobrały świeże odpowiedzi 200. -
Zweryfikuj
curl -I https://yourdomain.com/ \ -A "Mozilla/5.0 AppleWebKit/537.36; compatible; GPTBot/1.0"
Oczekuj
HTTP/2 200
, nie403
.
Całość: ok. 2 minuty. Efekt: boty AI wreszcie mogą czytać i cytować Twoje strony.
Robots.txt pod strategię „AI-First” w SEO
User-agent: * Allow: /
To wszystko. Globalne Allow gwarantuje dostęp wszystkim renomowanym botom — wyszukiwarkom i AI — do każdego publicznego URL-a. Cząstkowe lub stare linie Disallow:
psują nowoczesną indeksację, ponieważ:
-
Boty AI często nie mają wyjątków dla podkatalogów; pojedyncze
Disallow: /api
może przełożyć się na pełną odmowę dostępu. -
Przyszłe crawlery dziedziczą te same reguły; „tymczasowa” blokada staje się trwałym wykluczeniem z danych treningowych.
Jeśli musisz ograniczyć transfer, użyj rate-limitów Cloudflare lub WAF-a, nie robots.txt, dzięki czemu zachowasz widoczność crawlów, jednocześnie kontrolując obciążenie.
Otwórz bramę, sprawdź 200 OK, pozwól płynąć ruchowi GEO.
FAQ — Cloudflare, boty AI i blokowanie
P 1. Bot Fight Mode w Cloudflare jest włączony, ale nie widzę błędów w logach serwera — dlaczego?
Cloudflare blokuje GPTBot i spółkę na edge’u, więc odpowiedzi 403 nie trafiają do Twojego originu. Sprawdź Cloudflare Dashboard → Security → Events lub wykonaj test curl
z user-agentem bota; tam wyjdą ukryte blokady.
P 2. Czy wpuszczenie GPTBot podbije mój rachunek za transfer?
Pełne skanowanie GPTBot jest lekkie — tylko HTML, bez obrazów, CSS ani JS-u. Dla 500-stronicowej witryny to zwykle < 30 MB miesięcznie, znacznie poniżej 100 MB bezpłatnego limitu egress w Cloudflare.
P 3. Czy odblokowanie crawlerów AI ujawni treści płatne lub prywatne?
Tylko jeśli URL-e są publicznie dostępne. Trzymaj płatne PDF-y czy wideo dla członków za nagłówkami autoryzacji; GPTBot respektuje HTTP 401/403 tak samo jak Googlebot. Robots.txt nie jest mechanizmem bezpieczeństwa.
P 4. Czy lista „Verified Bot” w Cloudflare obejmuje boty AI?
Nie. GPTBot, ClaudeBot i PerplexityBot nie znajdują się jeszcze na liście zweryfikowanych, dlatego wpadają do ogólnej kategorii „AI Scraper” blokowanej, gdy przełącznik jest w pozycji ON.
P 5. Co z podejrzanymi scraperami AI, które zjadają transfer?
Utwórz regułę WAF, która pozwala wyłącznie renomowanym agentom (GPTBot
, ClaudeBot
, PerplexityBot
, Google-Extended
, bingbot
) i limituj resztę. Zyskujesz cytowania, chroniąc się przed nieznanymi żniwiarzami.
P 6. Jeśli odblokuję dziś, jak szybko asystenci AI zaczną mnie cytować?
GPTBot wraca na popularne lub świeżo aktualizowane strony w ciągu 24–72 h. ChatGPT Browse może pokazać nowe cytowania dzień lub dwa później. Mniej ruchliwe strony mogą czekać tydzień lub dłużej.