Wyłącz blokadę AI-Bot w Cloudflare i pozwól, by ruch geotargetowany płynął swobodnie

Vadim Kravcenko
Vadim Kravcenko
4 min read

(„ruch GEO” = ruch Generative-Engine-Optimised pochodzący z asystentów AI takich jak ChatGPT, Claude, Perplexity i Gemini.)

Otwórz w tym tygodniu logi serwera i zobaczysz powtarzalny wzór: GPTBot, ClaudeBot, PerplexityBot, Google-Extended — pukają, dostają 403, a ich miejsce zajmują zewnętrzne streszczenia Twoich treści.
Jeśli korzystasz z Cloudflare, prawdopodobnie nie zablokowałeś ich świadomie. Jeden przełącznik — „Block AI Scrapers” — domyślnie włączony w Bot Fight Mode. Deklaruje oszczędność transferu i ochronę treści, a w praktyce dusi ruch GEO (Generative-Engine-Optimised): cytowania i kliknięcia referencyjne z asystentów AI, które odpowiadają już za miliard zapytań dziennie.

Gdy Cloudflare zwraca 403, ChatGPT sięga po to, co znajdzie gdzie indziej: notki z Product Hunt, nieaktualne recenzje albo artykuły konkurencji. Tracisz kontrolę nad przekazem, a — co bardziej boli — link prowadzący bezpośrednio do Twojej strony.

Ten artykuł to dwie minuty pracy z potencjałem sześciocyfrowego zysku. Pokażemy dokładnie, jak działa ustawienie Cloudflare, dlaczego wpuszczenie renomowanych crawlerów AI to najłatwiejsze zwycięstwo SEO 2025 roku, oraz jak przełączyć opcję, żeby to Twoje treści były cytowane, a nie dopisywane jako przypis. Gorączka złota AI już trwa; nie zamykaj bramy tak mocno, by okazja przeszła obok.

Co tak naprawdę oznacza „ruch GEO”

Generative-Engine-Optimised (GEO) traffic to strumień użytkowników, którzy trafiają do Ciebie po zacytowaniu Twojej treści w asystentach AI — ChatGPT „Browse”, migawkach Gemini, odpowiedziach Perplexity, panelach Microsoft Copilot, a nawet w komunikatach inteligentnych głośników. Gdy GPTBot czy ClaudeBot zindeksuje stronę, tekst i linki trafiają do wektorowej bazy wiedzy. Za każdym razem, gdy model wyświetli Twój akapit z aktywnym linkiem, część użytkowników kliknie.

Dlaczego to ważne w 2025 r.: analizy logów serwerowych pokazują, że renomowane crawlery AI stanowią już 20–30 % wolumenu klasycznego Googlebota na stronach technologicznych i SaaS. Ta część rośnie o ~5 % miesięcznie, podczas gdy tradycyjne kliknięcia organiczne rosną jedynie o 1–2 %. Zignoruj ruch GEO dziś, a jutro oddasz nowy kanał odkryć, gdy modele utrwalą obecne zrzuty danych.

Typowa ścieżka cytowania:

  1. GPTBot pobiera Twój wpis lub notkę →

  2. Tekst zostaje osadzony i zapisany →

  3. Użytkownik zadaje pytanie →

  4. Model pobiera Twój fragment, cytuje URL →

  5. Kliknięcie → zyskujesz odwiedzającego z wysoką intencją.

Zablokuj krok 1, a łańcuch nigdy się nie rozpocznie.

Jak Cloudflare przypadkowo dusi odkrywalność przez AI

Funkcja Bot Fight Mode w Cloudflare ma niepozorny przełącznik: „Block AI Scrapers”. Po włączeniu każde żądanie z GPTBot, ClaudeBot, PerplexityBot czy Google-Extended otrzymuje wyzwanie lub bezpośrednie 403. Blokada odbywa się na edge’u, więc logi originu mogą jej nie odnotować — tylko analityka Cloudflare pokaże wzrost odpowiedzi 4xx dla user-agentów AI.

Dlaczego istnieje ten przełącznik: Cloudflare testuje rynek pay-per-crawl, w którym duzi dostawcy LLM kupują tokeny dostępu, a Cloudflare pobiera 30–40 % prowizji — podobnie jak podatek Apple App Store. Do tego czasu domyślne ustawienie „chroni” treści, odmawiając dostępu botom AI, które nie płacą. Świetne dla marży Cloudflare; katastrofalne dla Twojej widoczności.

Objawy, które zauważysz

Objaw Gdzie to sprawdzić Co to oznacza
Nagły wzrost 403 dla GPTBot w logach Cloudflare Security ▸ Events Boty AI blokowane na edge’u
ChatGPT Browse cytuje zewnętrzne streszczenia zamiast Twojej domeny Ręczny test promptu Model nie mógł zindeksować Twojej treści
Lista „Sources” w Perplexity pomija Cię mimo trafności tematu Panel odpowiedzi Perplexity Indeks pominął Twoją stronę

Dowód techniczny

curl -I https://yourdomain.com/ --user-agent "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.0" HTTP/2 403

Uruchom ten sam curl ze zwykłym UA przeglądarki; dostaniesz 200 OK. Różnicę robi blokada botów AI w Cloudflare.

Sedno: zostawiając przełącznik włączony, ustawiasz w praktyce Disallow: / dla każdego crawlery AI, na którym opiera się dziś sieć. Wyłącz go albo dodaj wyraźną regułę Allow dla renomowanych user-agentów, a ruch GEO zacznie płynąć w ciągu 24–48 godzin — zanim konkurenci zrozumieją, dlaczego Twoja witryna pojawia się w odpowiedziach czatów, a ich zanika w pyle cytowań.

Boty AI, które warto wpuścić za bramę

Bot Dostawca Dlaczego warto Oficjalny ciąg User-Agent*
GPTBot OpenAI Zasila odpowiedzi ChatGPT i cytowania linków. Mozilla/5.0 … GPTBot/1.0
ClaudeBot Anthropic Dostarcza Claude AI cytowania i odczyty w czasie rzeczywistym. Mozilla/5.0 … ClaudeBot/1.0
PerplexityBot Perplexity.ai Buduje indeks odpowiedzi Perplexity (panel Sources generuje kliknięcia). Mozilla/5.0 … PerplexityBot/1.0
Google-Extended Google Dostarcza dane do LLM Gemini; oddzielny od klasycznego Googlebota. Mozilla/5.0 (compatible; Google-Extended/1.0…)
BingBot (Copilot) Microsoft Skanuje na potrzeby wyszukiwarki Bing oraz odpowiedzi Copilot AI. Mozilla/5.0 … bingbot/2.0

*Wielokropki (…) oznaczają standardowe ciągi przeglądarki poprzedzające identyfikator bota.

Krok po kroku — wyłącz blokowanie botów AI w Cloudflare

  1. Zaloguj się do Cloudflare Dashboard
    Wybierz domenę, którą chcesz naprawić.

  2. Nawiguj do: Security ▸ Bots

  3. Znajdź przełącznik „Block AI Scrapers”
    Znajduje się pod Bot Fight Mode. Wyłącz go.

  4. (Opcjonalnie, ale bezpieczniej) Dodaj wyraźną regułę Allow

    • Security ▸ WAF ▸ Custom Rules ▸ Create

    • Wyrażenie: (http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot") or (http.user_agent contains "PerplexityBot") or (http.user_agent contains "Google-Extended") or (http.user_agent contains "bingbot")

    • Akcja: Skip → Bot Fight Mode, Managed Challenge

  5. Wyczyść cache
    Caching ▸ Configuration ▸ Purge Everything, aby boty pobrały świeże odpowiedzi 200.

  6. Zweryfikuj

    curl -I https://yourdomain.com/ \ -A "Mozilla/5.0 AppleWebKit/537.36; compatible; GPTBot/1.0"

    Oczekuj HTTP/2 200, nie 403.

Całość: ok. 2 minuty. Efekt: boty AI wreszcie mogą czytać i cytować Twoje strony.

Robots.txt pod strategię „AI-First” w SEO

User-agent: * Allow: /

To wszystko. Globalne Allow gwarantuje dostęp wszystkim renomowanym botom — wyszukiwarkom i AI — do każdego publicznego URL-a. Cząstkowe lub stare linie Disallow: psują nowoczesną indeksację, ponieważ:

  • Boty AI często nie mają wyjątków dla podkatalogów; pojedyncze Disallow: /api może przełożyć się na pełną odmowę dostępu.

  • Przyszłe crawlery dziedziczą te same reguły; „tymczasowa” blokada staje się trwałym wykluczeniem z danych treningowych.

Jeśli musisz ograniczyć transfer, użyj rate-limitów Cloudflare lub WAF-a, nie robots.txt, dzięki czemu zachowasz widoczność crawlów, jednocześnie kontrolując obciążenie.

Otwórz bramę, sprawdź 200 OK, pozwól płynąć ruchowi GEO.

FAQ — Cloudflare, boty AI i blokowanie

P 1. Bot Fight Mode w Cloudflare jest włączony, ale nie widzę błędów w logach serwera — dlaczego?
Cloudflare blokuje GPTBot i spółkę na edge’u, więc odpowiedzi 403 nie trafiają do Twojego originu. Sprawdź Cloudflare Dashboard → Security → Events lub wykonaj test curl z user-agentem bota; tam wyjdą ukryte blokady.

P 2. Czy wpuszczenie GPTBot podbije mój rachunek za transfer?
Pełne skanowanie GPTBot jest lekkie — tylko HTML, bez obrazów, CSS ani JS-u. Dla 500-stronicowej witryny to zwykle < 30 MB miesięcznie, znacznie poniżej 100 MB bezpłatnego limitu egress w Cloudflare.

P 3. Czy odblokowanie crawlerów AI ujawni treści płatne lub prywatne?
Tylko jeśli URL-e są publicznie dostępne. Trzymaj płatne PDF-y czy wideo dla członków za nagłówkami autoryzacji; GPTBot respektuje HTTP 401/403 tak samo jak Googlebot. Robots.txt nie jest mechanizmem bezpieczeństwa.

P 4. Czy lista „Verified Bot” w Cloudflare obejmuje boty AI?
Nie. GPTBot, ClaudeBot i PerplexityBot nie znajdują się jeszcze na liście zweryfikowanych, dlatego wpadają do ogólnej kategorii „AI Scraper” blokowanej, gdy przełącznik jest w pozycji ON.

P 5. Co z podejrzanymi scraperami AI, które zjadają transfer?
Utwórz regułę WAF, która pozwala wyłącznie renomowanym agentom (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, bingbot) i limituj resztę. Zyskujesz cytowania, chroniąc się przed nieznanymi żniwiarzami.

P 6. Jeśli odblokuję dziś, jak szybko asystenci AI zaczną mnie cytować?
GPTBot wraca na popularne lub świeżo aktualizowane strony w ciągu 24–72 h. ChatGPT Browse może pokazać nowe cytowania dzień lub dwa później. Mniej ruchliwe strony mogą czekać tydzień lub dłużej.

All-in-One AI SEO Platform
Boost your sales and traffic
with our automated optimizations.
Get set up in just 3 minutes.Sign up for SEOJuice
free to start, 7 day trial

Free SEO Tools

🤖 AI FAQ Generator

Generate FAQs for your content

🖼️ Image Alt Text Suggester

Get AI-generated alt text for images

🤖 Robots.txt Generator

Create a robots.txt file for your website

🖼️ AI Image Caption Generator

Generate captions for your images using AI

🛒 E-commerce Audit Tool

Analyze and improve your e-commerce pages

🔍 Keyword Research Tool

Get keyword suggestions and search insights

🔍 Free SEO Audit

Get a comprehensive SEO audit for your website

🔐 GDPR Compliance Checker

Check your website's GDPR compliance

🔗 Broken Link Checker

Find and fix broken links on your site

🔍 Keyword Density Analyzer

Analyze keyword usage in your content