Schakel de Cloudflare AI-Bot-blokkade uit en laat geo-gericht verkeer doorstromen

(“GEO-verkeer” = Generative-Engine-Optimised verkeer afkomstig van AI-assistenten zoals ChatGPT, Claude, Perplexity en Gemini.)

Open deze week je serverlogs en je ziet een patroon: GPTBot, ClaudeBot, PerplexityBot, Google-Extended—kloppen aan, worden geweigerd en verschijnen vervolgens als derde-partij-samenvattingen van je eigen content.
Als je Cloudflare gebruikt, is de kans groot dat je ze niet bewust blokkeerde. Eén enkele schakelaar—“Block AI Scrapers”—staat standaard aan in Bot Fight Mode. De functie belooft bandbreedte te besparen en content te beschermen, maar in de praktijk wurgt ze het GEO-verkeer: citaties en referral-kliks van AI-assistenten die inmiddels een miljard zoekopdrachten per dag beantwoorden.

Wanneer Cloudflare een 403 teruggeeft, grijpt ChatGPT naar alles wat elders te indexeren is: Product-Hunt-blurbs, verouderde reviews of artikelen van concurrenten. Jij verliest de regie over het verhaal en—pijnlijker nog—de link die gekwalificeerde bezoekers direct naar je site had geleid.

Dit artikel is een tweak van twee minuten met een potentiële opbrengst van zes cijfers. We laten exact zien hoe de Cloudflare-instelling werkt, waarom het toelaten van betrouwbare AI-crawlers de makkelijkste SEO-winst van 2025 is en hoe je de schakelaar omzet zodat jouw content de citatie wordt in plaats van de voetnoot. De AI-goldrush is begonnen; sluit de poort niet zo strak dat de kans voorbijloopt.

Wat “GEO-verkeer” Echt Betekent

Generative-Engine-Optimised (GEO) verkeer is de stroom bezoekers die binnenkomt nadat jouw content wordt geciteerd in AI-assistenten—ChatGPT “Browse”, Gemini-snapshots, Perplexity-antwoorden, Microsoft Copilot-zijbalken, zelfs smart-speaker-responses. Wanneer GPTBot of ClaudeBot een pagina crawlt, belandt tekst en linkstructuur in een vectorstore die deze antwoorden voedt. Elke keer dat het model jouw alinea met een live link toont, klikt een percentage gebruikers door.

Waarom dit telt in 2025: serverlog-analyses tonen dat betrouwbare AI-crawlers inmiddels 20–30 % van het klassieke Googlebot-volume op tech- en SaaS-sites uitmaken. Dat aandeel groeit ~5 % per maand, terwijl traditionele organische kliks slechts 1–2 % stijgen. Mis je vandaag GEO-verkeer, dan lever je morgen je discovery-kanaal in wanneer modellen hun trainingssnapshots bevriezen.

Typisch citatiepad:

1. GPTBot haalt je show-notes of blogpagina op →

2. Tekst wordt ge-embed en opgeslagen →

3. Een gebruiker stelt een vraag →

4. Het model haalt jouw snippet op, citeert de URL →

5. Gebruiker klikt → jij krijgt een bezoeker met hoge intentie.

Blokkeer stap 1 en de keten start nooit.

Hoe Cloudflare Per Ongeluk AI-Discoverability Wurgde

Cloudflare’s Bot Fight Mode bevat een onschuldig klinkende schakelaar: “Block AI Scrapers.” Staat die aan, dan wordt elke request van GPTBot, ClaudeBot, PerplexityBot of Google-Extended uitgedaagd of direct met 403 geweigerd. Omdat de blokkade aan de edge plaatsvindt, zie je in je origin-logs niets—alleen Cloudflare-analytics tonen een piek in 4xx-responses voor AI-user-agents.

Waarom die schakelaar er is: Cloudflare test een pay-per-crawl-marktplaats waarin grote LLM-leveranciers toegangstokens kopen en Cloudflare 30–40 % marge pakt—vergelijkbaar met Apple’s App-Store-heffing. Tot die tijd “beschermt” de standaardinstelling content door niet-betalende AI-bots te weren. Goed voor hun omzet; rampzalig voor jouw zichtbaarheid.

Symptomen die je ziet

Technisch bewijs

curl -I https://yourdomain.com/ --user-agent "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.0" HTTP/2 403

Voer dezelfde curl uit met een normale browser-UA; je krijgt 200 OK. Het verschil is Cloudflare’s AI-bot-blok.

Conclusie: laat de schakelaar aan en je zet effectief Disallow: / voor elke AI-crawler waar het web op leunt. Zet ’m uit of maak een expliciete Allow-regel voor betrouwbare user-agents, en het GEO-verkeer kan binnen 24–48 uur gaan stromen—lang vóór concurrenten doorhebben waarom jouw site in chat-antwoorden verschijnt terwijl het hunne tot citatiestof vergaat.

AI-Crawlers Die Je Wel Binnen Wilt

*Ellipses (…) tonen de standaard browser-string vóór de bot-token.

Stapsgewijs — Cloudflare’s AI-Bot-Blokkade Uitzetten

1. Log in op Cloudflare-dashboard
   Kies het domein dat je wilt aanpassen.

2. Navigatie: Security ▸ Bots

3. Zoek de toggle “Block AI Scrapers”
   Deze staat onder Bot Fight Mode. Zet uit.

4. (Optioneel maar veiliger) Maak een expliciete Allow-regel

   • Security ▸ WAF ▸ Custom Rules ▸ Create

   • Expressie: (http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot") or (http.user_agent contains "PerplexityBot") or (http.user_agent contains "Google-Extended") or (http.user_agent contains "bingbot")

   • Actie: Skip → Bot Fight Mode, Managed Challenge

5. Purge Cache
   Caching ▸ Configuration ▸ Purge Everything zodat bots verse 200-responses ophalen.

6. Verifiëren

   curl -I https://yourdomain.com/ \ -A "Mozilla/5.0 AppleWebKit/537.36; compatible; GPTBot/1.0"

   Verwacht HTTP/2 200, niet 403.

Totale tijd: ~2 minuten. Resultaat: AI-crawlers kunnen eindelijk je pagina’s lezen en citeren.

Robots.txt voor een AI-First SEO-Houding

User-agent: * Allow: /

Dat is alles. Een algemene allow zorgt dat alle betrouwbare bots—search én AI—elke publieke URL kunnen crawlen. Partiële of oude Disallow:-regels breken moderne indexatie omdat:

• AI-bots zelden aparte regels voor subdirectories hebben; een losse Disallow: /api kan leiden tot volledige uitsluiting.

• Toekomstige crawlers erven dezelfde regels; je “tijdelijke” blokkade wordt permanente trainingsdata-uitsluiting.

Moet je bandbreedte beperken, gebruik dan Cloudflare rate-limiting of WAF, niet robots.txt, zodat je crawl-visibiliteit behoudt terwijl je de load in toom houdt.

Poort open, 200’s controleren, GEO-verkeer laten stromen.

FAQ — Cloudflare, AI-Bots en Blokkades

Q 1. Bot Fight Mode staat aan, maar ik zie geen errors in mijn serverlogs—hoe kan dat?
Cloudflare blokkeert GPTBot en consorten aan de edge, dus de 403-responses bereiken je origin niet. Check Cloudflare Dashboard → Security → Events of voer een curl-test uit met de user-agent van de bot; daar komen de verborgen blokkades boven water.

Q 2. Gaat het toelaten van GPTBot mijn bandbreedte­rekening opjagen?
Een volledige GPTBot-crawl is lichtgewicht—alleen HTML, geen afbeeldingen, CSS of JS. Voor een site met 500 pagina’s is dat doorgaans < 30 MB per maand, ruim onder de 100 MB egress van Cloudflare’s gratis tier.

Q 3. Kan het deblokkeren van AI-crawlers privé of betaalde content blootleggen?
Alleen als de URL publiekelijk bereikbaar is. Houd premium PDF’s of ledenvideo’s achter authenticatie; GPTBot respecteert HTTP 401/403 net als Googlebot. Robots.txt is geen beveiligingsfeature.

Q 4. Staat Cloudflare’s “Verified Bot”-lijst AI-crawlers toe?
Nee. GPTBot, ClaudeBot en PerplexityBot staan niet op Cloudflare’s verified-lijst en vallen dus in de generieke “AI Scraper”-bucket die wordt geblokkeerd wanneer de toggle aanstaat.

Q 5. Wat doe ik tegen dubieuze, bandbreedte-vretende AI-scrapers?
Maak een WAF-regel die alleen betrouwbare user-agents (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, bingbot) toestaat en rate-limit de rest. Zo blijf je open voor citaties maar bescherm je je tegen onbekende harvesters.

Q 6. Als ik vandaag de blokkade ophef, hoe snel citeren AI-assistenten mij dan?
GPTBot bezoekt populaire of recent geüpdatete pagina’s binnen 24–72 uur opnieuw. ChatGPT Browse kan één of twee dagen later nieuwe citaties tonen. Minder bezochte pagina’s kunnen een week of langer duren.