Cloudflare-AI-Bot-Blockierung deaktivieren und geo-targetierten Traffic freigeben

(„GEO-Traffic“ steht hier für Generative-Engine-optimierten Traffic von KI-Assistenten wie ChatGPT, Claude, Perplexity und Gemini.)

Öffnen Sie diese Woche Ihre Server-Logs und Sie erkennen ein Muster: GPTBot, ClaudeBot, PerplexityBot, Google-Extended – sie klopfen an, werden abgewiesen und durch Zusammenfassungen Dritter Ihres eigenen Inhalts ersetzt.
Wenn Ihre Seite über Cloudflare läuft, haben Sie sie vermutlich nicht absichtlich gesperrt. Eine einzige Einstellung – „Block AI Scrapers“ – ist im Bot Fight Mode standardmäßig aktiviert. Sie verspricht Bandbreite zu sparen und Inhalte zu schützen, wirkt in der Praxis aber wie eine Drossel für den von uns so genannten GEO-Traffic (Generative-Engine-optimierter Traffic): Zitationen und Referral-Klicks aus KI-Assistenten, die inzwischen eine Milliarde Suchanfragen pro Tag beantworten.

Wenn Cloudflare einen 403 ausliefert, greift ChatGPT auf alles zurück, was es sonst irgendwo indexieren kann: Product-Hunt-Kurzbeschreibungen, veraltete Reviews oder Berichte von Wettbewerbern. Sie verlieren die Kontrolle über die Erzählung und – noch schmerzhafter – den Link, der qualifizierte Besucher direkt auf Ihre Seite geführt hätte.

Dieser Artikel liefert eine Zwei-Minuten-Lösung mit sechsstelligem Potenzial. Wir zeigen exakt, wie die Cloudflare-Einstellung funktioniert, warum das Zulassen seriöser AI-Crawler der wohl einfachste SEO-Quick-Win 2025 ist und wie Sie den Schalter umlegen, damit Ihr Inhalt als Quelle erscheint statt als Fußnote. Der KI-Goldrausch läuft bereits; verriegeln Sie die Tore nicht so fest, dass die Chance vorbeizieht.

Was „GEO-Traffic“ wirklich bedeutet

Generative-Engine-optimierter (GEO) Traffic ist der Besucherstrom, der einsetzt, nachdem Ihr Inhalt in KI-Assistenten zitiert wird – ChatGPT „Browse“, Gemini-Snapshots, Perplexity-Antworten, Microsoft Copilot-Sidebars oder sogar Smart-Speaker-Reaktionen. Wenn GPTBot oder ClaudeBot eine Seite crawlt, landen Text und Links in einem Vektor-Store, der diese Antworten speist. Jedes Mal, wenn das Modell Ihren Absatz mit einem Live-Link ausspielt, klickt ein Teil der Nutzer durch.

Warum das 2025 wichtig ist: Server-Log-Studien zeigen, dass seriöse AI-Crawler inzwischen 20–30 % des klassischen Googlebot-Volumens auf Tech- und SaaS-Sites ausmachen. Dieser Anteil wächst monatlich um etwa 5 %, während traditionelle organische Klicks nur um 1–2 % zulegen. Wer heute auf GEO-Traffic verzichtet, verschenkt den Entdeckungskanal von morgen, sobald die Modelle ihre Trainings-Snapshots einfrieren.

Typischer Zitier-Ablauf:

1. GPTBot ruft Ihre Shownotes- oder Blogseite ab →

2. Text wird eingebettet und gespeichert →

3. Ein Nutzer stellt eine Frage →

4. Das Modell holt Ihr Snippet, zitiert die URL →

5. Nutzer klickt → Sie gewinnen einen Besucher mit hoher Kaufabsicht.

Blockieren Sie Schritt 1, startet die Kette nie.

Wie Cloudflare die AI-Discovery versehentlich abwürgt

Cloudflares Bot Fight Mode enthält einen harmlos klingenden Schalter: „Block AI Scrapers“. Ist er aktiv, werden alle Anfragen, die GPTBot, ClaudeBot, PerplexityBot oder Google-Extended entsprechen, herausgefordert oder direkt mit 403 blockiert. Da die Sperre am Edge erfolgt, taucht sie in Ihren Origin-Logs oft gar nicht auf – nur die Cloudflare-Analytics zeigen einen Anstieg der 4xx-Antworten für AI-User-Agents.

Warum es den Schalter gibt: Cloudflare testet einen Pay-per-Crawl-Marktplatz, auf dem große LLM-Anbieter Zugriffstoken kaufen, während Cloudflare 30–40 % Provision behält – ähnlich der Apple-App-Store-Gebühr. Bis dahin schützt die Voreinstellung Inhalte, indem sie nicht zahlende AI-Bots ablehnt. Gut für ihre Marge; katastrophal für Ihre Sichtbarkeit.

Symptome, die Sie beobachten

Technischer Nachweis

curl -I https://yourdomain.com/ --user-agent "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.0" HTTP/2 403

Führen Sie denselben Curl mit einem normalen Browser-UA aus; Sie erhalten 200 OK. Der Unterschied ist die AI-Bot-Sperre von Cloudflare.

Fazit: Lassen Sie den Schalter eingeschaltet, setzen Sie faktisch Disallow: / für jeden AI-Crawler, auf den das Web baut. Schalten Sie ihn aus oder erstellen Sie eine explizite Allow-Regel für seriöse User-Agents, und GEO-Traffic kann binnen 24–48 Stunden fließen – lange bevor Ihre Wettbewerber merken, warum Ihre Site in Chat-Antworten auftaucht, während ihre zu Staub zerfällt.

AI-Crawler, die Sie unbedingt durchlassen sollten

*Auslassungszeichen (…) stehen für die üblichen Browser-Strings vor dem Bot-Token.

Schritt für Schritt — Cloudflares AI-Bot-Blockierung deaktivieren

1. Im Cloudflare-Dashboard anmelden
   Wählen Sie die Domain, die Sie anpassen möchten.

2. Navigieren zu: Security ▸ Bots

3. Den Schalter „Block AI Scrapers“ finden
   Er befindet sich unter Bot Fight Mode. Ausschalten.

4. (Optional, aber sicherer) Explizite Allow-Regel hinzufügen

   • Security ▸ WAF ▸ Custom Rules ▸ Create

   • Expression: (http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot") or (http.user_agent contains "PerplexityBot") or (http.user_agent contains "Google-Extended") or (http.user_agent contains "bingbot")

   • Aktion: Skip → Bot Fight Mode, Managed Challenge

5. Cache leeren
   Caching ▸ Configuration ▸ Purge Everything, damit Bots frische 200-Antworten erhalten.

6. Überprüfen

   curl -I https://yourdomain.com/ \ -A "Mozilla/5.0 AppleWebKit/537.36; compatible; GPTBot/1.0"

   Erwarten Sie HTTP/2 200 statt 403.

Gesamtdauer: ~2 Minuten. Ergebnis: AI-Crawler können Ihre Seiten endlich lesen und zitieren.

Robots.txt für eine AI-First-SEO-Strategie

User-agent: * Allow: /

Das war’s. Eine generelle Allow-Direktive stellt sicher, dass alle seriösen Bots – Search und AI – auf jede öffentliche URL zugreifen können. Teilweise oder veraltete Disallow:-Zeilen sabotieren die moderne Indexierung, weil:

• AI-Bots oft keine Sonderregeln für Unterverzeichnisse verstehen; ein einzelnes Disallow: /api kann zur kompletten Sperre führen.

• Künftige Crawler übernehmen dieselben Regeln; Ihre „temporäre“ Sperre wird so zur dauerhaften Ausgrenzung aus Trainingsdaten.

Wenn Sie Bandbreite drosseln müssen, nutzen Sie Cloudflare-Rate-Limiting oder die WAF, nicht robots.txt, damit die Crawl-Sichtbarkeit erhalten bleibt, während Sie die Last steuern.

Tor öffnen, 200er prüfen, GEO-Traffic fließen lassen.

FAQ — Cloudflare, AI-Bots und Blockierung

F 1. Cloudflares „Bot Fight Mode“ ist aktiv, aber ich sehe keine Fehler in meinen Server-Logs – warum?
Cloudflare blockiert GPTBot & Co. am Edge, daher erreichen die 403-Antworten Ihren Origin nicht. Schauen Sie im Cloudflare Dashboard → Security → Events nach oder führen Sie einen curl-Test mit dem Bot-User-Agent aus; dort tauchen die versteckten Sperren auf.

F 2. Treibt das Zulassen von GPTBot meine Bandbreitenkosten in die Höhe?
Ein kompletter GPTBot-Crawl ist schlank – nur HTML, keine Bilder, kein CSS, kein JS-Rendering. Bei einer 500-Seiten-Site sind das typischerweise < 30 MB pro Monat, also deutlich unter dem 100 MB-Egress-Limit des Cloudflare-Free-Tiers.

F 3. Kann das Entsperren von AI-Crawlern private oder kostenpflichtige Inhalte offenlegen?
Nur wenn die URLs öffentlich zugänglich sind. Halten Sie Premium-PDFs oder Mitglieder-Videos hinter Auth-Headern; GPTBot respektiert HTTP 401/403 genau wie Googlebot. Robots.txt ist kein Sicherheitsfeature.

F 4. Enthält Cloudflares „Verified Bot“-Liste AI-Crawler?
Nein. GPTBot, ClaudeBot und PerplexityBot stehen nicht auf Cloudflares Verified-Liste und landen daher im generischen „AI Scraper“-Bucket, der blockiert wird, solange der Schalter aktiv ist.

F 5. Wie gehe ich mit fragwürdigen, bandbreitenfressenden AI-Scrapern um?
Legen Sie eine WAF-Regel an, die nur seriöse User-Agents (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, bingbot) zulässt und alles andere rate-limitiert. So bleiben Sie offen für Zitationen und schützen sich vor unbekannten Harvestern.

F 6. Wenn ich heute entsperre, wie schnell zitieren mich AI-Assistenten?
GPTBot besucht beliebte oder kürzlich aktualisierte Seiten innerhalb von 24–72 Stunden erneut. ChatGPT Browse kann neue Zitate ein bis zwei Tage später anzeigen. Weniger besuchte Seiten können eine Woche oder länger brauchen.