Cloudflare trennt KI‑Crawler nach Zweck
Cloudflare hat ein wegweisendes Update für den Umgang mit KI‑Crawlern veröffentlicht. Statt einer pauschalen Blockade werden KI‑Bots nun nach ihrem konkreten Einsatzzweck unterschieden. Für Website‑Betreiber bedeutet das mehr Transparenz, mehr Kontrolle und besseren Schutz vor unerwünschter Datenverwertung.
Klare Trennung: Search, Agent und Training
Die neue Struktur teilt KI‑Crawler in drei Kategorien ein:
- Search – Bots, die Inhalte indexieren, um sie in Suchmaschinen oder KI‑Suchdiensten auszugeben.
- Agent – Echtzeit‑Abfragen im Auftrag eines Nutzers, z. B. durch Chatbots oder KI‑Assistenten.
- Training – Crawler, die Inhalte für das Training von KI‑Modellen sammeln.
Diese Differenzierung ermöglicht es Website‑Betreibern, Suchsichtbarkeit zu erhalten, während sie gleichzeitig das Training von KI‑Modellen oder automatisierte Agenten‑Zugriffe gezielt blockieren können.
Neue Standardregeln ab September 2026
Cloudflare führt neue Default‑Einstellungen ein, die besonders für werbefinanzierte Seiten relevant sind. Für neue Domains gilt:
- Search: erlaubt
- Agent: blockiert
- Training: blockiert
Der Hintergrund: Werbeanzeigen sollen von echten Nutzern gesehen werden – nicht von Bots, die Inhalte lediglich für KI‑Modelle weiterverarbeiten.
Mehrzweck‑Crawler im Fokus: Googlebot, Applebot & Bingbot
Cloudflare bewertet künftig nicht nur den Namen eines Bots, sondern alle Zwecke, für die er eingesetzt wird. Kombiniert ein Crawler mehrere Funktionen, greift automatisch die restriktivste Regel. Das betrifft auch große Anbieter wie Google, Apple und Microsoft.
Google verweist auf „Google Extended“, das KI‑Training ausschließt, ohne die klassische Suche zu beeinträchtigen – ein wichtiger Hinweis für Publisher, die Sichtbarkeit behalten möchten.
Warum Cloudflare diesen Schritt geht
Analysen zeigen extreme Unterschiede zwischen Crawling‑Aktivität und tatsächlichem Traffic. KI‑Plattformen wie Anthropic oder OpenAI rufen Inhalte millionenfach ab, ohne nennenswerte Besucherströme zurückzugeben. Das belastet Server, gefährdet Monetarisierung und wirft urheberrechtliche Fragen auf.
Kommentare