Statt Totalblockade: Cloudflare trennt KI-Crawler nach Zweck
Drei Kategorien statt pauschaler KI-Blockade
Neue Standardregeln für Mehrzweck-Crawler
BotBase soll mehr Transparenz schaffen
Cloudflare baut die Steuerung von KI-Crawlern deutlich aus. Webseitenbetreiber können Zugriffe künftig nicht mehr nur pauschal blockieren, sondern nach Einsatzzweck unterscheiden. Neu sind getrennte Regeln für Suchindexierung, KI-Agenten und Modelltraining. Die Funktionen stehen laut Cloudflare ab sofort allen Kunden zur Verfügung, auch im kostenlosen Tarif.
