Dal 15 settembre 2026 Cloudflare bloccher� per default i crawler che mescolano ricerca, training AI e uso agentico dalle pagine con pubblicit�. Cambia anche il modello di remunerazione per i publisher, con Pay Per Use al posto di Pay Per Crawl

Cloudflare gave AI crawlers a September deadline to separate the bots that gather content for search from those that harvest it for training or be blocked on pages that carry ads.

Some crawlers gather data for both search and AI training, so when publishers block them to protect content they risk disappearning from search results ...