Dal 15 settembre 2026 Cloudflare bloccher� di default i crawler "mixed-use", cio� quelli che combinano indicizzazione per la ricerca, addestramento di modelli AI e uso agentivo, dalle pagine che ospitano annunci pubblicitari. La novit�, annunciata sul blog ufficiale dell'azienda, punta a dare ai publisher pi� controllo su come i propri contenuti vengono sfruttati dall'intelligenza artificiale. Le nuove impostazioni di default si applicano ai nuovi clienti Cloudflare, ai nuovi siti dei clienti gi� esistenti e a tutti i clienti free che non hanno modificato le proprie configurazioni. Chi vuole continuare a farsi scansionare da questi bot pu� comunque riammetterli manualmente intervenendo sulle impostazioni, che verranno rese pi� granulari consentendo di ammettere o escludere solo determinati tipi di bot. Il blocco si accompagna a un cambio nel modello di remunerazione: il servizio Pay Per Crawl evolve in Pay Per Use. Non si paga pi� il publisher solo quando il contenuto viene scansionato, ma quando quel contenuto crea effettivamente valore. I primi partner del nuovo modello sono Ceramic.ai, motore di ricerca AI, e You.com, motore di ricerca pensato per agenti AI: chi aderisce viene pagato quando i propri contenuti compaiono nei risultati di Ceramic.ai o quando You.com accede a un contenuto premium. Il traffico non umano supera quello umano Matthew Prince, co-fondatore e CEO di Cloudflare, ha collegato la mossa a un cambio di scala del traffico Internet: "Ora che la maggioranza del traffico su Internet non � pi� umana, dobbiamo andare oltre e agire pi� in fretta perch� possa emergere un ecosistema sostenibile", ha dichiarato, sottolineando che questa soglia � stata raggiunta prima del previsto. Cloudflare sostiene inoltre che oltre la met� del traffico generato dai crawler AI viene speso per ri-scansionare pagine che non sono cambiate, sprecando banda e risorse dei publisher. Per dare ai publisher pi� visibilit� su questi consumi, Cloudflare introduce anche una nuova Business Insights Dashboard, pensata per mostrare come i bot consumano i contenuti e quanto traffico generano i modelli AI. Google, Microsoft e Apple potenzialmente coinvolti Fra i crawler che rientrano nella categoria "mixed-use", e quindi potenzialmente soggetti al blocco di default, ci sono anche Googlebot, Bingbot di Microsoft e Applebot. Le tre aziende offrono per� canali di esclusione separati e specifici per l'uso AI, che potrebbero esentarle dal blocco: rispettivamente Applebot-Extended, Google-Extended e il meta tag "noarchive". Cloudflare ha rincarato la dose puntando il dito contro quello che definisce "il pi� grande motore di ricerca del mondo", riferendosi a Google, sostenendo che avrebbe accesso a circa il doppio delle informazioni rispetto agli altri fornitori di AI perch� renderebbe difficile per i siti restare indicizzati su Search senza al contempo alimentare i propri prodotti AI. Google ha risposto ricordando che il proprio bot Google-Extended permette ai siti di escludere i contenuti dall'addestramento e dai prodotti AI, inclusi Gemini e le API Vertex, senza perdere l'indicizzazione su Google Search.