Cloudflare ha annunciato l’intenzione di bloccare automaticamente i web crawler a uso misto, in altre parole quelli che indicizzano i siti web per i motori di ricerca e che, allo stesso tempo, fungono da agenti e addestratori di intelligenza artificiale.
In precedenza, l’azienda offriva ai propri clienti la possibilità opzionale di impedire ai crawler di effettuare lo scraping dei siti per i chatbot IA, ma ora la posizione di Cloudflare è più difensiva per impostazione predefinita.
Il traffico dell’AI ha superato da tempo quello umano
“Ora che la maggior parte del traffico su Internet non è umano, dobbiamo fare un passo in più agire rapidamente affinché possa emergere un ecosistema sostenibile”, ha dichiarato Matthew Prince, CEO e co-fondatore di Cloudflare. “Nuovi strumenti e partnership offrono ai proprietari di siti web maggiore visibilità e opportunità commerciali, e avvantaggiano le aziende di intelligenza artificiale che utilizzano bot con intenti chiari e trasparenti. Auspichiamo che le modifiche predefinite proposte incoraggino i crawler a uso misto, separando l’attività di ricerca dall’uso come agenti e dall’addestramento”.
In passato il traffico web indicava che le persone stavano visualizzando gli annunci pubblicitari di un sito o pagando per i suoi abbonamenti, ma la popolarità dei modelli di intelligenza artificiale in grado di visitare i siti per conto di un utente ed estrarre informazioni aggiornate ha stravolto questo sistema. Il nuovo approccio di Cloudflare è un tentativo di riequilibrare il rapporto in un modo che sia equo sia per le aziende di IA sia per chiunque gestisca un sito web.
