Cloudflare ha annunciato un aggiornamento importante nella gestione dei crawler sul web, con un sistema di classificazione più preciso che distingue i bot in base al loro comportamento reale. La novità riguarda soprattutto i crawler legati all’intelligenza artificiale, che verranno etichettati come ricerca, agente, addestramento o profili misti.
Il passaggio più rilevante è già fissato in calendario: dal 15 settembre 2026 Cloudflare bloccherà in modo predefinito i crawler AI di tipo agente e quelli destinati all’addestramento quando tentano di accedere a pagine che contengono pubblicità. L’obiettivo è dare ai siti più controllo sulla distribuzione dei contenuti e sulla monetizzazione collegata.
Cloudflare rende più rigido il controllo sui crawler AI
La società spiega che molti operatori del web vogliono continuare a rendere i propri contenuti trovabili dai sistemi AI, ma senza rinunciare ai ricavi legati alla proprietà intellettuale. Il problema nasce dai crawler ibridi, ciòè bot che svolgono più funzioni insieme e che finora erano più difficili da gestire in modo selettivo.
Con il nuovo approccio, il gestore dei crawler di Cloudflare assegna a ogni bot tutti i comportamenti rilevati. Questo significa che un crawler multiuso può essere escluso da un sito anche se solo una delle sue modalità operative rientra tra quelle bloccate dal proprietario della pagina.
- Nuove etichette per i crawler basate sul comportamento: ricerca, agente AI, addestramento e profili misti.
- I crawler ibridi vengono classificati su più livelli, non più con una sola funzione dichiarata.
- Se un sito blocca anche una sola categoria associata a un bot, il crawler non può operare su quel dominio.
- Dal 15 settembre 2026 il blocco predefinito riguarderà i crawler AI agente e addestramento sulle pagine con pubblicità.
Arrivano dashboard aggiornate, monitoraggio delle pagine e crawling a consumo
Cloudflare non si limita al blocco dei crawler. L’azienda introdurrà anche una nuova dashboard di analisi attribuzionale per i proprietari dei siti, pensata per seguire l’evoluzione dell’ottimizzazione dei contenuti dal classico SEO verso GEO e AEO, ciòè i modelli orientati ai motori generativi e ai motori di risposta.
Tra le altre novità ci sono il monitoraggio delle modifiche delle pagine per ridurre le scansioni ripetitive senza utilità e un modello di pagamento del crawling in modalità pay-per-use. Sono due strumenti che puntano a rendere il traffico automatizzato più efficiente e, soprattutto, più controllabile lato publisher.
- Nuova dashboard di business insight dedicata all’attribuzione del traffico e alla lettura dei nuovi scenari oltre il SEO.
- Supporto ai modelli GEO e AEO, sempre più rilevanti con la crescita dei sistemi di risposta AI.
- Monitoraggio delle variazioni di pagina per evitare crawling ridondante.
- Nuovo modello di scansione con tariffazione in base all’uso.
