Cloudflare lancia strumenti per fermare lo scraping AI
Cloudflare ha annunciato nuovi strumenti lunedì che afferma saranno fondamentali per mettere fine all’era dello scraping AI illimitato, dando a tutti i siti sulla sua rete la possibilità di bloccare i bot con un semplice clic. Questa novità aiuterà a fermare il flusso inarrestabile di scraping AI non autorizzato, ma, forse ancora più interessante per i creatori di contenuti, Cloudflare afferma che renderà più semplice identificare quali contenuti vengono maggiormente scansionati dai bot, permettendo ai siti di isolare l’accesso e di addebitare un costo ai bot per estrarre i loro contenuti più preziosi. Per preparare il terreno per un futuro in questo senso, Cloudflare sta anche creando un marketplace per permettere a tutti i siti di negoziare accordi sui contenuti in base ad audit AI più dettagliati dei loro siti.
Questi strumenti, secondo il blog di Cloudflare, offrono ai creatori di contenuti “per la prima volta” strumenti “per comprendere rapidamente e facilmente come i fornitori di modelli AI utilizzano i loro contenuti, e poi prendere il controllo su se e come i modelli possano accedervi.” Questo è essenziale per i creatori di contenuti poiché l’ascesa dell’AI generativa ha reso più difficile valutare il valore dei loro contenuti, ha suggerito Cloudflare in un blog più lungo che spiega gli strumenti.
![TCL - Moveaudio S600 Cuffie wireless (cancellazione attiva del rumore, tecnologia ANC, Bluetooth 5.0, ricarica rapida, custodia con ricarica wireless, IP54, controllo touch) Pearl White [Italia]](https://m.media-amazon.com/images/I/21xRrg1Nk6L._SS520_.jpg)
In precedenza, i siti erano in grado di distinguere tra l’approvazione dell’accesso a bot utili che generano traffico, come i crawler dei motori di ricerca, e il diniego di accesso a bot dannosi che tentano di abbattere i siti o di estrarre dati sensibili o competitivi. Ma ora, secondo Cloudflare, “i Grandi Modelli di Linguaggio (LLM) e altri strumenti generativi hanno creato una terza categoria ambigua” di bot che non si adattano perfettamente a nessuna delle due categorie. Non generano necessariamente traffico come un buon bot, ma non tentano nemmeno di rubare dati sensibili come un cattivo bot, il che lascia molti operatori di siti senza un chiaro modo di riflettere sul “valore scambiato” nell’autorizzare lo scraping AI.
Come bloccare i bot con un clic
Aumentando la capacità dei creatori di contenuti di controllare ciò che accade con i loro materiali, Cloudflare ha introdotto la possibilità di bloccare i bot in modo molto semplice. Oggi, gli operatori dei siti Cloudflare possono dire addio alla prassi di dover bloccare manualmente ogni singolo bot AI e possono, invece, selezionare un’opzione per “bloccare tutti i bot AI con un clic”. Questa manovra semplice e rapida si può effettuare visitando la sezione Bots sotto il tab Sicurezza nella dashboard di Cloudflare. Qui, gli operatori troveranno un link blu nell’angolo in alto a destra per configurare come il proxy di Cloudflare gestisce il traffico dei bot.
Su quella schermata, gli operatori possono attivare facilmente l’opzione nella scheda “Blocca scraper e crawler AI” posizionandola su “Attivo”. Questa operazione consente di bloccare tutti i bot AI, dando così ai creatori di contenuti il tempo necessario per elaborare le strategie su quali accessi desiderano eventualmente riattivare.
Oltre a semplicemente bloccare i bot, gli operatori possono anche eseguire audit AI, analizzando rapidamente quali sezioni dei loro siti sono più frequentemente scansionate e da quali bot. Questa analisi permette agli operatori di decidere quali scraping siano consentiti e di applicare controlli sofisticati su quali bot possano accedere a specifiche parti dei loro siti.
Per alcuni team, la decisione potrebbe consistere nell’autorizzare i bot associati con i motori di ricerca AI a scansionare le loro proprietà internet, poiché questi strumenti possono generare ancora traffico verso il sito. Altre organizzazioni potrebbero invece decidere di firmare accordi con un particolare fornitore di modelli, permettendo così a qualsiasi bot proveniente da quel provider di accedere ai loro contenuti. Un’opzione particolarmente interessante è data dalla capacità di scrivere regole per limitare certi bot che scansionano i siti con scopi sia “buoni” che “cattivi”, permettendo di mantenere solo quelli utili e scartare gli altri.
La nuova marketplace per la negoziazione dei diritti di contenuto
Utilizzando i dati degli audit AI, i creatori di contenuti potranno presto accedere a una nuova funzionalità che consentirà di “stabilire un prezzo equo per i loro contenuti utilizzati dalle aziende di AI per l’addestramento dei modelli e per la generazione aumentata delle risposte” (RAG). Secondo il blog di Cloudflare, “i proprietari di siti avranno la possibilità di stabilire un prezzo per il loro sito, o sezioni del loro sito, e di addebitare ai fornitori di modelli in base alle loro scansioni e al prezzo che hanno fissato.” Questa funzionalità di impostazione dei prezzi è attualmente in fase di sviluppo, ma gli operatori possono già iscriversi a una lista d’attesa per aiutare Cloudflare a testarla, “in base alla data in cui hanno prima aderito a Cloudflare.”
Cloudflare non ha ancora chiarito come funzionerà esattamente questo marketplace o se addebiterà una commissione per l’accesso. Se Cloudflare si limiterà a mettere in contatto le aziende di AI con i creatori di contenuti per facilitare accordi, potrebbe non essere prevista alcuna commissione, considerandolo come una funzionalità del loro pacchetto di servizi complessivi. Tuttavia, nel caso in cui Cloudflare dovesse elaborare e inviare pagamenti, probabilmente verrà applicata una commissione, simile a quella di un app store che detrae una percentuale quando elabora i pagamenti delle app.
Prima che ciò accada, Cloudflare dovrà esaminare le leggi sul “Conosci il tuo cliente” (Know Your Customer) e sul riciclaggio di denaro, ma Prince ha fatto intendere che non considera questi ostacoli normativi come un deterrente. “Potrebbe non essere che noi addebitiamo una commissione specificamente” per il marketplace, ha dichiarato Prince, “ma il mio istinto è che lo faremo, specialmente perché vogliamo servire i più di 40 milioni di siti che utilizzano Cloudflare oggi. Capire come far arrivare i pagamenti a tutti loro sarà una sfida, seppur risolvibile, e dovremmo almeno recuperare i costi per farlo.”
Questo strumento è presentato come un modo per i “siti di qualsiasi dimensione” di essere “compensati equamente” per i contenuti, e Cloudflare prevede che potrebbe anche diventare uno strumento chiave per i publisher attualmente esclusi dagli accordi di licenza delle AI, che cercano di negoziare termini simili. Secondo il blog esplicativo di Cloudflare, la funzione di impostazione dei prezzi “fornirà analisi avanzate per comprendere le metriche comunemente utilizzate” quando i maggiori publisher negoziano accordi sui contenuti con le aziende di AI.
Ottimizzare il valore del contenuto tramite audit AI
Utilizzando i dati forniti dagli audit AI, i creatori di contenuti avranno accesso a strumenti avanzati che consentiranno loro di ottimizzare il valore del loro materiale. Cloudflare ha annunciato che i proprietari di siti potranno “stabilire un prezzo equo per i loro contenuti utilizzati dalle aziende di AI per l’addestramento dei modelli e per la generazione aumentata delle risposte” (RAG). Questa nuova funzionalità permetterà ai creatori di definire un prezzo specifico per il loro sito o per sezioni del loro sito, e di addebitare ai fornitori di modelli in base alle scansioni effettuate e al prezzo stabilito.
Il sistema di gestione dei prezzi è ancora in fase di sviluppo, ma i proprietari dei siti possono già iscriversi a una lista d’attesa per testare questa novità, che sarà disponibile in base alla data di adesione a Cloudflare. Con l’accesso a dati analitici dettagliati, i creatori di contenuti potranno stabilire prezzi basati su informazioni concrete riguardo a quante volte e come il loro contenuto viene utilizzato dagli strumenti AI, permettendo una valutazione più razionale e strategica delle loro opere.
Secondo Cloudflare, questa funzione non è solo un vantaggio per i publisher più grandi e affermati, ma mira anche a garantire compensazioni giuste per i siti di qualsiasi dimensione. I piccoli siti, in particolare, avranno così una maggiore opportunità di coinvolgere le aziende di AI in modo che siano riconosciuti e retribuiti per il valore fornito attraverso i loro contenuti. Inoltre, l’accesso a report dettagliati sugli audit AI consentirà ai siti di adattare e modificare i loro accordi man mano che le tecnologie e le strategie evolvono.
Questa innovazione rappresenta un passo importante verso una maggiore equità nella digitalizzazione dei diritti di contenuto, dando ai creatori la possibilità di negoziare guadagni con le aziende di AI anche nei casi in cui potrebbero precedentemente essere stati lasciati indietro. Cloudflare promette che, attraverso questi strumenti, i content creators potranno prendere il controllo e ottenere un risarcimento adeguato per la loro contribuzione al panorama digitale.
Compensazione equa per tutti i creatori di contenuti
Utilizzando i dati degli audit AI, i creatori di contenuti potranno presto accedere a una nuova funzionalità che consentirà di “stabilire un prezzo equo per i loro contenuti utilizzati dalle aziende di AI per l’addestramento dei modelli e per la generazione aumentata delle risposte” (RAG). Secondo il blog di Cloudflare, “i proprietari di siti avranno la possibilità di stabilire un prezzo per il loro sito, o sezioni del loro sito, e di addebitare ai fornitori di modelli in base alle loro scansioni e al prezzo che hanno fissato.” Questa funzionalità di impostazione dei prezzi è attualmente in fase di sviluppo, ma gli operatori possono già iscriversi a una lista d’attesa per aiutare Cloudflare a testarla, “in base alla data in cui hanno prima aderito a Cloudflare.”
Cloudflare non ha ancora chiarito come funzionerà esattamente questo marketplace o se addebiterà una commissione per l’accesso. Se Cloudflare si limiterà a mettere in contatto le aziende di AI con i creatori di contenuti per facilitare accordi, potrebbe non essere prevista alcuna commissione, considerandolo come una funzionalità del loro pacchetto di servizi complessivi. Tuttavia, nel caso in cui Cloudflare dovesse elaborare e inviare pagamenti, probabilmente verrà applicata una commissione, simile a quella di un app store che detrae una percentuale quando elabora i pagamenti delle app.
Prima che ciò accada, Cloudflare dovrà esaminare le leggi sul “Conosci il tuo cliente” (Know Your Customer) e sul riciclaggio di denaro, ma Prince ha fatto intendere che non considera questi ostacoli normativi come un deterrente. “Potrebbe non essere che noi addebitiamo una commissione specificamente” per il marketplace, ha dichiarato Prince, “ma il mio istinto è che lo faremo, specialmente perché vogliamo servire i più di 40 milioni di siti che utilizzano Cloudflare oggi. Capire come far arrivare i pagamenti a tutti loro sarà una sfida, seppur risolvibile, e dovremmo almeno recuperare i costi per farlo.”
Questo strumento è presentato come un modo per i “siti di qualsiasi dimensione” di essere “compensati equamente” per i contenuti, e Cloudflare prevede che potrebbe anche diventare uno strumento chiave per i publisher attualmente esclusi dagli accordi di licenza delle AI, che cercano di negoziare termini simili. Secondo il blog esplicativo di Cloudflare, la funzione di impostazione dei prezzi “fornirà analisi avanzate per comprendere le metriche comunemente utilizzate” quando i maggiori publisher negoziano accordi sui contenuti con le aziende di AI.
