De acordo com a empresa, a partir de agora, os donos dos websites podem decidir se querem permitir que os crawlers acedam aos conteúdos das suas plataformas, determinando em que condições é que as empresas de IA podem usar os dados recolhidos.

Por sua vez, as empresas terão de indicar claramente qual é o objetivo dos seus crawlers, especificando se os dados que recolhem serão usados para treinar modelos de IA, para realizar tarefas automáticas com base nesses modelos ou para “alimentar” motores de pesquisa.

Esta opção é acompanhada por outra chamada Pay per Crawl. A funcionalidade, ainda em desenvolvimento e numa fase Beta privada, vai dar aos editores, criadores de conteúdo e donos de websites a possibilidade de cobrar pelo acesso dos bots de IA.

Em comunicado, a tecnológica defende que o modelo de partilha de conteúdos online, que funcionou durante décadas, está hoje em risco. Com os crawlers de IA a recolherem texto, imagens e artigos para gerarem respostas diretas sem encaminharem os utilizadores para os sites originais, os criadores são prejudicados.

“Se queremos que a Internet sobreviva à era da IA, temos de devolver o controlo aos editores e construir um novo modelo económico que funcione para todos”, afirma Matthew Prince, cofundador e CEO da Cloudflare. “O conteúdo original é o que torna a Internet uma das maiores invenções do último século e é essencial que os criadores o continuem a produzir”.

Cloudflare abre guerra aos bots de IA e cria “botão rápido” para bloquear acesso aos sites por scrappers e crawlers
Cloudflare abre guerra aos bots de IA e cria “botão rápido” para bloquear acesso aos sites por scrappers e crawlers
Ver artigo

“Os crawlers de IA têm recolhido conteúdo sem limites. O nosso objetivo é devolver o poder aos criadores, ao mesmo tempo que ajudamos as empresas de IA a inovar”, indica o responsável, acrescentando que a decisão quer “proteger o futuro de uma Internet livre e dinâmica”.

A nova opção vem expandir o âmbito de uma funcionalidade anteriormente lançada pela Cloudflare no ano passado e que já permitia bloquear crawlers de IA de maneira mais simples. Segundo a empresa, mais de um milhão de clientes já usaram a funcionalidade nos seus websites.