Em 1º de julho de 2025, a Cloudflare, usada por cerca de 20% dos sites, passou a bloquear robôs de IA por padrão e lançou o "pay per crawl", que permite cobrar de empresas de IA a cada rastreamento. A medida colocou o controle de acesso ao conteúdo no centro da estratégia de GEO.
Em 1º de julho de 2025, a Cloudflare, empresa de infraestrutura de internet usada por cerca de 20% dos sites, segundo a W3Techs, anunciou que passaria a bloquear por padrão os robôs de inteligência artificial nos sites de seus clientes. Os clientes podem liberar ou barrar robôs específicos e definir permissões por etapa de uso, como treinamento, ajuste fino e inferência. A empresa também lançou o "pay per crawl", serviço que permite cobrar das empresas de IA cada vez que um robô rastreia o site.
O que mudou na prática?
Segundo a MIT Technology Review, as mudanças anunciadas foram:
| Mudança | Como funciona |
|---|---|
| Bloqueio padrão | Robôs de IA bloqueados por padrão nos sites hospedados pela Cloudflare |
| Controle por robô | Cliente pode permitir ou barrar robôs específicos, caso a caso |
| Controle por finalidade | Permissões separadas para treinamento, ajuste fino e inferência |
| Lista de robôs verificados | Cliente pode autorizar rastreadores verificados |
| Pay per crawl | Cliente define um preço por rastreamento e recebe a cada acesso pago |
Quem apoiou e por quê?
Empresas de mídia, como Associated Press e Time, e fóruns, como Quora e Stack Overflow, apoiaram a medida, segundo o comunicado da Cloudflare citado pela MIT Technology Review. O CEO do Stack Overflow, Prashanth Chandrasekar, disse que "plataformas de comunidade que alimentam os LLMs devem ser compensadas por suas contribuições".
O argumento central da Cloudflare era o desequilíbrio entre rastreamento e tráfego. Segundo análise publicada pelo Internet Governance Project, com base em dados da própria Cloudflare, buscadores tradicionais historicamente devolviam visitas em troca da indexação, enquanto plataformas de IA reduziram esse retorno em ordens de grandeza, com relação até 750 vezes menor que a da busca.
Que críticas surgiram?
A medida também gerou ressalvas:
- Neutralidade: o Internet Governance Project apontou que a Cloudflare passaria a atuar ao mesmo tempo como fiscal e como operadora de um mercado de acesso a conteúdo;
- Concentração: se a plataforma se tornar indispensável, pode virar um gargalo, com preocupações semelhantes às levantadas sobre a rede de anúncios do Google;
- Pesquisa aberta: Shayne Longpre, do MIT Media Lab, disse que uso pessoal e pesquisa aberta não deveriam ser sacrificados;
- Adesão: a eficácia depende de adoção ampla tanto por quem produz conteúdo quanto por empresas de IA.
Por que o tema é central para GEO?
GEO, ou Generative Engine Optimization, é o trabalho de fazer uma marca ser encontrada e citada por sistemas de IA. Para isso, o conteúdo precisa estar acessível aos robôs que alimentam as respostas. A mudança da Cloudflare criou um risco concreto: empresas que querem ser citadas por assistentes podem estar bloqueando esses robôs sem saber, apenas por usar a configuração padrão.
As decisões que passaram a ser necessárias foram:
- Verificar quais robôs de IA estão bloqueados no site, inclusive por configurações de CDN.
- Separar permissões de busca e resposta das permissões de treinamento, quando a ferramenta permitir.
- Avaliar se faz sentido cobrar por rastreamento ou liberar acesso em troca de visibilidade.
- Alinhar a configuração técnica à estratégia de marketing.
O que isso significa hoje?
Em 2026, a configuração de acesso de robôs de IA é uma decisão estratégica, e não só técnica. Ao contratar uma agência de SEO e GEO, peça que ela revise a configuração de robots.txt e de CDN e explique quais robôs devem ter acesso para que a marca possa aparecer nas respostas de IA.
Fontes
Compare nota, avaliações verificadas e score, e fale direto com a empresa pela Citeo.
Perguntas frequentes
A Cloudflare bloqueia robôs de IA por padrão?
Sim. Desde 1º de julho de 2025, a Cloudflare bloqueia robôs de IA por padrão nos sites de seus clientes, que podem liberar robôs específicos e definir permissões por finalidade.
O que é o pay per crawl?
É um serviço lançado pela Cloudflare em julho de 2025 que permite ao dono do site definir um preço e receber cada vez que um robô de IA rastreia suas páginas.
Bloquear robôs de IA prejudica a presença da marca em assistentes?
Pode prejudicar. Se os robôs usados por assistentes para buscar e citar conteúdo forem bloqueados, o site tende a ter menos chance de ser usado como fonte. A configuração deve ser decidida junto com a estratégia de marketing.