Crawlers de IA são robôs que empresas como OpenAI, Anthropic, Perplexity e Google usam para coletar páginas para treino de modelos, índices de busca ou respostas a pedidos de usuários. Cada um tem um nome próprio no robots.txt e pode ser liberado ou bloqueado separadamente.
Crawlers de IA são robôs automatizados que empresas de inteligência artificial usam para acessar páginas da web, seja para treinar modelos, seja para montar o índice de busca dos seus assistentes, seja para buscar uma página no momento em que um usuário faz uma pergunta. GPTBot é o crawler de treino da OpenAI, ClaudeBot é o da Anthropic e PerplexityBot é o robô de busca da Perplexity. Cada um tem um nome próprio e pode ser liberado ou bloqueado no robots.txt.
Por que existem vários robôs por empresa?
Os provedores separaram os robôs por finalidade. Isso permite ao dono do site decidir, por exemplo, que quer aparecer na busca de um assistente, mas não quer que o conteúdo seja usado para treinar modelos.
As finalidades se dividem em três grupos:
- Treino de modelos: coleta de páginas que podem ser usadas para treinar futuras versões dos modelos de IA.
- Índice de busca: rastreamento para que o assistente encontre e cite páginas quando responde com busca.
- Ação do usuário: acesso feito porque um usuário pediu, como quando alguém cola um link no chat ou pede ao assistente que consulte uma página.
Essa divisão é a informação mais útil deste artigo. Bloquear "a IA" de forma genérica costuma tirar o site das respostas com busca sem que o dono perceba.
Quais são os principais crawlers de IA?
| Empresa | User agent | Finalidade | Segue o robots.txt? |
|---|---|---|---|
| OpenAI | GPTBot | Coleta conteúdo que pode ser usado para treinar modelos | Sim |
| OpenAI | OAI-SearchBot | Busca do ChatGPT; sites bloqueados não aparecem nas respostas de busca | Sim |
| OpenAI | ChatGPT-User | Ações iniciadas por usuários no ChatGPT e em GPTs personalizados | Pode não se aplicar, segundo a OpenAI |
| Anthropic | ClaudeBot | Coleta conteúdo que pode contribuir para o treino de modelos | Sim |
| Anthropic | Claude-SearchBot | Melhora a qualidade dos resultados de busca do Claude | Sim |
| Anthropic | Claude-User | Acesso a páginas quando usuários fazem perguntas ao Claude | Sim, segundo a Anthropic |
| Perplexity | PerplexityBot | Encontra e linka sites nos resultados da Perplexity; não é usado para treinar modelos | Sim |
| Perplexity | Perplexity-User | Busca páginas para responder a perguntas de usuários | Em geral, não |
| Google-Extended | Token que controla o uso do conteúdo para treinar modelos Gemini e para grounding | Sim; não afeta a Busca |
Dois detalhes merecem atenção. O Google-Extended não é um robô separado: o Google afirma que ele não tem string de user agent própria, e o rastreamento é feito pelos robôs existentes do Google. E o Google afirma que bloquear o Google-Extended não afeta a inclusão nem o ranqueamento na Busca.
Como liberar ou bloquear crawlers de IA no robots.txt?
O robots.txt é um arquivo de texto na raiz do domínio, como https://www.exemplo.com.br/robots.txt, que diz aos robôs quais caminhos podem ser acessados. O padrão foi formalizado em setembro de 2022 na RFC 9309, da IETF.
Uma configuração comum para empresas que querem aparecer nas buscas dos assistentes, mas preferem não ceder conteúdo para treino:
# Busca e ações de usuários: liberados
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Treino de modelos: bloqueados
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Se a decisão for liberar tudo, basta não bloquear nenhum desses nomes. Um site sem regras específicas, que permite o acesso geral, já está liberado.
Para aplicar a configuração, siga estes passos:
- Decida por finalidade: busca, treino e ação do usuário, separadamente.
- Confira o robots.txt atual: muitos sites têm bloqueios herdados de modelos prontos ou plugins.
- Edite e publique o arquivo na raiz de cada domínio e subdomínio que deve seguir a regra.
- Verifique firewall e CDN: um bloqueio por robô ou por país na camada de rede impede o acesso mesmo com o robots.txt liberado.
- Espere a atualização: OpenAI e Perplexity informam que mudanças podem levar cerca de 24 horas para valer.
- Revise a cada semestre: os provedores criam e renomeiam robôs com o tempo.
O que é documentado e o que é inferência?
Documentado pelos provedores e pela norma:
- As configurações de cada robô da OpenAI são independentes. Um site pode liberar o OAI-SearchBot e bloquear o GPTBot.
- A OpenAI afirma que, como as ações do ChatGPT-User são iniciadas por usuários, as regras do robots.txt podem não se aplicar.
- A Anthropic afirma que os seus robôs respeitam o robots.txt e aceitam a extensão não padronizada Crawl-delay. Ela não recomenda bloquear endereços IP, porque isso pode impedir que os robôs leiam o próprio robots.txt.
- A Perplexity afirma que o Perplexity-User, por agir a pedido do usuário, em geral ignora o robots.txt. Para firewalls, recomenda combinar o user agent com as faixas de IP publicadas.
- A RFC 9309 afirma que as regras do robots.txt não são uma forma de autorização de acesso. Elas indicam preferências; não protegem conteúdo.
- A mesma norma determina que os robôs não usem a versão em cache do arquivo por mais de 24 horas, salvo se ele estiver inacessível.
Inferência:
- Bloquear robôs de treino não remove o que já foi coletado antes do bloqueio. Os provedores falam em uso futuro.
- Liberar robôs de busca é condição para ser citado nas respostas com busca, mas não garante citação. A escolha das fontes depende de critérios que os provedores não publicam em detalhe.
- O efeito de bloquear o treino sobre a forma como os modelos descrevem a empresa no futuro não é documentado.
O que isso muda para empresas de serviços digitais?
Para agências, software houses e empresas de cibersegurança, o objetivo comercial costuma ser claro: ser encontrado por quem pesquisa fornecedores. Isso torna os robôs de busca prioritários.
- Libere os robôs de busca: OAI-SearchBot, Claude-SearchBot e PerplexityBot. Sem eles, as páginas não entram nos índices que os assistentes usam para citar fontes.
- Decida sobre treino com critério: conteúdo público de marketing, como páginas de serviço e artigos, costuma ter pouco a perder com o treino. Material proprietário deve ficar atrás de login, não só de robots.txt.
- Não confie no robots.txt para proteger dados: a norma deixa claro que ele não é controle de acesso. Área restrita exige autenticação.
- Audite a camada de rede: regras de bot em CDNs e firewalls podem bloquear robôs de IA por padrão. Verifique os logs do servidor para confirmar acessos.
- Ofereça isso como serviço: agências de SEO e GEO podem incluir a revisão de robots.txt e de regras de firewall em qualquer auditoria técnica.
Para completar a parte técnica, veja o que é IndexNow e llms.txt: o que é e o que esperar.
Próximo passo
Se a sua empresa presta serviços digitais, crie ou reivindique o perfil gratuito na Citeo: além do seu site, os assistentes passam a encontrar uma página externa com dados verificados sobre o negócio. Para contratar uma agência de SEO ou GEO, compare opções em empresas.
Fontes
- OpenAI — documentação dos robôs GPTBot, OAI-SearchBot e ChatGPT-User — GPTBot, OAI-SearchBot, ChatGPT-User, independência das configurações e prazo de cerca de 24 horas
- Anthropic — artigo de suporte sobre os robôs ClaudeBot, Claude-User e Claude-SearchBot — ClaudeBot, Claude-SearchBot, Claude-User, Crawl-delay e bloqueio por IP
- Perplexity — Perplexity Crawlers — PerplexityBot, Perplexity-User e recomendações para firewalls
- Google — List of Google's common crawlers — Google-Extended, ausência de user agent próprio e efeito nulo na Busca
- IETF — RFC 9309: Robots Exclusion Protocol — padrão do robots.txt, ausência de autorização de acesso e cache de 24 horas
Compare nota, avaliações verificadas e score, e fale direto com a empresa pela Citeo.
Perguntas frequentes
Bloquear o GPTBot tira meu site do ChatGPT?
Não necessariamente. O GPTBot é o robô de treino da OpenAI. A busca do ChatGPT usa o OAI-SearchBot, e a OpenAI afirma que as configurações são independentes. Para não aparecer nas respostas de busca do ChatGPT, seria preciso bloquear o OAI-SearchBot.
Bloquear o Google-Extended tira meu site do Google?
Não. O Google afirma que o Google-Extended não afeta a inclusão de um site na Busca nem é usado como sinal de ranqueamento. Ele controla apenas o uso do conteúdo para treinar modelos Gemini e para grounding em outros sistemas.
O robots.txt impede que a IA leia meu conteúdo?
Ele expressa uma preferência, que os robôs declarados costumam respeitar, mas não é controle de acesso. A RFC 9309 afirma isso expressamente. Além disso, alguns acessos feitos a pedido de usuários podem não seguir o arquivo.
Quanto tempo leva para uma mudança no robots.txt valer?
OpenAI e Perplexity informam cerca de 24 horas para os seus sistemas refletirem a mudança. A RFC 9309 também orienta os robôs a não usarem a versão em cache por mais de 24 horas.
Devo bloquear robôs de IA por endereço IP?
Em geral, não é a melhor opção. A Anthropic desaconselha o bloqueio por IP porque ele pode impedir a leitura do próprio robots.txt. Se precisar filtrar no firewall, a Perplexity recomenda combinar o user agent com as faixas de IP publicadas.