O que verificamos
Após a verificação, buscamos robots.txt e avaliamos as regras pelo RFC 9309. Usamos o grupo do agente quando existe, ou o grupo *. A regra aplicável mais longa prevalece; Allow vence um empate.
A lista inclui Googlebot e Bingbot; OAI-SearchBot, Claude-SearchBot e PerplexityBot; ChatGPT-User, Claude-User e Perplexity-User; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e meta-externalagent. Quando há Content-Signal, mostramos a declaração.
Depois, pedimos a página com o user agent publicado de Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, GPTBot e ClaudeBot, e uma vez como navegador. Um 403, um 429 ou o desafio de um firewall que só o robô recebe é o bloqueio que o robots.txt não mostra. Também lemos o lastmod mais novo do sitemap: o sitemap parado há 30 dias diz aos robôs que não há nada novo. Com a Cloudflare na frente do site, mostramos onde liberar os robôs de busca de IA.
Como interpretar as escolhas
Uma regra para um agente não define o acesso de todos os outros. Revise busca e treinamento conforme a política do seu site.
Robots.txt é uma declaração pública. Uma regra de firewall não aparece nesse arquivo; por isso também pedimos a página como cada robô. Um erro ao buscar o arquivo não equivale a acesso confirmado.
Exemplo de política para agentes de treinamento
Antes
GET https://example.com/robots.txt → 404
<!-- sem arquivo: nenhuma restrição declarada -->Depois
User-agent: *
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlO arquivo ilustra uma escolha de política, não uma correção obrigatória. As regras não garantem aplicação por terceiros nem bloqueio de acesso.
Perguntas
Bloquear um robô de treinamento bloqueia toda busca por IA?
Não necessariamente. Os serviços usam agentes com funções distintas. Confira a documentação do serviço e as regras para cada agente.
O que a decisão do relatório representa?
Ela representa a regra encontrada para o agente e o caminho verificado no robots.txt recebido. Não comprova o comportamento real do serviço.
Todos os robôs respeitam robots.txt?
A ferramenta não verifica isso. Para proteger dados privados, use autenticação e autorização. Robots.txt não é controle de acesso.
Dá para ver o bloqueio do firewall?
Sim, pelo nome. Pedimos a página com o user agent publicado de cada robô e mostramos quem recebe 403, 429 ou desafio. A Cloudflare reconhece os robôs verdadeiros pelo IP; uma regra que confia nos robôs verificados pode tratá-los de outro jeito.
Como libero os robôs de busca de IA na Cloudflare?
No painel da Cloudflare, abra o domínio, depois AI Crawl Control e a lista Crawlers. Deixe OAI-SearchBot, Claude-SearchBot e PerplexityBot em Allow; os de treinamento podem ficar em Block. Confira também se o Bot Fight Mode ou uma regra do WAF não os desafia.