O que verificamos
Buscamos {origin}/robots.txt após a verificação. Registramos status, linhas Sitemap, agentes e regras. Uma página HTML nesse endereço não é tratada como um arquivo robots válido.
O relatório aplica as regras ao caminho auditado para os robôs de busca da lista. Não representa todos os caminhos do site.
Robots.txt e noindex
Robots.txt controla o rastreamento. Noindex controla a indexação quando o buscador consegue ler essa instrução na página ou no cabeçalho. Confira a finalidade antes de bloquear.
Limites do arquivo
Uma URL bloqueada ainda pode aparecer na busca por referências de outras páginas. Robots.txt não protege informação privada. Use autorização para limitar o acesso a dados privados.
O arquivo vale para o domínio que o serve. Confira separadamente as versões com e sem www quando ambas estão em uso.
Erros comuns
Enviar Disallow: / para produção, bloquear recursos necessários à leitura da página e usar Disallow para tentar remover um conteúdo já indexado.
Exemplo de arquivo ausente e uma declaração explícita
Antes
GET https://example.com/robots.txt → 404
<!-- arquivo ausente: rastreamento permitido por padrão -->Depois
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://example.com/sitemap.xmlO arquivo é ilustrativo. Uma ausência com 404 não bloqueia o rastreamento. Use regras que correspondam à política real do seu site.
Perguntas
Um robots.txt com 404 bloqueia meu site?
Não. A ausência do arquivo é tratada como acesso permitido. Confira outros controles que possam bloquear o pedido.
Disallow remove a página da busca?
Não garante a remoção. Para uma instrução noindex ser lida, o buscador precisa conseguir acessar a página.
A ferramenta confere um caminho para cada robô?
Ela avalia o caminho auditado para os robôs da lista, seguindo as regras interpretadas pelo PageAudit. Não percorre o site inteiro.