1001Ferramentas
Ferramentas Categorias Guias FAQ
Sobre Contato Política de Privacidade Termos de Uso
🕷️ SEO

Analisador de Log de Servidor (Crawl Budget)

Analisa logs de acesso Apache e Nginx e mostra quanto do rastreamento vai para cada bot, quais URLs o Googlebot visita e onde o crawl budget se perde.

Aceita Common Log Format e Combined. O arquivo é lido nesta aba e nada é enviado para servidor nenhum.

Como ler os painéis

A coluna de agente sai do user-agent, casado por substring numa ordem fixa para que Googlebot-Image nunca seja contado como Googlebot puro. A linha cujo user-agent não tem assinatura conhecida mas traz bot, spider ou crawler cai em Outros bots; o resto vira tráfego humano e sai do recorte por padrão.

O painel de desperdício é o que pede ação: todo redirecionamento e todo erro entregue a um rastreador do Google é uma requisição que não produziu página indexável. Uma fatia grande de arquivos estáticos no painel de recursos costuma significar que imagens e assets estão comendo requisições que deveriam chegar às páginas de produto e de artigo.

Ler o access.log para achar onde o crawl budget vaza

O arquivo de log do servidor é o único lugar que registra o que os buscadores realmente pediram ao seu site, linha por linha, sem amostragem. Cole o conteúdo do access.log aqui e a página separa cada requisição por agente, por código de resposta, por URL e por hora, mostrando quanto do rastreamento foi para páginas úteis e quanto se perdeu em redirecionamento, erro e arquivo estático.

A leitura aceita Common Log Format e Combined, os dois padrões que Apache e Nginx gravam por omissão. O agente sai do user-agent por comparação de substring numa ordem fixa, então Googlebot-Image, Googlebot-News e AdsBot aparecem separados do Googlebot comum em vez de somados a ele. Quem não tem assinatura conhecida mas traz bot, spider ou crawler no texto cai em Outros bots.

O painel que costuma render decisão é o de desperdício: toda URL em que um rastreador do Google levou 301, 404 ou 500 está consumindo requisição sem devolver página indexável. A prioridade multiplica os hits pelo peso da faixa, 2 para 5xx, 1,5 para 4xx e 1 para 3xx, para você atacar primeiro o que dói mais. São analisadas até 50 mil linhas por vez e nada é enviado para servidor nenhum.

Perguntas frequentes

Onde eu encontro esse arquivo de log?
Em servidor próprio ele costuma estar em /var/log/nginx/access.log ou /var/log/apache2/access.log. Em hospedagem compartilhada procure por raw access logs no cPanel ou no painel equivalente, que entrega um .gz por dia. Em CDN como Cloudflare o caminho é a exportação de logs do próprio painel, já que boa parte das requisições nem chega ao servidor de origem.
Dá para saber se o Googlebot do log é verdadeiro?
Aqui não. A classificação lê apenas o texto do user-agent, que qualquer script pode copiar. Para confirmar, faça a checagem em duas etapas que o Google documenta: DNS reverso do IP, que precisa terminar em googlebot.com ou google.com, e DNS direto do nome obtido, que precisa voltar para o mesmo IP. Vale rodar isso nos IPs que aparecem com mais hits.
Qual o limite de linhas e o que acontece se eu passar dele?
São processadas as 50 mil primeiras linhas e um aviso mostra o total recebido, para você saber que os números cobrem só um pedaço do arquivo. Para períodos longos, o melhor caminho é analisar um dia de cada vez e comparar os painéis, já que o interesse costuma ser a variação entre dias e não o acumulado bruto.

Ferramentas Relacionadas

🔍

Analisador de Meta Tags

Cole o HTML de uma página e veja todas as meta tags (description, keywords, Open Graph, Twitter, viewport, robots) extraídas e organizadas. Tudo no navegador.
📏

Analisador de Title (SEO)

Analisa o comprimento do title tag em caracteres e estima pixels para sugerir corte ótimo no Google.
📝

Analisador de Title e Description

Verifique se seu <title> (50-60 chars) e meta description (150-160 chars) estão no tamanho ideal para Google. Mostra preview do snippet. Tudo no navegador.