O que é orçamento de rastreamento e como otimizá-lo

Um orçamento de rastreamento pode parecer um conceito estranho quando você está aprendendo sobre como funcionam os bots dos mecanismos de pesquisa. Embora não seja o conceito de SEO mais fácil, eles são menos complicados do que parecem. Depois de começar a entender o que é um orçamento de rastreamento e como funciona o rastreamento do mecanismo de pesquisa, você pode começar a otimizar seu site para otimizar a capacidade de rastreamento. Esse processo ajudará seu site a atingir seu maior potencial de classificação nos resultados de pesquisa do Google.

O que é um orçamento de rastreamento?

Um orçamento de rastreamento é o número de URLs de um site que os bots do mecanismo de pesquisa podem indexar em uma sessão de indexação. O “orçamento” de uma sessão de rastreamento difere de site para site com base no tamanho de cada site individual, nas métricas de tráfego e na velocidade de carregamento da página.

Se você chegou até aqui e não conhece os termos de SEO, use nosso glossário de SEO para se familiarizar mais com as definições .

Quais fatores afetam o orçamento de rastreamento de um site?

O Google não dedica a mesma quantidade de tempo ou número de rastreamentos a todos os sites da Internet. Os rastreadores da Web também determinam quais páginas eles rastreiam e com que frequência com base em vários fatores. Eles determinam com que frequência e por quanto tempo cada site deve ser rastreado com base em:

• Popularidade: quanto mais um site ou página é visitado, mais frequentemente deve ser analisado quanto a atualizações. Além disso, páginas mais populares acumularão mais links de entrada mais rapidamente.
• Tamanho: sites grandes e páginas com mais elementos de dados intensos levam mais tempo para serem rastreados.
• Saúde/problemas: quando um webcrawler chega a um beco sem saída por meio de links internos, leva tempo para encontrar um novo ponto de partida ou abandona o rastreamento. Erros 404, redirecionamentos e tempos de carregamento lentos desaceleram e atrapalham os webcrawlers.

Como seu orçamento de rastreamento afeta o SEO?

O processo de indexação do webcrawler torna a pesquisa possível. Se o seu conteúdo não puder ser encontrado e indexado pelos rastreadores da web do Google, suas páginas da web e seu site não poderão ser descobertos pelos pesquisadores. Isso faria com que seu site perdesse muito tráfego de pesquisa.

Por que o Google rastreia sites?

Os Googlebots examinam sistematicamente as páginas de um site para determinar do que se trata a página e o site como um todo. Os rastreadores da web processam, categorizam e organizam os dados desse site página por página para criar um cache de URLs junto com seu conteúdo, para que o Google possa determinar quais resultados de pesquisa devem aparecer em resposta a uma consulta de pesquisa.

Além disso, o Google usa essas informações para determinar quais resultados de pesquisa se ajustam melhor à consulta de pesquisa para determinar onde cada resultado de pesquisa deve aparecer na lista de resultados de pesquisa hierárquica.

O que acontece durante um rastreamento?

O Google atribui um determinado período de tempo para um Googlebot processar um site. Devido a essa limitação, o bot provavelmente não rastreará um site inteiro durante uma sessão de rastreamento. Em vez disso, ele percorrerá todas as páginas do site com base no arquivo robots.txt e em outros fatores (como a popularidade de uma página).

Durante a sessão de rastreamento, um Googlebot usará uma abordagem sistemática para entender o conteúdo de cada página processada.

Isso inclui a indexação de atributos específicos, como:

1. Meta tags e uso de NLP para determinar seu significado
2. Links e texto âncora
3. Arquivos rich media para pesquisas de imagens e pesquisas de vídeo
4. Marcação de esquema
5. Marcação HTML

O rastreador da Web também executará uma verificação para determinar se o conteúdo da página é uma duplicata de um canônico. Nesse caso, o Google moverá o URL para um rastreamento de baixa prioridade, para que não perca tempo rastreando a página com tanta frequência.

O que são taxa de rastreamento e demanda de rastreamento?

Os rastreadores da Web do Google atribuem um determinado período de tempo a cada rastreamento que executam. Como proprietário de um site, você não tem controle sobre esse período de tempo. No entanto, você pode alterar a rapidez com que eles rastreiam páginas individuais em seu site enquanto estão em seu site. Esse número é chamado de taxa de rastreamento .

A demanda de rastreamento é a frequência com que o Google rastreia seu site. Essa frequência é baseada na demanda do seu site pelos internautas e na frequência com que o conteúdo do seu site precisa ser atualizado na pesquisa. Você pode descobrir com que frequência o Google rastreia seu site usando uma análise de arquivo de log (consulte o número 2 abaixo).

Como posso determinar o orçamento de rastreamento do meu site?

Como o Google limita o número de vezes que eles rastreiam seu site e por quanto tempo, você deve estar ciente de qual é o seu orçamento de rastreamento. No entanto, o Google não fornece esses dados aos proprietários de sites, especialmente se seu orçamento for tão limitado que o novo conteúdo não chegue aos SERPs em tempo hábil. Isso pode ser desastroso para conteúdo importante e novas páginas, como páginas de produtos, que podem gerar dinheiro.

Para entender se seu site está enfrentando limitações de orçamento de rastreamento (ou para confirmar que seu site está OK), você deve: Obtenha um inventário de quantos URLs existem em seu site. Se você usar o Yoast, seu total será listado na parte superior da URL do mapa do site .

Depois de obter esse número, use a seção “Configurações” > “Estatísticas de rastreamento” do Google Search Console para determinar quantas páginas o Google rastreia em seu site diariamente.

Como você pode otimizar seu orçamento de rastreamento?

Quando chegar a hora em que seu site se tornar grande demais para o orçamento de rastreamento, você precisará mergulhar na otimização do orçamento de rastreamento. Como você não pode dizer ao Google para rastrear seu site com mais frequência ou por mais tempo, você deve se concentrar no que pode controlar.

A otimização do orçamento de rastreamento requer uma abordagem multifacetada e uma compreensão das práticas recomendadas do Google . Por onde você deve começar quando se trata de aproveitar ao máximo sua taxa de rastreamento? Esta lista abrangente é escrita em ordem hierárquica, então comece no topo.

1. Considere aumentar o limite da taxa de rastreamento do seu site

O Google envia solicitações simultaneamente para várias páginas do seu site. No entanto, o Google tenta ser cortês e não sobrecarregar seu servidor, resultando em um tempo de carregamento mais lento para os visitantes do site. Se você perceber que seu site está ficando lento do nada, esse pode ser o problema.

Para evitar afetar a experiência de seus usuários, o Google permite que você reduza sua taxa de rastreamento. Fazer isso limitará quantas páginas o Google pode indexar simultaneamente.

Curiosamente, porém, o Google também permite que você aumente seu limite de taxa de rastreamento – o efeito é que eles podem puxar mais páginas de uma só vez, resultando em mais URLs sendo rastreados de uma só vez. Embora todos os relatórios sugiram que o Google demore para responder a um aumento no limite da taxa de rastreamento, isso não garante que o Google rastreie mais sites simultaneamente.

Como aumentar seu limite de taxa de rastreamento:

1. No Search Console, vá para “Configurações”.
2. A partir daí, você pode ver se sua taxa de rastreamento é ideal ou não.
3. Em seguida, você pode aumentar o limite para uma taxa de rastreamento mais rápida por 90 dias.

2. Execute uma análise de arquivo de log

Uma análise de arquivo de log é um relatório do servidor que reflete todas as solicitações enviadas ao servidor. Este relatório informará exatamente o que os Googlebots fazem em seu site. Embora esse processo geralmente seja executado por SEOs técnicos, você pode conversar com o administrador do servidor para obter um.

Usando sua análise de arquivo de log ou arquivo de log do servidor, você aprenderá:

• Com que frequência o Google rastreia seu site
• Quais páginas são mais rastreadas
• Quais páginas têm um código de servidor ausente ou sem resposta

Depois de obter essas informações, você pode usá-las para realizar os passos de 3 a 7.

3. Mantenha seu Sitemap XML e Robots.txt atualizados

Se o seu arquivo de log mostrar que o Google está gastando muito tempo rastreando páginas que você não deseja que apareçam nas SERPs, você pode solicitar que os rastreadores do Google ignorem essas páginas. Isso libera parte do seu orçamento de rastreamento para páginas mais importantes.

Seu sitemap (que você pode obter no Google Search Console ou SearchAtlas ) fornece ao Googlebots uma lista de todas as páginas do seu site que você deseja que o Google indexe para que possam aparecer nos resultados da pesquisa. Manter o mapa do site atualizado com todas as páginas da Web que você deseja que os mecanismos de pesquisa encontrem e omitir aquelas que você não deseja que eles encontrem pode maximizar a forma como os rastreadores da Web passam o tempo em seu site.

Seu arquivo robots.txt informa aos rastreadores do mecanismo de pesquisa quais páginas você deseja e não deseja que eles rastreiem. Se você tiver páginas que não são boas páginas de destino ou páginas bloqueadas, use a tag noindex para seus URLs no arquivo robots.txt. Os Googlebots provavelmente ignorarão qualquer página da Web com a tag noindex.

4. Reduzir redirecionamentos e cadeias de redirecionamento

Além de liberar o orçamento de rastreamento excluindo páginas desnecessárias dos rastreamentos de mecanismos de pesquisa, você também pode maximizar os rastreamentos reduzindo ou eliminando redirecionamentos. Esses serão quaisquer URLs que resultem em um código de status 3xx.

Os URLs redirecionados levam mais tempo para serem recuperados pelo Googlebot, pois o servidor precisa responder com o redirecionamento e, em seguida, recuperar a nova página. Embora um redirecionamento leve apenas alguns milissegundos, eles podem aumentar. E isso pode fazer com que o rastreamento do seu site demore mais. Esse tempo é multiplicado quando um Googlebot se depara com uma cadeia de redirecionamentos de URL.

Para reduzir redirecionamentos e cadeias de redirecionamento, esteja atento à sua estratégia de criação de conteúdo e selecione cuidadosamente o texto para seus slugs.

5. Conserte links quebrados

A maneira como o Google geralmente explora um site é navegando por meio de sua estrutura de links internos. À medida que percorre suas páginas, ele notará se um link leva a uma página inexistente (isso geralmente é chamado de erro 404 de software). Ele então seguirá em frente, não querendo perder tempo indexando a referida página.

Os links para essas páginas precisam ser atualizados para enviar o usuário ou o Googlebot para uma página real. OU (embora seja difícil de acreditar) o Googlebot pode ter identificado erroneamente uma página como um erro 4xx ou 404 quando a página realmente existe. Quando isso acontecer, verifique se o URL não contém erros de digitação e envie uma solicitação de rastreamento para esse URL por meio de sua conta do Google Search Console.

Para se manter atualizado com esses erros de rastreamento, você pode usar o relatório Índice > Cobertura da sua conta do Google Search Console. Ou use a ferramenta Site Audit da SearchAtlas para encontrar o relatório de erros do seu site e repassá-lo ao desenvolvedor da web.

Nota: Novos URLs podem não aparecer imediatamente em sua análise de arquivo de log. Dê ao Google algum tempo para encontrá-los antes de solicitar um rastreamento.

6. Trabalhe para melhorar as velocidades de carregamento da página

Os bots dos mecanismos de pesquisa podem percorrer um site em um ritmo rápido. No entanto, se a velocidade do seu site não estiver à altura, isso pode realmente prejudicar seu orçamento de rastreamento. Use sua análise de arquivo de log, SearchAtlas ou PageSpeedInsights para determinar se o tempo de carregamento do seu site está afetando negativamente a visibilidade da pesquisa.

Para melhorar o tempo de resposta do seu site, use URLs dinâmicos e siga as práticas recomendadas do Google Core Web Vitals . Isso pode incluir otimização de imagem para mídia acima da dobra.

Se o problema de velocidade do site for do lado do servidor, convém investir em outros recursos do servidor, como:

• Um servidor dedicado (especialmente para sites grandes)
• Atualizando para um hardware de servidor mais recente
• Aumentando RAM

Essas melhorias também darão um impulso à experiência do usuário, o que pode ajudar seu site a ter um melhor desempenho na pesquisa do Google, já que a velocidade do site é um sinal para o PageRank.

7. Não se esqueça de usar tags canônicas

O conteúdo duplicado é desaprovado pelo Google, pelo menos quando você não reconhece que o conteúdo duplicado tem uma página de origem. Por quê? O Googlebot rastreia todas as páginas, a menos que seja inevitável, a menos que seja instruído a fazer o contrário. No entanto, quando ele encontra uma página duplicada ou uma cópia de algo com o qual está familiarizado (na sua página ou fora do site), ele para de rastrear essa página. E embora isso economize tempo, você deve economizar ainda mais tempo para o rastreador usando uma tag canônica que identifica a URL canônica.

Os canônicos dizem ao Googlebot para não se preocupar em usar o período de rastreamento para indexar esse conteúdo. Isso dá ao bot do mecanismo de pesquisa mais tempo para examinar suas outras páginas.

8. Concentre-se em sua estrutura de links internos

Ter uma prática de links bem estruturada em seu site pode aumentar a eficiência de um rastreamento do Google. Os links internos informam ao Google quais páginas do seu site são as mais importantes, e esses links ajudam os rastreadores a encontrar as páginas com mais facilidade.

As melhores estruturas de links conectam usuários e Googlebots ao conteúdo em todo o seu site. Sempre use texto âncora relevante e coloque seus links naturalmente em todo o seu conteúdo.

Para sites de comércio eletrônico, o Google tem práticas recomendadas para opções de navegação facetada para maximizar os rastreamentos. A navegação facetada permite que os usuários do site filtrem produtos por atributos, tornando a compra uma experiência melhor. Esta atualização ajuda a evitar confusão canônica e problemas duplicados, além de rastreamentos excessivos de URL.

9. Eliminar conteúdo desnecessário

Os Googlebots só podem se mover tão rápido e indexar tantas páginas cada vez que rastreiam um site. Se você tem um grande número de páginas que não recebem tráfego ou tem conteúdo desatualizado ou de baixa qualidade – corte-as! O processo de remoção permite eliminar o excesso de bagagem do seu site que pode sobrecarregá-lo.

O excesso de páginas em seu site pode desviar os Googlebots para páginas sem importância, ignorando as páginas.

Apenas lembre-se de redirecionar todos os links para essas páginas, para não acabar com erros de rastreamento.

10. Acumule mais backlinks

Assim como os Googlebots chegam ao seu site e começam a indexar páginas com base em links internos, eles também usam links externos no processo de indexação. Se outros sites estiverem vinculados ao seu, o Googlebot viajará até seu site e indexará as páginas para entender melhor o conteúdo vinculado.

Além disso, os backlinks dão ao seu site um pouco mais de popularidade e atualidade, que o Google usa para determinar com que frequência seu site precisa ser indexado.

11. Elimine páginas órfãs

Como o rastreador do Google salta de página em página por meio de links internos, ele pode encontrar facilmente páginas vinculadas. No entanto, as páginas que não estão vinculadas a algum lugar do seu site geralmente passam despercebidas pelo Google. Elas são chamadas de “páginas órfãs”.

Quando é uma página órfã apropriada? Se for uma página de destino com um objetivo ou público muito específico. Por exemplo, se você enviar um e-mail para jogadores de golfe que moram em Miami com uma página de destino que se aplica apenas a eles, talvez não queira criar um link para a página de outro.

As melhores ferramentas para otimização de orçamento de rastreamento

O Search Console e o Google Analytics podem ser bastante úteis quando se trata de otimizar seu orçamento de rastreamento. O Search Console permite que você solicite um rastreador para indexar páginas e rastrear suas estatísticas de rastreamento. O Google Analytics ajuda você a acompanhar sua jornada de vinculação interna.

Outras ferramentas de SEO, como o SearchAtlas, permitem que você encontre problemas de rastreamento facilmente por meio das ferramentas de auditoria do site. Com um relatório, você pode ver o seu site:

• Relatório de rastreamento de indexabilidade
• Índice de profundidade
• Velocidade da página
• Conteúdo duplicado
• Mapa do site XML
• links

Otimize seu orçamento de rastreamento e torne-se um mecanismo de pesquisa de alto desempenho

Embora você não possa controlar a frequência com que os mecanismos de pesquisa indexam seu site ou por quanto tempo, você pode otimizá-lo para aproveitar ao máximo cada rastreamento do mecanismo de pesquisa. Comece com os logs do servidor e observe mais de perto o relatório de rastreamento no Search Console. Em seguida, mergulhe na correção de erros de rastreamento, estrutura de links e problemas de velocidade da página.

À medida que você trabalha em sua atividade de rastreamento do GSC, concentre-se no restante de sua estratégia de SEO, incluindo criação de links e adição de conteúdo de qualidade . Com o tempo, você descobrirá que suas páginas de destino sobem nas páginas de resultados do mecanismo de pesquisa.