A importância de um arquivo de sitemap em um site

Última atualização em 11 de dezembro de 2019

Os mecanismos de pesquisa usam o rastreamento da Web para atualizar seu conteúdo da Web indexando o conteúdo da Web de outros sites. Um web crawler, também conhecido como spider ou spiderbot, é um bot da Internet que navega sistematicamente na World Wide Web para a indexação da URL das páginas.

O que o rastreador da Web faz?

Os rastreadores da Web copiam as páginas para serem processadas pelo mecanismo de pesquisa, que indexa as páginas baixadas para que os usuários possam pesquisar com mais eficiência. Os rastreadores da Web geralmente podem descobrir a maioria das páginas do seu site se estiverem vinculadas corretamente. No entanto, com o uso de arquivos de sitemap, você pode melhorar o rastreamento das páginas do seu site.

Se o seu site for novo e tiver poucos links externos para ele, ou se o site usar conteúdo de mídia avançada, os rastreadores da Web rastreiam a Web seguindo os links de uma página para outra. Pior ainda, se o seu site for extenso com um vasto arquivo de páginas de conteúdo isoladas ou não bem vinculadas umas às outras, os rastreadores da Web podem ignorar o rastreamento de algumas de suas páginas novas ou atualizadas recentemente. Como resultado, os mecanismos de pesquisa podem não descobrir suas páginas se nenhum outro site estiver vinculado a elas. Em qualquer um dos casos acima, um arquivo de mapa do site pode fornecer informações adicionais ao rastreador da Web para garantir que os mecanismos de pesquisa não ignorem algumas das páginas do seu site.

O que é um arquivo de mapa do site e como é estruturado?

Um mapa do site é um arquivo de tags XML que lista os URLs de um site junto com metadados adicionais sobre cada URL; como quando a página foi atualizada pela última vez, com que frequência ela costuma ser alterada e quão importante é (prioridade) em relação a outros URLs no site. Podemos ter diferentes arquivos de mapa do site que fornecem informações sobre as páginas, vídeos, imagens e outros arquivos em seu site e as relações entre eles, para que os mecanismos de pesquisa possam rastrear seu site de maneira mais inteligente. O mapa do site informa ao rastreador quais arquivos são importantes em seu site e também fornece informações valiosas sobre esses arquivos. Os rastreadores da Web que oferecem suporte a mapas do site pegam todos os URLs no mapa do site e aprendem sobre esses URLs usando os metadados associados.

Um formato de protocolo de mapa de site consiste em tags XML. O mapa do site deve incluir:

• Um <urlset> de abertura com o namespace (padrão de protocolo) dentro da tag <urlset>.
  • Uma entrada de tag <url> de abertura para cada URL, como uma tag XML pai.
    • Uma tag <loc> como uma entrada filha de cada tag pai <url> com a url das páginas.
  • Uma tag de fechamento </url>,
• Uma tag de fechamento </urlset>.

Veja a seguir uma ilustração de um protocolo e estrutura básicos de arquivo de sitemap com algumas tags opcionais. Para obter mais informações sobre as definições de tags XML no protocolo de mapa do site, visite https://www.sitemaps.org/protocol.html.

Todos os URLs listados em seu arquivo de sitemap devem residir no mesmo domínio que o arquivo de sitemap. Por exemplo, se o arquivo de mapa do site estiver localizado em https://www.mydomain.com/sitemap.xml, ele não poderá incluir URLs de https://subdomain.mydomain.com. Se o arquivo de mapa do site estiver localizado em https://www.mydomain.com/myfolder/sitemap.xml, ele não poderá incluir URLs de https://www.mydomain.com. O protocolo do arquivo de mapa do site deve ser gerado usando um método de codificação de caracteres UTF-8. É altamente recomendável colocar o mapa do site no diretório raiz do seu servidor HTML; ou seja, coloque-o em https://www.mydomain.com/sitemap.xml

Os sitemaps não devem ter mais de 50 MB e podem conter no máximo 50.000 URLs. Esses limites ajudam a garantir que seu servidor web não fique atolado ao servir arquivos enormes. Se seu site contiver mais de 50.000 URLs ou seu sitemap for maior que 50 MB, você deverá criar vários arquivos de sitemap e usar um arquivo de índice de sitemap. Se o seu site for pequeno, mas você planeja crescer além de 50.000 URLs ou um tamanho de arquivo de 50 MB, é recomendável começar a usar arquivos de índice de mapa do site.

Na tag <loc>, você precisa incluir o protocolo (por exemplo, HTTP ou HTTPS) do URL da sua página. Você também precisa incluir uma barra final em seu URL se o seu servidor da web exigir uma. Por exemplo, http://www.mydomain.com/ é um URL válido para um Sitemap, enquanto www.mydomain.com não é. É importante listar apenas uma versão do URL da sua página nos mapas do site. Isso significa listar apenas URLs HTTPS ou apenas URLs HTTP, mas não ambos. A inclusão de várias versões do URL das páginas pode resultar no rastreamento incompleto do seu site pelo mecanismo de pesquisa.

Duas maneiras comuns de ter o arquivo do sitemap disponível para os mecanismos de pesquisa é enviá-lo por meio da ferramenta de envio dos mecanismos de pesquisa ou inserindo uma linha como Sitemap: https://www.mydomain.com/sitemap.xml , em qualquer lugar do seu site arquivo robots.txt, que especifica o caminho para seu arquivo de mapa do site. Um arquivo robots.txt informa a um mecanismo de pesquisa qual parte do seu site você não deseja incluir para indexação, e o mapa do site informa a esses mecanismos de pesquisa para onde você deseja que eles vão.

Por que um arquivo de sitemap é importante?

Não há desvantagem em ter um arquivo de mapa do site, e ter um pode melhorar seu SEO, por isso é altamente recomendável ter um em seus sites. Os Sitemaps são importantes para SEO porque facilitam para os mecanismos de pesquisa encontrarem as páginas do seu site. Isso é importante porque um mecanismo de pesquisa classifica as PÁGINAS da web, não apenas os sites. Você pode pensar em um mapa do site como uma planta para sua casa, onde cada página da web é uma sala, tornando mais fácil para o mecanismo de pesquisa encontrar rápida e facilmente todos os quartos da sua casa.

Há uma variedade de truques e dicas de SEO que ajudarão a otimizar seu site, e um deles é o uso de arquivos de mapa do site. A importância do arquivo de sitemaps às vezes é muito subestimada. Novamente, um sitemap é um mapa literal do seu site. Eles facilitam a navegação no seu site e, quando você mantém um arquivo de mapa do site atualizado para o seu site, ele é adequado não apenas para você, mas também para os mecanismos de pesquisa. Os arquivos de sitemap são uma maneira essencial de um site se comunicar com um mecanismo de pesquisa.

Como um site se beneficiará de um arquivo de mapa do site?

O uso de um arquivo de sitemap tem muitos benefícios. Não apenas fornece um mapa para navegar em seu site, mas também oferece melhor visibilidade aos mecanismos de pesquisa. Um arquivo de mapa do site oferece a oportunidade de vincular os mecanismos de pesquisa a quaisquer alterações feitas nas páginas do seu site imediatamente após elas ocorrerem. Você não pode esperar que os mecanismos de pesquisa se apressem para explicar as alterações em suas páginas, mas eles, sem dúvida, alterarão as edições que você fez mais rapidamente em comparação com quando um site não possui um arquivo de mapa do site.

Quando há um link de mapa do site para um site e ele é enviado aos mecanismos de pesquisa, você dependerá menos dos links externos quando os mecanismos de pesquisa estiverem trazendo visitantes ao seu site. Quando você tem um arquivo de mapa do site e o envia para os mecanismos de pesquisa, você depende menos de links externos que levarão os mecanismos de pesquisa ao seu site.

O arquivo de mapa do site também ajuda a corrigir links internos ruins. Por exemplo, se houver links quebrados acidentalmente ou páginas órfãs que não podem ser acessadas. Deve-se notar que não é uma boa ideia confiar em um mapa do site em vez de apenas corrigir seus erros. Você deve se lembrar que o uso de um arquivo de sitemap não garante que todos os URLs em seu sitemap sejam rastreados e indexados, pois os processos dos mecanismos de pesquisa dependem de algoritmos complexos para agendar o rastreamento. No entanto, na maioria dos casos, seu site se beneficiará de ter um arquivo de mapa do site e você nunca será penalizado por ter um.

Autoria: Arturo S.