Важность файла Sitemap на веб-сайте

Последнее обновление: 11 декабря 2019 г.

Поисковые системы используют веб-сканирование для обновления своего веб-контента, индексируя веб-контент других сайтов. Поисковый робот, также известный как паук или робот-паук, представляет собой интернет-бот, который систематически просматривает Всемирную паутину для индексации URL-адресов страниц в Интернете.

Что делает веб-краулер?

Поисковые роботы копируют страницы для обработки поисковой системой, которая индексирует загруженные страницы, чтобы пользователи могли выполнять поиск более эффективно. Поисковые роботы обычно могут обнаружить большинство страниц вашего сайта, если они правильно связаны. Однако с помощью файлов карты сайта вы можете улучшить сканирование страниц вашего веб-сайта.

Если ваш сайт новый и на него мало внешних ссылок или на сайте используется мультимедийный контент, поисковые роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую. Хуже того, если ваш сайт обширен с обширным архивом страниц контента, которые изолированы или плохо связаны друг с другом, поисковые роботы могут пропустить сканирование некоторых из ваших новых или недавно обновленных страниц. В результате поисковые системы могут не обнаружить ваши страницы, если на них не ссылаются другие сайты. В любом из вышеперечисленных случаев файл карты сайта может предоставить поисковому роботу дополнительную информацию, чтобы поисковые системы не пропускали некоторые страницы вашего веб-сайта.

Что такое файл Sitemap и как он устроен?

Карта сайта — это файл тегов XML, в котором перечислены URL-адреса сайта вместе с дополнительными метаданными о каждом URL-адресе; например, когда страница обновлялась в последний раз, как часто она обычно меняется и насколько она важна (приоритет) по сравнению с другими URL-адресами на сайте. У нас могут быть разные файлы карты сайта, которые предоставляют информацию о страницах, видео, изображениях и других файлах на вашем веб-сайте, а также о взаимосвязях между ними, чтобы поисковые системы могли более разумно сканировать ваш веб-сайт. Карта сайта сообщает сканеру, какие файлы важны на вашем веб-сайте, а также предоставляет ценную информацию об этих файлах. Поисковые роботы, поддерживающие карты сайта, собирают все URL-адреса в карте сайта и узнают об этих URL-адресах с помощью связанных метаданных.

Формат протокола карты сайта состоит из тегов XML. Карта сайта должна содержать:

• Открывающий <urlset> с пространством имен (стандарт протокола) внутри тега <urlset>.
  • Запись открывающего тега <url> для каждого URL-адреса в качестве родительского тега XML.
    • Тег <loc> как дочерняя запись каждого родительского тега <url> с URL-адресом страниц.
  • закрывающий тег </url>,
• Закрывающий тег </urlset>.

Ниже приведена иллюстрация базового протокола и структуры файла карты сайта с некоторыми необязательными тегами. Для получения дополнительной информации об определениях тегов XML в протоколе карты сайта посетите https://www.sitemaps.org/protocol.html.

Все URL-адреса, указанные в файле карты сайта, должны находиться в том же домене, что и файл карты сайта. Например, если файл карты сайта расположен по адресу https://www.mydomain.com/sitemap.xml, он не может включать URL-адреса с https://subdomain.mydomain.com. Если файл карты сайта расположен по адресу https://www.mydomain.com/myfolder/sitemap.xml, он не может включать URL-адреса с https://www.mydomain.com. Протокол файла карты сайта должен быть сгенерирован с использованием метода кодировки символов UTF-8. Настоятельно рекомендуется размещать карту сайта в корневом каталоге вашего HTML-сервера; то есть поместите его на https://www.mydomain.com/sitemap.xml

Карты сайта должны быть не больше 50 МБ и содержать не более 50 000 URL-адресов. Эти ограничения помогают гарантировать, что ваш веб-сервер не увязнет в обслуживании огромных файлов. Если ваш сайт содержит более 50 000 URL-адресов или ваша карта сайта больше 50 МБ, вы должны создать несколько файлов карты сайта и использовать файл индекса карты сайта. Если ваш сайт небольшой, но вы планируете увеличить количество URL-адресов до 50 000 или размер файла 50 МБ, рекомендуется начать использовать файлы индекса карты сайта.

В теге <loc> вам необходимо указать протокол (например, HTTP или HTTPS) URL-адреса вашей страницы. Вам также необходимо включить косую черту в конце URL-адреса, если он требуется вашему веб-серверу. Например, http://www.mydomain.com/ является допустимым URL-адресом для файла Sitemap, а www.mydomain.com — нет. Важно указать только одну версию URL-адреса вашей страницы в картах сайта. Это означает, что нужно указать только URL-адреса HTTPS или только URL-адреса HTTP, но не оба. Включение нескольких версий URL-адреса страниц может привести к неполному сканированию вашего сайта поисковой системой.

Два распространенных способа сделать файл карты сайта доступным для поисковых систем — отправить его с помощью инструмента отправки поисковым системам или вставив строку, например, Карта сайта: https://www.mydomain.com/sitemap.xml в любом месте вашего веб-сайта. robots.txt, в котором указан путь к файлу карты сайта. Файл robots.txt сообщает поисковой системе, какую часть вашего веб-сайта вы не хотите включать в индексацию, а карта сайта сообщает этим поисковым системам, куда вы хотите, чтобы они направлялись.

Почему файл карты сайта важен?

Нет никаких недостатков в наличии файла карты сайта, и он может улучшить вашу поисковую оптимизацию, поэтому настоятельно рекомендуется иметь его на своих веб-сайтах. Карты сайта важны для SEO, потому что они облегчают поисковым системам поиск страниц вашего сайта. Это важно, потому что поисковая система ранжирует веб-страницы, а не только веб-сайты. Вы можете думать о карте сайта как о плане вашего дома, где каждая веб-страница представляет собой комнату, что позволяет поисковой системе быстро и легко находить все комнаты в вашем доме.

Существует множество приемов и советов по SEO, которые помогут оптимизировать ваш сайт, и одним из них является использование файлов карты сайта. Важность файла карты сайта иногда сильно недооценивается. Опять же, карта сайта — это буквальная карта вашего сайта. Они упрощают навигацию по вашему сайту, а когда вы сохраняете обновленный файл карты сайта для своего сайта, он подходит не только для вас, но и для поисковых систем. Файлы карты сайта — это важный способ взаимодействия сайта с поисковой системой.

Как веб-сайт выиграет от файла Sitemap?

Использование файла карты сайта имеет так много преимуществ. Он не только дает карту для навигации по вашему сайту, но и обеспечивает лучшую видимость для поисковых систем. Файл карты сайта дает возможность связать поисковые системы с любыми изменениями, внесенными на страницы вашего сайта, сразу после того, как они произошли. Вы не можете ожидать, что поисковые системы будут спешить учитывать изменения на ваших страницах, но они, несомненно, изменят внесенные вами изменения быстрее, чем когда на веб-сайте нет файла карты сайта.

Когда есть ссылка на карту сайта на веб-сайт, и она отправляется поисковым системам, вы будете меньше полагаться на внешние ссылки, когда поисковые системы приводят посетителей на ваш сайт. Когда у вас есть файл карты сайта и вы отправляете его поисковым системам, вы меньше полагаетесь на внешние ссылки, которые приведут поисковые системы на ваш сайт.

Файл карты сайта даже помогает исправить плохие внутренние ссылки. Например, если есть случайно неработающие ссылки или страницы-сироты, которые недоступны. Следует отметить, что неразумно полагаться на карту сайта, а не просто исправлять свои ошибки. Вы должны помнить, что использование файла карты сайта не гарантирует, что все URL-адреса в вашей карте сайта будут просканированы и проиндексированы, поскольку процессы поисковых систем полагаются на сложные алгоритмы для планирования сканирования. Однако в большинстве случаев ваш веб-сайт выиграет от наличия файла карты сайта, и вы никогда не будете оштрафованы за его наличие.

Авторство: Артуро С.