Что такое краулинговый бюджет и как его оптимизировать для SEO?

В FATJOE мы занимаемся созданием качественного контента для веб-страниц и обеспечением надежных ссылок на эти страницы.

Но как поисковые системы, такие как Google, находят эти страницы? Ответ ползает.

Поисковые роботы Google посещают веб-сайты, переходят по ссылкам и анализируют содержимое каждой страницы, чтобы добавить URL-адрес в свой индекс.

Бюджет сканирования — это ресурсы, которые поисковые системы выделяют для сканирования веб-страниц в течение определенного периода времени. Он определяет, сколько страниц на вашем сайте будут сканировать боты и как часто они будут возвращаться.

Управление краулинговым бюджетом очень важно для владельцев веб-сайтов и SEO-специалистов,особенно для крупных сайтов .

Оптимизируя краулинговый бюджет, вы можете обеспечить индексирование поисковыми системами важных страниц вашего сайта. Это улучшит вашу видимость в результатах поиска и поможет поисковым системам увидеть ваш контент .

В этом руководстве мы рассмотрим:

• Что такое краулинговый бюджет
• Как это работает
• Почему это важно для SEO
• Как увеличить краулинговый бюджет

Что такое краулинговый бюджет?

Краулинговый бюджет — это ресурсы, которые поисковые системы выделяют веб-сайту для сканирования и индексации его веб-страниц.

Это имеет большое значение в поисковой оптимизации (SEO), поскольку определяет, насколько эффективно Google и другие поисковые системы могут находить и включать ваши страницы в результаты поиска.

Почему поисковые системы назначают краулинговые бюджеты?

У Google есть собственный сканер под названием GoogleBot, который исследует и индексирует веб-страницы.

Но интернет огромный.

Google не может просканировать и проиндексироватькаждуюстраницу накаждомвеб-сайте.

Поэтому, чтобы убедиться, что он достигает наиболее релевантных для поисковых пользователей страниц, Google назначает краулинговые бюджеты веб-сайтам.

То же самое и для поисковых систем, отличных от Google, но мы сосредоточимся на Google, учитывая,что это Google.

Какие существуют типы поисковых роботов Google?

Поисковые системы имеют различные типы сканеров для сбора информации о веб-страницах. Мы суммировали основные типы сканеров и сборщиков здесь:

GoogleBot

Это основной сканер, используемый Google для обнаружения и индексации веб-страниц. Он просматривает весь HTML-контент, переходит по ссылкам и анализирует содержимое веб-страниц.

Краулеры специального назначения

Эти сканеры используются для определенных задач, таких как сбор информации о доступности. Специальные поисковые роботы могут соблюдать или не соблюдать правила robots.txt.

Сборщики, инициируемые пользователем

Этот тип сканера используется, когда конечный пользователь инициирует выборку. Например, некоторые инструменты Google Search Console будут отправлять запросы на выборку в зависимости от действий пользователя. Сборщики, инициируемые пользователем, обычно игнорируют правила robots.txt.

Сканер новостей Google

Этот ориентирован на сканирование контента, связанного с новостями. Он собирает самую свежую новостную информацию и обеспечивает ее появление в результатах поиска Google и на платформе Google News.

Сканер изображений Google

Как следует из названия, этот поисковый робот работает исключительно с изображениями. Он просматривает Интернет в поисках изображений и анализирует такие вещи, как замещающий текст, подписи и имена файлов, чтобы понять контекст.

Поисковый робот Google для видео

Подобно сканеру изображений, этот предназначен для обнаружения и индексации видеоконтента. Он просматривает метаданные видео, подписи и другую информацию.

Чтобы получить более полную информацию о каждом поисковом роботе и сборщике данных Google (включая токен пользовательского агента и вариант использования), перейдите к нашей полезной таблице в конец!

Мобильное сканирование

Поскольку все больше и больше людей используют мобильные устройства для работы в Интернете, Google перешел на индексацию для мобильных устройств.

Google использует агент для смартфонов для сканирования и индексации мобильной версии веб-сайтов, а не версии для настольных компьютеров. Обеспечение того, чтобы ваш веб-сайт адаптировался к мобильным устройствам, имеет важное значение для возможности сканирования вашего сайта и оптимизации вашего краулингового бюджета.

Поисковая система недавно завершила окончательный массовый переход на индексирование с приоритетом мобильных устройств в мае 2023 года:

22 мая 2023 года Google проводит еще одну массовую первую мобильную индексацию — завершается переход на поисковое сканирование, как если бы это был мобильный браузер, на создание которого ушло 6 лет! https://t.co/9CxsrRFkcE

— Майкл Стрикер (@RadioMS) 22 мая 2023 г.

Как Google назначает краулинговый бюджет?

Бюджет обхода основан на двух факторах: лимите емкости обхода и спросе на обход.

Ограничение емкости сканирования

Поисковые системы следят за тем, как работает сервер веб-сайта и как быстро он отвечает. Они регулируют ограничение емкости сканирования в зависимости от производительности сервера.

На ограничение также влияют доступные ресурсы сканирования в любой момент времени и предпочтения владельца веб-сайта.

Вы можете вручную настроить ограничение скорости сканирования на странице настроек скорости сканирования в Google Search Console.

Если у вас возникли проблемы с доступностью, вы можете уменьшить частоту сканирования.

Но увеличение его вручную не заставит Google быстрее сканировать ваш сайт.Вы также не можете повлиять на то, какиестраницы Google будет сканировать.

Спрос на сканирование

Спрос на сканирование помогает поисковым системам решить, какие страницы сканировать чаще.

Он учитывает такие вещи, как размер сайта, частота обновления страницы и воспринимаемая ценность страницы.

Технические проблемы SEO также могут повлиять на спрос на сканирование.

Включает ли краулинговый бюджет только веб-страницы?

Нет, краулинговый бюджеткасается не только страниц .

На самом деле мы говорим о любом документе, который сканируют поисковые системы, и обо всех различных элементах, которые существуют на странице. Сюда входят такие вещи, как файлы JavaScript и CSS, варианты мобильных страниц, структурированные данные и файлы PDF.

Как работает лимит сканирования?

Ограничение обхода — это поддержание баланса между обходом и ресурсами сервера.

При сканировании веб-сайта поисковые системы отслеживают реакцию сервера. Если сервер быстро отвечает, скорость сканирования может увеличиться.

Если сервер показывает признаки нагрузки, поисковая система может снизить скорость сканирования, чтобы снизить нагрузку на сервер.

Владельцы веб-сайтов также могут реализовать задержки сканирования в файле robots.txt сайта. Это указывает сканерам делать паузу на определенное время между последовательными запросами к веб-сайту.

Как работает спрос на сканирование?

Спрос на сканирование — это мера того, насколько важна страница для робота GoogleBot.

Поисковые системы обращают внимание на внутреннюю структуру ссылок, внешние ссылки и сигналы взаимодействия с пользователем, чтобы определить, какие страницы имеют более высокий спрос на сканирование.

Вот как это описано в Google Search Central:

Обратные ссылки — это сигнал о том, что веб-страница пользуется доверием, популярна и достойна сканирования.

Веб-сайты с большим количеством высококачественных обратных ссылок из авторитетных источников получают больший краулинговый бюджет .

Google также хочет предоставлять пользователям самые свежие результаты поиска, поэтому отдает приоритет сканированию и индексированию свежего контента.

Почему краулинговый бюджет важен для SEO?

Бюджет сканирования напрямую влияет на то, как поисковые системы обнаруживают и индексируют страницы вашего веб-сайта.

Но стоит отметить, что сам по себе краулинговый бюджет не является фактором ранжирования.

Это также то, что обычно не влияет на небольшие сайты.

В недавнем видео эксперт Google Search Дэниел Вайсберг рассказал:

«Это более актуально, если вы работаете с большим веб-сайтом.Если у вас есть сайт с менее чем несколькими тысячами страниц, вам не нужно об этом беспокоиться».

Вам действительно нужно беспокоиться о краулинговом бюджете, только если у вас большой веб-сайт или интернет-магазин с большим количеством страниц.

Бюджет сканирования может влиять на следующие факторы или зависеть от них:

Видимость в результатах поиска

Когда бюджет сканирования ограничен, Google может занять больше времени для сканирования и ранжирования новых страниц и контента. Если Google не находит страницу из-за проблем с краулинговым бюджетом, она не будет отображаться в результатах поиска .

Структура сайта

Если вы тратите краулинговый бюджет на множество дублирующихся или малоценных страниц, Google будет пытаться понять, какие страницы важны. GoogleBot будет тратить время на сканирование частей вашего сайта, которые не помогут вам ранжироваться по вашим целевым ключевым словам.

Хорошая структура сайта помогает поисковым системам определять отношения между вашими страницами, что, в свою очередь, может формировать семантическое SEO.

Тематический авторитет

Расстановка приоритетов при сканировании важных страниц и сосредоточение внимания на высококачественном контенте может повысить ваш тематический авторитет.

Это увеличивает ваши шансы на более высокий рейтинг по релевантным поисковым запросам.

Каннибализация ключевых слов

Каннибализация ключевых слов — это когда две страницы веб-сайта конкурируют за одни и те же ключевые слова в результатах поиска.

Оптимизация краулингового бюджета поможет вам избежать этого.

Организовав структуру сайта и избегая дублирования контента, Google будет легче сканировать ваш сайт и понимать его содержание, а ваши страницы будут уникальными и не будут конкурировать друг с другом в результатах поиска.

Как оптимизировать краулинговый бюджет для SEO?

Итак, как вы можете оптимизировать краулинговый бюджет для улучшения результатов SEO?

Вот шесть стратегий, которые вы можете реализовать:

Стратегия 1: просмотрите журналы вашего сервера и отчет о статистике сканирования

Начните с анализа файлов журнала вашего сервера.

Эти журналы содержат ценную информацию о том, как сканеры поисковых систем взаимодействуют с вашим сайтом. Вы можете узнать, какие страницы сканируются, как часто к ним обращаются и возникают ли какие-либо ошибки сканирования.

Отчет «Статистика сканирования» в Google Search Console также может предоставить полезную информацию.

Вы можете просмотреть диаграмму тенденций сканирования, сведения о состоянии хоста и разбивку запросов на сканирование.

Стратегия 2: увеличьте бюджет сканирования

Хотя вы не можете напрямую контролировать краулинговый бюджет, назначаемый поисковыми системами, вы все же можете влиять на него.

Ключевым моментом является повышение общего качества и актуальности вашего веб-сайта.

Вот разбивка Питера Николоу, генерального директора Mobilo:

«Бюджет сканирования» и ваш сайт:

– Бюджет сканирования – спрос на сканирование, мощность и необходимость.

Увеличьте спрос – сделайте крутой сайт
Увеличьте мощность – сделайте быстрый сайт
Уменьшите необходимость — чем меньше URL-адресов, тем лучше#WMCZRH

— Питер Николов (@PeterNikolow) 11 декабря 2019 г.

Вот как вы можете применить этот совет на практике:

Регулярно публикуйте свежий и качественный контент

Обновление вашего веб-сайта свежим контентом показывает поисковым системам, что ваш сайт активен.

Это сигнализирует поисковым системам о том, что ваш контент содержит ценную информацию, потенциально увеличивая краулинговый бюджет вашего веб-сайта.

Улучшить время загрузки страницы

Медленная загрузка страниц может помешать процессу сканирования и индексации.

Вот как Google описывает это:

Если ваши страницы загружаются быстро, Google может изучить ваш сайт и проиндексировать больше ваших страниц.

Работайте над сжатием изображений и использованием методов кэширования для повышения скорости сайта.

Обеспечение совместимости с мобильными устройствами

Google использует мобильную версию вашего сайта для индексации и ранжирования.

Поэтому наличие мобильного сайта имеет решающее значение.

Вот несколько советов из блога Google Search Central:

Стратегия 3: Обслуживание веб-сайта: уменьшение количества ошибок

Неработающие ссылки, страницы с ошибкой 404 и ошибки сервера могут замедлить работу сканеров поисковых систем и истощить ваш краулинговый бюджет.

Это могут быть неработающие ссылки, которые ведут в никуда, страницы, которые невозможно найти, или проблемы с сервером, вызывающие перебои в работе.

Проводите регулярные аудиты веб-сайтов, чтобы выявить любые страницы, которые не сканируются должным образом или вызывают ошибки.

Стратегия 4: запретите поисковым роботам доступ к частям вашего сайта

Иногда у вас могут быть части вашего веб-сайта, которые не очень важны для сканирования или индексирования поисковыми системами.

Думайте о страницах администратора и дублируйте контент.

Вы можете использовать файл robots.txt, чтобы роботы поисковых систем избегали этих разделов.

Таким образом, GoogleBot может сосредоточиться на изучении и индексации важных страниц вашего веб-сайта.

Стратегия 5: Сокращение цепочек переадресации

Цепочки перенаправления могут израсходовать ваш краулинговый бюджет.

GoogleBot должен пройти несколько перенаправлений подряд, прежде чем, наконец, перейти к целевому URL-адресу.

Все эти ненужные перенаправления занимают краулинговый бюджет, не принося никакой дополнительной ценности.

Технический совет по SEO: каждое добавленное вами перенаправление замедляет работу вашего сайта.

Добавление слишком большого количества переадресаций может негативно сказаться на времени до первого байта вашего сайта: pic.twitter.com/hzW8ehgRMg

— Крис Лонг (@gofishchris) 1 июня 2023 г.

Сведение к минимуму цепочек переадресации может помочь поисковым системам быстрее достигать целевых страниц. Это упрощает путешествие из точки А в точку Б как для поисковых роботов, так и для пользователей.

Стратегия 6: Получите больше внутренних и внешних ссылок

Получение большего количества обратных ссылок с надежных веб-сайтов может повысить узнаваемость и авторитет вашего сайта.

Поскольку поисковые системы признают вас в качестве авторитетного источника, они с большей вероятностью будут выделять большую часть краулингового бюджета вашему веб-сайту.

Внутренняя перелинковка также важна.

Одна из самых больших трат краулингового бюджета — страницы-сироты.

Это веб-страницы, на которые не ссылаются ни внутренние, ни внешние ссылки.

Согласно недавнему исследованию Botify, страницы, на которые нет ссылок, потребляют 26% краулингового бюджета Google:

Источник: Ботифи

Контекстные внутренние ссылки помогают роботу GoogleBot находить и индексировать все страницы вашего сайта.

Вы можете более эффективно использовать краулинговый бюджет, убедившись, что каждая страница, которую вы хотите проиндексировать, имеет хотя бы одну внутреннюю ссылку, указывающую на нее.

Максимально используйте краулинговый бюджет вашего сайта

Оптимизация краулингового бюджета — важная часть успешной SEO-стратегии.

Речь идет о максимальном упрощении для GoogleBot. Поняв, как работает краулинговый бюджет и как его оптимизировать, вы сможете сделать так, чтобы Google сканировал и индексировал ваши страницы как можно чаще.

Это улучшит вашу видимость в результатах поиска и поможет привлечь больше органического трафика.

Вы вкладываете время, усилия и деньги в создание высококачественных веб-страниц с отличным содержанием; убедитесь, что это не напрасная работа, обеспечив возможность сканирования и просмотра ваших страниц поисковыми системами.

Наконец, вам нужна полная разбивка всех сканеров и сборщиков Google , включая их токен пользовательского агента и варианты их использования? Ознакомьтесь с нашей удобной инфографикой ниже!