クロールバジェットとは何ですか? SEO のためにそれを最適化するにはどうすればよいですか?

FATJOE では、Web ページの高品質なコンテンツを作成し、それらのページへの強力なリンクを確保することに全力を尽くしています。

しかし、Google などの検索エンジンはどのようにしてそれらのページを見つけるのでしょうか? 答えは這うことです。

Google クローラーは Web サイトにアクセスし、リンクをたどり、各ページのコンテンツを分析して URL をインデックスに追加します。

クロール バジェットは、特定の期間内に Web ページをクロールするために検索エンジンが割り当てるリソースです。 これにより、ボットがサイト上でクロールするページの数と、ボットが戻ってくる頻度が決まります。

クロール予算の管理は、Web サイト所有者や SEO チーム、特に大規模なサイトを持つチームにとって非常に重要です。

クロール予算を最適化することで、検索エンジンがサイトの重要なページをインデックスに登録できるようになります。 これにより、検索結果での可視性が向上し、検索エンジンがコンテンツを確実に認識できるようになります。

このガイドでは、以下について説明します。

• クロールバジェットとは
• 使い方
• SEOにとって重要な理由
• クロールバジェットを増やす方法

クロールバジェットとは何ですか?

クロール バジェットは、Web ページのクロールとインデックス作成のために検索エンジンが Web サイトに与えるリソースです。

これは、Google やその他の検索エンジンがページをどれだけ効果的に見つけて検索結果に含めるかを決定するため、検索エンジン最適化 (SEO) において重要です。

検索エンジンがクロール予算を割り当てるのはなぜですか?

Google には GoogleBot と呼ばれる独自のクローラーがあり、Web ページを探索してインデックスを作成します。

しかし、インターネットは巨大です。

Google がすべてのWeb サイトのすべてのページをクロールしてインデックスを作成する方法はありません。

そのため、検索ユーザーにとって最も関連性の高いページに確実にアクセスできるように、Google はウェブサイトにクロール予算を割り当てます。

これは Google 以外の検索エンジンでも同じですが、Google であるため、ここでは Google に焦点を当てます。

Google クローラーにはどのような種類がありますか?

検索エンジンには、Web ページに関する情報を収集するためにさまざまな種類のクローラーがあります。 クローラーとフェッチャーの主なタイプをここにまとめました。

Googleボット

これは、Google が Web ページの検出とインデックス作成に使用する主要なクローラーです。 すべての HTML コンテンツを調べ、リンクをたどり、Web ページのコンテンツを分析します。

特殊な場合のクローラー

これらのクローラーは、アクセシビリティ情報の収集などの特定のタスクに使用されます。 特殊な場合のクローラーは、robots.txt ルールを尊重する場合とそうでない場合があります。

ユーザートリガーのフェッチャー

このタイプのクローラーは、エンドユーザーがフェッチをトリガーするときに使用されます。 たとえば、一部の Google Search Console ツールは、ユーザーのアクションに基づいてフェッチ リクエストを送信します。 ユーザーがトリガーするフェッチャーは通常、robots.txt ルールを無視します。

Google ニュース クローラー

これは、ニュース関連コンテンツのクロールに焦点を当てています。 最新のニュース情報を収集し、Google の検索結果と Google ニュース プラットフォームに確実に表示されます。

Google画像クローラー

名前が示すように、このクローラーは画像がすべてです。 Web を検索して画像を検索し、代替テキスト、キャプション、ファイル名などを分析してコンテキストを理解します。

Google ビデオ クローラー

画像クローラーと同様に、これはビデオ コンテンツの検出とインデックス作成に特化しています。 ビデオのメタデータ、キャプション、その他の情報を調べます。

すべての Google クローラーとフェッチャー(ユーザー エージェント トークンとユースケースを含む) のより包括的な概要については、最後までスキップして役立つ表を参照してください。

モバイルファーストクロール

モバイル デバイスを使用してインターネットを閲覧する人が増えているため、Google はモバイル ファースト インデックスに移行しました。

Google は、デスクトップ バージョンに先駆けて、スマートフォン エージェントを使用して、モバイル バージョンの Web サイトをクロールし、インデックスを作成します。 Web サイトがモバイルに対応していることを確認することは、サイトのクロール可能性とクロール予算の最適化にとって不可欠です。

検索エンジンは最近、2023 年 5 月にモバイル ファースト インデックスへの最後の一括切り替えを完了しました。

Google は 2023 年 5 月 22 日にもう一度一括モバイル ファースト インデックス作成バッチを実行します — 6 年間の準備を経て、モバイル ブラウザのような検索クロールへの移行を完了します。 https://t.co/9CxsrRFkcE

— マイケル・ストリッカー (@RadioMS) 2023 年 5 月 22 日

Google はどのようにクロール予算を割り当てますか?

クロール バジェットは、クロール容量制限とクロール需要という 2 つの要素に基づいています。

クロール容量制限

検索エンジンは、Web サイトのサーバーのパフォーマンスとサーバーの応答速度を監視します。 サーバーのパフォーマンスに基づいてクロール容量制限を調整します。

この制限は、その時点で利用可能なクロール リソースと Web サイト所有者の設定にも影響されます。

クロール レート制限は、Google Search Console の [クロール レート設定] ページから手動で調整できます。

可用性の問題がある場合は、クロールの頻度を減らすことができます。

ただし、手動で値を増やしても、Google があなたの Web サイトをより速くクロールしてくれるわけではありません。また、Google がどのページをクロールするかに影響を与えることもできません。

クロールデマンド

クロール要求は、検索エンジンがどのページをより頻繁にクロールするかを決定するのに役立ちます。

サイトのサイズ、ページの更新頻度、認識されるページの価値などが考慮されます。

技術的な SEO の問題もクロール需要に影響を与える可能性があります。

クロール予算には Web ページのみが含まれますか?

いいえ、クロールの予算はページだけに関するものではありません。

ここで実際に話しているのは、検索エンジンがクロールするあらゆるドキュメントと、ページ上に存在するさまざまな要素すべてです。 これには、JavaScript や CSS ファイル、モバイル ページのバリアント、構造化データ、PDF ファイルなどが含まれます。

クロール制限はどのように機能しますか?

クロール制限とは、クロールとサーバー リソースのバランスを維持することです。

Web サイトをクロールするとき、検索エンジンはサーバーの応答を監視します。 サーバーがすぐに応答すると、クロール速度が増加する可能性があります。

サーバーに負担の兆候が見られる場合、検索エンジンはサーバーの負荷を軽減するためにクロール速度を下げることがあります。

Web サイト所有者は、サイトの robots.txt ファイルにクロール遅延を実装することもできます。 これにより、Web サイトへの連続したリクエストの間に一定期間一時停止するようクローラーに指示されます。

クロール デマンドはどのように機能しますか?

クロール需要は、ページが GoogleBot にとってどれだけ重要かを示す尺度です。

検索エンジンは、内部リンク構造、外部リンク、ユーザー エンゲージメント シグナルに注目して、どのページがクロールの需要が高いかを判断します。

Google 検索セントラルでは次のように説明されています。

バックリンクは、Web ページが信頼され、人気があり、クロールする価値があることを示すシグナルです。

信頼できるソースからの高品質のバックリンクが多数ある Web サイトには、より大きなクロール予算が与えられます。

Google はまた、ユーザーに最新の検索結果を提供したいと考えており、新しいコンテンツのクロールとインデックス作成を優先しています。

クロールバジェットが SEO にとって重要なのはなぜですか?

クロール バジェットは、検索エンジンが Web サイトのページを検出してインデックスを付ける方法に直接影響します。

ただし、クロールバジェットだけがランキング要因ではないことに注意してください。

これは通常、小規模なサイトには影響を与えないものでもあります。

Google 検索擁護者のダニエル ワイズバーグ氏は、最近のビデオで次のように明らかにしました。

「大規模な Web サイトを扱う場合には、より関連性が高くなります。サイトのページ数が数千ページ未満であれば、心配する必要はありません。」

実際にクロール バジェットを気にする必要があるのは、ページ数が多い大規模な Web サイトまたは e コマース ストアがある場合のみです。

クロール バジェットは次のものに影響を与える、または影響を受ける可能性があります。

検索結果での可視性

クロール予算が制限されている場合、Google が新しいページやコンテンツをクロールしてランク付けするのに時間がかかることがあります。 クロール予算の問題により Google がページを見つけられなかった場合、そのページは検索結果に表示されません。

サイトの構造

重複したページや価値の低いページを並べてクロール予算を無駄にしている場合、Google はどのページが重要であるかを理解するのに苦労します。 GoogleBot は、ターゲット キーワードでのランク付けに役立たないサイトの部分をクロールするのに時間を費やします。

適切なサイト構造は、検索エンジンがページ間の関係を判断するのに役立ち、それによってセマンティック SEO を構築できます。

局所的権限

重要なページのクロールを優先し、高品質のコンテンツに焦点を当てることで、話題の権威を高めることができます。

関連する検索用語で上位にランクされる可能性が高まります。

キーワードの共食い

キーワードの共食いとは、Web サイト上の 2 つのページが検索結果の同じキーワードをめぐって競合することです。

クロール予算の最適化は、これを回避するのに役立ちます。

サイトの構造を整理し、コンテンツの重複を避けることで、Google がサイトをクロールしてコンテンツを理解しやすくなると同時に、ページが一意であることを保証し、検索結果でのページ同士の競合を避けることができます。

SEO のためにクロール予算を最適化するにはどうすればよいですか?

では、SEO の結果を向上させるためにクロール予算を最適化するにはどうすればよいでしょうか?

実行できる 6 つの戦略を次に示します。

戦略 1: サーバー ログとクロール統計レポートを確認する

まず、サーバーのログ ファイルを分析します。

これらのログには、検索エンジン クローラーが Web サイトとどのようにやり取りするかについての貴重な情報が含まれています。 どのページがクロールされているか、どのくらいの頻度でアクセスされているか、クロール エラーが発生したかどうかを知ることができます。

Google Search Console のクロール統計レポートでも、有益な洞察が得られます。

クロール傾向グラフ、ホスト ステータスの詳細、クロール リクエストの内訳を確認できます。

戦略 2: クロールの予算を増やす

検索エンジンによって割り当てられるクロール バジェットを直接制御することはできませんが、影響を与えることはできます。

重要なのは、Web サイトの全体的な品質と関連性を高めることです。

Mobilo の CEO、Peter Nikolow による内訳は次のとおりです。

「クロールの予算」とサイト:

– クロールの予算 – クロールの需要と容量と必要性

需要を増やす – 素晴らしいサイトを作る
容量の増加 – 高速なサイトの作成
必要性を減らす – URL は少ない方が良い#WMCZRH

— ピーター・ニコロウ (@PeterNikolow) 2019年12月11日

このアドバイスを実践する方法は次のとおりです。

新鮮で高品質なコンテンツを定期的に公開する

Web サイトを常に最新のコンテンツで更新すると、サイトがアクティブであることが検索エンジンに表示されます。

これは、コンテンツが貴重な情報を提供していることを検索エンジンに伝え、Web サイトのクロール予算を増加させる可能性があります。

ページの読み込み時間を改善する

ページの読み込みが遅いと、クロールとインデックス作成のプロセスが妨げられる可能性があります。

Google は次のように説明しています。

ページの読み込みが速い場合、Google はサイトをより多く探索し、より多くのページをインデックスに登録できます。

画像の圧縮とキャッシュ技術の使用に取り組み、サイトの速度を向上させます。

モバイルフレンドリー性を確保する

Google は、インデックス作成とランキングにサイトのモバイル版を使用します。

したがって、モバイルフレンドリーなウェブサイトを持つことが重要です。

Google 検索セントラル ブログからのヒントをいくつか紹介します。

戦略 3: ウェブサイトのメンテナンス: エラーを減らす

リンク切れ、404 ページ、サーバー エラーにより、検索エンジンのクローラーの速度が低下し、クロールの予算が浪費される可能性があります。

これには、どこにもつながらない壊れたリンク、見つからないページ、中断を引き起こすサーバーの問題などが含まれる可能性があります。

定期的な Web サイト監査を実施して、適切にクロールされていないページやエラーの原因となっているページを特定します。

戦略 4: クローラーがサイトの一部にアクセスするのをブロックする

場合によっては、検索エンジンがクロールしたりインデックスを作成したりするのにあまり関係のない部分が Web サイトに存在することがあります。

管理ページと重複したコンテンツについて考えてみましょう。

「robots.txt」ファイルを使用して、検索エンジン クローラーにこれらのセクションを避けるように指示できます。

こうすることで、GoogleBot はウェブサイトの重要なページの探索とインデックス作成に集中できます。

戦略 5: リダイレクト チェーンを減らす

リダイレクト チェーンによってクロール バジェットが使い果たされる可能性があります。

GoogleBot は、最終的に宛先 URL に到達する前に、複数のリダイレクトを連続してナビゲートする必要があります。

これらの不要なリダイレクトはすべて、追加の価値を与えることなくクロール バジェットを消費します。

技術的な SEO のヒント: リダイレクトを追加するたびに、Web サイトの速度が低下します。

リダイレクトを追加しすぎると、サイトの最初のバイトまでの時間に悪影響を及ぼす可能性があります: pic.twitter.com/hzW8ehgRMg

— クリス・ロング (@gofishchris) 2023 年 6 月 1 日

リダイレクト チェーンを最小限に抑えると、検索エンジンが目的のページに早く到達できるようになります。 クローラーとユーザーの両方にとって、ポイント A からポイント B への移動が容易になります。

戦略 6: 内部リンクと外部リンクをさらに増やす

信頼できる Web サイトからより多くのバックリンクを取得すると、サイトの知名度と権威が高まります。

検索エンジンはあなたを信頼できる情報源として認識するため、より多くのクロール予算をあなたの Web サイトに割り当てる可能性が高くなります。

内部リンクも重要です。

クロール予算の最大の無駄の 1 つは、孤立したページです。

これらは、内部リンクも外部リンクも持たない Web ページです。

Botify による最近の調査によると、リンクされていないページは Google のクロール予算の 26% を消費します。

出典: Botify

コンテキスト内部リンクは、GoogleBot がウェブサイト上のすべてのページを検索してインデックスに登録するのに役立ちます。

インデックスを作成するすべてのページに、そのページを指す内部リンクが少なくとも 1 つあることを確認することで、クロール バジェットをより効率的に使用できます。

サイトのクロールバジェットを最大限に活用する

クロール予算の最適化は、SEO 戦略を成功させるための重要な部分です。

それは、GoogleBot にとってそれをできるだけ簡単にすることです。 クロール予算の仕組みと最適化方法を理解することで、Google ができるだけ頻繁にページをクロールしてインデックスを付けることができます。

これにより、検索結果での可視性が向上し、より多くのオーガニック トラフィックを引き付けることができます。

時間、労力、お金をかけて、優れたコンテンツを含む高品質の Web ページを作成します。 ページが検索エンジンによってクロールされ、表示されるようにすることで、これが無駄な作業にならないようにしてください。

最後に、ユーザー エージェント トークンとそのユースケースを含む、すべての Google クローラーとフェッチャーの完全な詳細を知りたいですか? 以下の便利なインフォグラフィックをご覧ください。