WebサイトのSEOを成功させるためには、クロールバジェットの基礎知識を理解しておくことが重要です。
クロールバジェットとは、Googlebotが1つのサイトに対してクロールできる上限を指す言葉です。
この記事では、クロールバジェットとは一体何なのか？また、気にするべきなのか？気にするべきじゃないのか？クロールバジェットについて詳しく解説していきます。
この記事の内容
クロールバジェットとは
クロールバジェットとは、Googlebotが1つのサイトに対してクロールできる上限を指す言葉です。
Googlebotは、Webサイト内のページをクロールして、そのページの内容をインデックスに登録しています。
しかし、Googlebotは限られたリソースで膨大な数のWebサイトを巡回しているため、すべてのサイトを完全にクロールすることはできません。
そこでサイトごとにクロールバジェットを設けることで、Googlebotがどのサイトを優先的にクロールするかを判断しています。
多くの場合、クロールバジェットを気にする必要はない
Google公式によると、クロールバジェットは「ほとんどのウェブマスター（Webサイトの管理者）の方々にとって気にすべきものではない」とのことです。
新しいページが公開された当日にクロールされることが多い場合、クロールバジェットを重視する必要はありません。
これは、新しいページが公開された当日にクロールされるということは、Googlebotがそのページを重要と判断しているということです。
同様に、数千以下のURL数しか持たないサイトにおいても、ほとんどの場合クロールは効率的に行われると公表しています。
数千以下のURL数しか持たないサイトであれば、Googlebotはすべてのページをクロールする時間とリソースがあると考えることができます。
つまり、Google公式の見解では、以下の2つの条件を満たすサイトはクロールバジェットを気にする必要はありません。
- 新しいページを定期的に公開している
- URL数が数千以下
参考：Google検索セントラル「Googlebot のクロールの割り当てについて」
これらの条件を満たしていないサイトの場合は、必要に応じてクロールの効率化を図る必要があると考えることができます。
ではいったいどのような要素が影響するのか、見ていきましょう。
クロールバジェットに影響を及ぼす要素
クロールバジェットに影響を及ぼす要素は、大きく分けて以下の4つです。
サイトの規模（URL数、コンテンツ量）
サイトのサイズが大きいほど、クロールバジェットも大きくなります。
サイトの人気度（被リンク数、アクセス数）
サイトが人気があるほど、Googlebotは頻繁にクロールする傾向があります。
サイトの応答速度
サイトの応答速度が遅いと、Googlebotがクロールする時間が短くなるため、クロールバジェットが小さくなる可能性があります。
サイトの内部リンク構造
サイトの内部リンク構造が適切であれば、Googlebotが効率的にクローリングしやすくなります。
つまり、以下のようなサイトの場合にはクロールバジェットの影響を受けやすくなると言えるでしょう。
- サイトのURL数が数千を超える場合
- サイトの応答速度が遅い場合
まとめ
クロールバジェットは、Googlebotがサイトをクロールする際にどのページを優先的にクロールするかを判断するために用いられるものです。
ただし、新しいページを定期的に公開している、またはURL数が数千以下の場合は、クロールバジェットを気にする必要はありません。
それ以外のサイトの場合は、クロールバジェットの影響を受けやすくなると言えるでしょう。
もし大規模サイトを運営していて「Googlebotにクロールされない」「検索結果に表示されない」という状況が続く場合は、クロールの効率化を図ってみましょう。
自社でこの問題を解消することが難しい場合は、SEO対策の専門家に依頼するのも一つの方法です。
Heart Fullでは、現在のサイトの状況を分析して、最適な対策をご提案させていただきます。
「Googleにインデックスされなくて困っている」など、今抱えているお悩みのご相談だけでも構いませんので、お気軽にご連絡ください。
Heart Fullへのご相談・お問い合わせはこちらから（Googleフォームへ飛びます）
関連記事
この記事では、Googleにインデックスされていないときの原因と対処法を分かりやすくまとめています。
リスティング広告チェックリストを無料配布中！
リスティング広告チェックリストをPDF形式で無料でダウンロードいただけます。広告代理店が教えるリスティング広告の基礎を使ってあなたのビジネスの集客アップにご活用ください。
