クロールバジェットとは？小規模サイトで効くのはクロールデマンド

クロールバジェットとは、検索エンジンが一定期間にサイトを取得する量のことで、サーバー側の上限と、取得しに来る動機の2つで決まります。

そして、小規模サイトで「クロールされない」と感じるとき、詰まっているのは上限のほうではありません。動機のほうです。ここを取り違えると、サーバーを速くしたりページ数を減らしたりといった、効かない方向に手を入れることになります。

この記事では、2つの要素を分けて説明し、自サイトがどちらで詰まっているかの見分け方を整理します。運営者はSEO検定1級・ウェブ解析士として、AIでサイト設計から記事作成・公開・分析までを自動化する仕組みを自作し、複数の自社サイトで運用しています。

クロールバジェットは何で決まりますか？

Googleは公式ドキュメントで、クロールの量を2つの要素で説明しています。

要素	意味	何で変わるか
クロール能力の上限	サイトに負荷をかけずに取得できる量	サーバーの応答速度・エラー率
クロールの需要（デマンド）	そのサイトをどれだけ取得したいか	更新の頻度・内容の価値・人気度

この2つは掛け算ではなく、低いほうが実際の取得量を決めます。サーバーがいくら速くても、取得したい動機が無ければ来ません。逆に動機があってもサーバーが遅ければ抑制されます。

Googleは、上限が問題になるのは主に数十万ページ規模のサイトであり、多くのサイトでは気にする必要がないと説明しています。個人ブログや数百ページ規模のサイトで取得が止まるとき、それはほぼ需要側の問題です。

小規模サイトで実際に起きるのはどちらですか？

需要側です。運営者の3サイトで観察された症状は、いずれも上限の不足では説明がつきませんでした。

すまほたっぷ（smaho-tap.com）では、新規公開を止めて既存記事の修正に集中したあと、再開した新規記事9本が約2か月半にわたり一度も取得されませんでした。同時期に、既存記事が再び取得されるまでの間隔も、およそ117時間から177時間、長いものでは345時間へと開いています。サーバーは同じ構成のままで、応答が遅くなったわけでも、エラーが増えたわけでもありません。サーバー側に何も変化がなくても、取得量は落ちます。

このとき投入した施策と結果は次のとおりです。

打ち手	結果
サイトマップの再送信	取得の再開には結びつかず
IndexNowでの通知	同上
Search Consoleでの登録リクエスト	同上
内部リンクの追加	同上
外部からのリンク獲得	同上
低品質ページの削除（プルーニング）	既存ページのクリック率は改善。新規の取得は変わらず

取得が戻ったのは、週2〜3本の公開を淡々と続けたあとです。新規公開の再開から回復が始まるまで、およそ3か月かかりました。Search Consoleのカバレッジでは、登録ページ数が58まで漸減したあと、7月中旬までに72へ戻り（+13）、「検出 - インデックス未登録」も12から6へ半減しています。ただし、すべてが戻ったわけではなく、一部の記事は7月末時点でも一度も取得されていません。需要が縮んだあとで技術的な施策を投入しても戻らず、戻したのは供給を再開して続けたことでした。

自サイトがどちらで詰まっているかの見分け方

Search Consoleの「設定 > クロールの統計情報」で、次の3点を見ます。

1. 1日あたりのクロールリクエスト数の推移：右肩下がりで、公開を止めた時期と重なっていれば需要側です。
2. 平均応答時間：数百ミリ秒の範囲で安定していれば、上限側の問題ではありません。悪化しているならサーバー側を先に直します。
3. ホストのステータス：エラーが継続していれば上限側です。問題なしなら需要側を疑います。

あわせて「ページ」レポートで、未登録のページが「検出」と「クロール済み」のどちらに分類されているかを確認します。「検出」側に偏っていれば需要の問題で、クロールが来ないときの対処に進みます。「クロール済み」側に偏っていれば取得はできているので、内容と重複の問題として扱います。

需要を増やすには何をすればいいですか？

需要は「このサイトは更新される」という学習の結果なので、動かせるレバーは限られています。

• 公開を止めない。最も効いたのはこれでした。頻度の決め方はブログの更新頻度はどれくらいが適切かに、続けること自体が難しい場合の選択肢はブログが続かない原因と、書かずに続ける仕組みの選び方にまとめています。
• 既存記事の修正だけに偏らせない。修正に集中した期間に新規の取得が止まったのが、すまほたっぷの経過です。
• 似た内容のページを増やさない。取得しても新しい情報が無い状態が続くと、動機は下がります。
• サーバーの応答を安定させる。上限側の余裕を確保する意味はありますが、これ単体で取得量は増えません。

逆に、期待しすぎないほうがよいものもあります。サイトマップ再送信・登録リクエスト・IndexNowは、需要が生きているうちなら促進材料になりますが、枯れたあとに投入しても戻す力はありませんでした。順序としては、供給を戻すのが先で、技術的な通知は補助です。

よくある質問

クロールバジェットとは何ですか？

検索エンジンが一定期間にサイトを取得する量のことです。サーバーに負荷をかけずに取得できる上限と、そのサイトを取得したいという需要の2要素で決まり、実際の取得量は低いほうに合わせられます。Googleは、上限が問題になるのは主に数十万ページ規模のサイトだと説明しています。

小規模サイトでもクロールバジェットを気にするべきですか？

上限としては気にする必要がほとんどありません。小規模サイトで取得が止まるとき、原因は上限の不足ではなく需要の低下であることが大半です。運営者のサイトでも、サーバー構成も応答速度も変えていない状態で取得量が落ち、公開を再開して継続したあとに戻りました。

クロールバジェットを増やすにはどうすればいいですか？

需要側を動かすことが中心になります。公開を止めない、既存記事の修正だけに偏らせない、似た内容のページを増やさない、という3点です。サーバーの応答を安定させることは上限側の余裕につながりますが、それだけで取得量が増えるわけではありません。

クロールの統計情報はどこで見られますか？

Search Consoleの「設定」から「クロールの統計情報」で確認できます。1日あたりのリクエスト数の推移、平均応答時間、ホストのステータスの3点を見ます。リクエスト数が公開を止めた時期と重なって落ちていれば需要側、応答時間の悪化やエラーの継続があれば上限側の問題です。

ページを削除すればクロールバジェットに余裕ができますか？

運営者のサイトでは、新規記事の取得再開には結びつきませんでした。低品質ページの削除は既存ページのクリック率の改善には効きましたが、取得されていなかった新規記事の状態は変わりませんでした。削除は評価の整理として有効でも、需要を戻す手段としては期待しないほうが安全です。

まとめ

クロールバジェットは上限と需要の2要素で決まり、実際の取得量は低いほうに合わせられます。小規模サイトで起きるのはほぼ需要側の低下で、サーバーやページ数に手を入れても動きません。Search Consoleのクロールの統計情報と「ページ」レポートの分類で、自サイトがどちら側かをまず確かめてください。需要を戻す手段として運営者の手元で効いたのは、公開を止めずに続けることだけでした。