クロールバジェットとは?小規模サイトで効くのはクロールデマンド
三橋竜彰・ ・ 更新: 2026-10-13
クロールバジェットとは、検索エンジンが一定期間にサイトを取得する量のことです。サーバー側の上限と、取得しに来る動機の2つで決まります。
そして、運営者の小規模なサイトで「クロールされない」状態になったとき、詰まっていたのは上限のほうではなく、動機のほうでした。
ここを取り違えると、サーバーを速くしたりページ数を減らしたりといった、取得量が増えない方向に手を入れることになります。
この記事では、2つの要素を分けて説明し、自サイトがどちらで詰まっているかの見分け方を整理します。運営者はSEO検定1級・ウェブマスター検定1級・ウェブ解析士・認定AIOエキスパートとして、AIでサイト設計から記事作成・公開・分析までを自動化する仕組みを自作し、複数の自社サイトで運用しています。
クロールバジェットは何で決まりますか?
Googleは公式ドキュメントで、クロールの量を2つの要素で説明しています。
| 要素 | 意味 | 何で変わるか |
|---|---|---|
| クロール能力の上限 | サイトに負荷をかけずに取得できる量 | サーバーの応答速度・エラー率 |
| クロールの需要(デマンド) | そのサイトをどれだけ取得したいか | 更新の頻度・内容の価値・人気度 |
サーバーがいくら速くても、取得したい動機が無ければ来ません。逆に動機があってもサーバーが遅ければ抑制されます。
Googleのガイドが主な対象にしているのは、重複のないページが100万以上で週1回ほど更新されるサイトと、1万以上で毎日更新されるサイト、そしてSearch ConsoleでURLの大部分が「検出 - インデックス未登録」に分類されるサイトです。頻繁に更新されるページがそれほど多くないサイトは、読む必要がないとしています。
これらに当たらない個人ブログや数百ページ規模のサイトで取得が止まったとき、運営者のサイトでは、原因は上限側ではありませんでした。
小規模サイトで実際に起きるのはどちらですか?
運営者の3サイトでは、需要側でした。観察された症状は、いずれも上限の不足では説明がつきませんでした。
すまほたっぷ(smaho-tap.com)では、新規公開を止めて、既存記事の修正に集中した時期があります。その後に再開した新規記事9本は、約2か月半にわたり一度も取得されませんでした。
同時期に、既存記事が再び取得されるまでの間隔も、およそ117時間から177時間、長いものでは345時間へと開いています。
サーバーは同じ構成のままで、応答が遅くなったわけでも、エラーが増えたわけでもありません。サーバー側に何も変化がなくても、取得量は落ちます。
このとき投入した施策と結果は次のとおりです。
| 打ち手 | 結果 |
|---|---|
| サイトマップの再送信 | 取得の再開には結びつかず |
| IndexNowでの通知 | 同上 |
| Search Consoleでの登録リクエスト | 同上 |
| 内部リンクの追加 | 同上 |
| 外部からのリンク獲得 | 同上 |
| 低品質ページの削除(プルーニング) | 既存ページのクリック率は改善。新規の取得は変わらず |
取得が戻ったのは、週2〜3本の公開を淡々と続けたあとです。新規公開の再開から回復が始まるまで、およそ3か月かかりました。
Search Consoleのページのインデックス登録レポートでは、登録ページ数が58まで漸減したあと、7月中旬までに72へ戻り、「検出 - インデックス未登録」も12から6へ半減しています。ただし、すべてが戻ったわけではなく、一部の記事は7月末時点でも一度も取得されていません。
需要が縮んだあとで技術的な施策を投入しても戻らず、戻したのは供給を再開して続けたことでした。自サイトがどちらで詰まっているかの見分け方
Search Consoleの「設定 > クロールの統計情報」で、次の3点を見ます。
- 1日あたりのクロールリクエスト数の推移:右肩下がりで、公開を止めた時期と重なっていれば需要側です。
- 平均レスポンス時間:悪化しておらず安定していれば、上限側の問題ではない可能性が高いです。悪化しているならサーバー側を先に直します。
- ホストのステータス:エラーが継続していれば上限側です。問題なしなら需要側を疑います。
あわせて「ページ」レポートで、未登録のページが「検出」と「クロール済み」のどちらに分類されているかを確認します。
「検出」側に偏っているとき、Googleはその通常の理由を、サイトへの過負荷が予想されて取得を後回しにしたこととしています。上の3点で上限側の兆候(応答時間の悪化・ホストのステータスのエラー)が無いことを確かめたうえで需要側を疑い、クロールが来ないときの対処に進みます。「クロール済み」側に偏っていれば取得はできているので、内容と重複の問題として扱います。
需要を増やすには何をすればいいですか?
Googleは、需要がサイトのサイズ・更新の頻度・ページの品質・関連性などで変わると説明しています。サイトの側で動かせるレバーは限られています。
- 公開を止めない。取得が戻ったのは、これを続けたあとでした。頻度の決め方はブログの更新頻度はどれくらいが適切かで扱っています。続けること自体が難しい場合の選択肢はブログが続かない原因と、書かずに続ける仕組みの選び方にまとめています。
- 既存記事の修正だけに偏らせない。修正に集中した期間に新規の取得が止まったのが、すまほたっぷの経過です。
- 似た内容のページを増やさない。Googleは、重複したURLが多いとクロールに費やす時間の多くが無駄になると説明しています。
- サーバーの応答を安定させる。上限側の余裕を確保する意味はありますが、これ単体で取得量は増えません。
逆に、期待しすぎないほうがよいものもあります。サイトマップ再送信・登録リクエスト・IndexNowは、需要が生きているうちなら促進材料になりますが、枯れたあとに投入しても戻す力はありませんでした。
順序としては、供給を戻すのが先で、技術的な通知は補助です。
よくある質問
クロールバジェットとは何ですか?
検索エンジンが一定期間にサイトを取得する量のことです。サーバーに負荷をかけずに取得できる上限と、そのサイトを取得したいという需要の2要素で決まり、実際の取得量は低いほうに合わせられます。Googleのガイドは、主な対象を、重複のないページが100万以上で週1回ほど更新されるサイト、1万以上で毎日更新されるサイト、URLの大部分が「検出 - インデックス未登録」に分類されるサイトとしています。
小規模サイトでもクロールバジェットを気にするべきですか?
Googleのガイドの対象(大規模で更新が頻繁なサイトや、URLの大部分が「検出 - インデックス未登録」のサイト)に当たらなければ、上限としては気にする必要はほとんどありません。運営者のサイトでは、取得が止まった原因は上限の不足ではなく需要の低下でした。サーバー構成も応答速度も変えていない状態で取得量が落ち、公開を再開して継続したあとに戻りました。
クロールバジェットを増やすにはどうすればいいですか?
需要側を動かすことが中心になります。公開を止めない、既存記事の修正だけに偏らせない、似た内容のページを増やさない、という3点です。サーバーの応答を安定させることは上限側の余裕につながりますが、それだけで取得量が増えるわけではありません。
クロールの統計情報はどこで見られますか?
Search Consoleの「設定」から「クロールの統計情報」で確認できます。1日あたりのリクエスト数の推移、平均レスポンス時間、ホストのステータスの3点を見ます。リクエスト数が公開を止めた時期と重なって落ちていれば需要側、応答時間の悪化やエラーの継続があれば上限側の問題です。
ページを削除すればクロールバジェットに余裕ができますか?
運営者のサイトでは、新規記事の取得再開には結びつきませんでした。低品質ページの削除は既存ページのクリック率の改善にはつながりましたが、取得されていなかった新規記事の状態は変わりませんでした。削除は評価の整理として有効でも、需要を戻す手段としては期待しないほうが安全です。
まとめ
クロールバジェットは上限と需要の2要素で決まり、実際の取得量は低いほうに合わせられます。運営者の小規模なサイトで起きたのは需要側の低下で、サーバーやページ数に手を入れても動きませんでした。
Search Consoleのクロールの統計情報と「ページ」レポートの分類で、自サイトがどちら側かをまず確かめてください。運営者のサイトで需要を戻せたのは、公開を止めずに続けることだけでした。
取得の状態を見ながら運用を回したい方へ:本サイトを運営している自動システム〈ヒトリデニ〉は、サイト構築からキーワード設計、記事の執筆・公開、分析、リライトまでをAIが引き受ける仕組みです。あなたは記事を書く必要も、サーバーの保守管理を行う必要もありません。サービスとしての提供は準備中(事前登録受付中)で、開始時期・料金は未定です。詳しくはヒトリデニのトップページをご覧ください。