ヒトリデニ

ブログ/SEO自動化

GPTBotの許可・拒否設定|robots.txtでの制御方法

三橋竜彰・ ・ 更新: 2026-10-26

GPTBotの許可・拒否は、サイトのrobots.txtに数行を書くだけで設定できます。結論から言うと、GPTBotはOpenAIの学習用のクローラーで、ChatGPTの検索に出るかどうかは別のクローラー(OAI-SearchBot)で決まります。学習に使われたくなければGPTBotを拒否し、ChatGPTの検索に出たければOAI-SearchBotを許可する、と分けて設定できます。

GPTBotはOpenAIが生成AIモデルの学習のために使うクローラーです。この記事では、GPTBotをはじめとする主要なAIクローラーをrobots.txtで許可・拒否する具体的な書き方と、LLMO(AI検索での引用対策)の観点からどちらを選ぶべきかの判断基準を解説します。LLMOの全体像はLLMOとは?AI時代の検索最適化 完全ガイドで扱っています。

運営者はSEO検定1級・ウェブマスター検定1級・ウェブ解析士・認定AIOエキスパートとして、AIでサイト設計から記事作成・公開までを自動化する仕組みを自作し、複数の自社サイトで運用しています。その実装のなかで、AIクローラーの許可設定は最初に決める項目のひとつです。

GPTBotとは何ですか?

GPTBotは、OpenAIがWeb上のページを取得するために使うクローラー(自動巡回プログラム)です。OpenAIの説明では、取得した内容は生成AIの基盤モデルの学習に使われることがあります。ChatGPTの検索機能でサイトを表示するのは、別のクローラーのOAI-SearchBotです。

OpenAIは用途ごとに複数のクローラーを分けています。OpenAIの説明では、robots.txtのタグでサイトの扱いを管理できるのは、OAI-SearchBotとGPTBotです。ChatGPT-Userは、ユーザーの操作で動くため、robots.txtのルールが適用されないことがある、とされています。

クローラー名主な用途
GPTBot生成AIモデルの学習に使われうる内容の巡回
OAI-SearchBotChatGPTの検索機能が参照するための取得
ChatGPT-Userユーザーの操作でChatGPTがページを開くときの取得
「AIに学習されたくない」と「ChatGPTの検索に出たい」は両立します。OpenAIは、OAI-SearchBotを許可してGPTBotを拒否すれば、学習には使われずに検索結果には出られると案内しています。

robots.txtでGPTBotを許可・拒否する書き方

robots.txtは、サイトの最上位(https://example.com/robots.txt)に置くテキストファイルです。ユーザーエージェント名と許可・不許可を記述します。

許可する場合(推奨)

明示的に何も書かなければ、標準では許可(クロール可能)です。あえて明示するなら次のように書きます。

User-agent: GPTBot
Allow: /

拒否する場合

サイト全体を拒否するには、Disallow: / を指定します。

User-agent: GPTBot
Disallow: /

特定のディレクトリだけ拒否することもできます。

User-agent: GPTBot
Disallow: /members/
robots.txtはあくまで「取得を控えてほしい」という宣言です。準拠するかはクローラー側の運用に依存し、非公開にしたい情報の保護手段にはなりません。会員限定ページなどはアクセス制御で守ります。

主要なAIクローラーの一覧と記述例

GPTBot以外にも、AI検索・生成AIが使うクローラーは複数あります。robots.txtでまとめて制御できます。

クローラー名運営用途
GPTBot / OAI-SearchBotOpenAIGPTBot=生成AIモデルの学習/OAI-SearchBot=ChatGPTの検索
Google-ExtendedGoogleGemini等の生成AIの学習やグラウンディングでの利用の制御(※AI OverviewsはGoogle検索の一部でGooglebot管轄・本設定の対象外)
PerplexityBotPerplexityPerplexityの検索結果への表示・リンク(学習には使わないと公式が明記)
ClaudeBotAnthropicClaudeの学習
CCBotCommon Crawl公開用のWebクロールデータの収集(研究・分析のために無償で提供)

主要なAIクローラーをまとめて許可する例は次のとおりです(許可が目的なら記述自体を省略しても同じです)。

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

なお Google-Extended は、Gemini などGoogleの生成AIによる学習やグラウンディングでの利用を制御する設定です。Google検索(Googlebot)や、その一部であるAI Overviewsのクロールとは別枠で、Google-Extended を拒否してもGoogle検索・AI Overviewsのクロール自体は止まりません。この用語関係はAIO対策とは?LLMOとの違いと実践方法でも整理しています。

許可と拒否、どちらを選ぶべきですか?

判断の軸は2つあります。「生成AIの学習に使われてよいか」と「AI検索に出たいか」です。OpenAIでは、この2つを別々のクローラーで設定できます。

:::point

多くの情報発信サイトでは、AI検索経由の到達を増やすために、少なくとも検索用のクローラーは許可するのが基本です。実際に引用されるための文章構造や一次情報の作り方はChatGPT・Perplexityに引用される方法で解説しています。クローラーを許可することは、その前提となる第一歩です。

設定が反映されているかの確認方法

robots.txtを設置したら、ブラウザで https://(あなたのドメイン)/robots.txt を開き、記述がそのまま表示されるか確認します。表示されない・古い内容のままの場合は、設置場所(最上位ディレクトリ)とキャッシュを見直します。

記述ミスで意図せず全体を拒否していないか、Disallow: / が想定外のクローラーに掛かっていないかは、公開前に必ず目視で確認します。

よくある質問

GPTBotは許可と拒否のどちらがいいですか?

目的で分けて考えます。GPTBotは生成AIモデルの学習に使われうる内容を集めるクローラーで、ChatGPTの検索に出るかどうかは検索用のOAI-SearchBotで決まります。OpenAIは、OAI-SearchBotを許可してGPTBotを拒否すれば、学習には使われずに検索結果には出られると説明しています。会員制・有料コンテンツなどAIに出したくない領域が明確な場合は、両方を拒否します。

GPTBotを拒否するとどうなりますか?

GPTBotがページを取得しなくなり、生成AIモデルの学習には使われなくなります。ChatGPTの検索に出るかどうかは別のクローラー(OAI-SearchBot)で決まるため、GPTBotの拒否だけでは検索での表示は止まりません。robots.txtでの拒否は「取得を控えてほしい」という宣言で、非公開情報の保護手段ではない点にも注意が必要です。

robots.txtでGPTBotを拒否する書き方は?

サイト最上位のrobots.txtに、User-agent: GPTBot と Disallow: / を記述するとサイト全体を対象に拒否できます。特定のディレクトリだけ拒否したい場合は Disallow: /対象パス/ と書きます。記述後は robots.txt をブラウザで開き、内容が反映されているか確認しましょう。

GPTBot以外にどんなAIクローラーがありますか?

OpenAIのOAI-SearchBotやChatGPT-User、GoogleのGoogle-Extended、PerplexityのPerplexityBot、AnthropicのClaudeBot、Common CrawlのCCBotなどがあります。このうちChatGPT-Userは、ユーザーの操作で動くため、OpenAIはrobots.txtのルールが適用されないことがあると説明しています。ほかは、robots.txtで名前ごとに許可・拒否を指定できます。Google-Extendedは生成AI(Gemini等)の学習やグラウンディングでの利用を制御する設定です。

GPTBotを許可してもGoogle検索には影響しませんか?

影響しません。GPTBotはOpenAI、Google検索のクロールはGooglebotで、別々のクローラーです。GPTBotの許可・拒否は通常のGoogle検索順位とは独立しています。Googleの生成AI向けクロールを制御したい場合は、Googlebotではなく Google-Extended を指定します。

まとめ

GPTBotの許可・拒否は、robots.txtにユーザーエージェント名とAllow/Disallowを書くだけで設定できます。OpenAIでは学習用のGPTBotと検索用のOAI-SearchBotが分かれているので、「学習には使われたくないが、ChatGPTの検索には出たい」ならGPTBotを拒否してOAI-SearchBotを許可できます。AI検索に出たいなら、少なくとも検索用のクローラーは許可しておくのが実務的です。両方の拒否はAIに出したくない領域が明確なときの選択肢で、露出機会とのトレードオフになります。許可を前提に、実際に引用されるための中身づくりはChatGPT・Perplexityに引用される方法へ、全体像はLLMOとはへ進んでください。

AIクローラー対応を含むサイト運用を任せたい方へ:本サイトを運営する自動システム〈ヒトリデニ〉は、サイト設計から記事作成・公開・LLMO対応までをAIで自動化する仕組みです。サービスとしての提供は準備中で、現在は事前登録を受け付けています。詳しくはヒトリデニのトップページをご覧ください。