GPTBot・OAI-SearchBotの仕組みと許可・拒否設定【robots.txt実例付き】

2026年、あなたのサイトには複数のボットが来ています。

GooglebotだけじゃなくGPTBot・OAI-SearchBot・PerplexityBot——それぞれ目的も挙動もまったく違います。

でも、ほとんどのサイト運営者はその違いを把握していません。

この記事では、主要AIボットのクロールの仕組みを比較表・robots.txt設定例とあわせて保存版としてまとめました。

なぜ今「AI検索のクロール」を知る必要があるのか

2024〜2025年にかけて、検索のあり方が大きく変わりました。

従来の検索は「青いリンクの一覧から選ぶ」スタイルでした。

でも今は違います。

• Google AI Modeが直接答えを生成する
• ChatGPTが最新情報を検索して回答する
• PerplexityがWebを読んで要約してくれる

つまり、「検索 = サイトへの流入」という方程式が崩れ始めているんです。

従来の検索 vs AI検索の流れ

コンテンツは使われているのに、流入が来ない。

こんな新しい課題が生まれています。

Webサイトを運営する立場なら、自分のサイトがどのボットにどう読まれているかを把握することは、もはや必須の知識です。

そもそも「クロール」とは？基礎をおさらい

クロールの仕組み

クロールとは、検索エンジンやAIサービスが運営する「ボット（クローラー）」と呼ばれるプログラムが、インターネット上のWebページを自動的に訪問・収集する行為です。

ボットはリンクを辿るようにページからページへ移動しながら、テキストや構造情報を収集します。

集めたデータは「インデックス」と呼ばれるデータベースに格納され、検索結果やAIの回答生成に使われます。

robots.txt とは

Webサイトのルートに置くテキストファイルで、「どのボットにどのページへのアクセスを許可/拒否するか」を指定できます。

ただし、あくまでボットへの「お願い」であり、法的拘束力はありません。良識的なボットは遵守しますが、悪質なボットは無視することもあります。

📖 詳しい書き方はこちら：AIクローラー時代のrobots.txt完全ガイド

# robots.txt の基本構文
User-agent: GPTBot     ← 対象ボットを指定
Disallow: /            ← サイト全体へのアクセスを拒否

通常検索クロールの流れ（復習）

1. Googlebotがサイトを定期的に巡回
2. ページの内容・リンク構造を解析
3. Googleのインデックスに登録
4. ユーザーが検索 → 検索結果に表示 → クリックで流入

このモデルでは「クロールされる = 流入につながる可能性がある」という関係が成立していました。

AI検索ではこの関係が崩れます。

通常検索 vs AI検索：クロールの何が違うのか

① 目的が違う

通常検索のクロールは「インデックス登録→検索結果表示→流入」が目的です。

一方、AI検索のクロールには主に2つの目的があります。

• モデル学習用データの収集（GPTBot、ClaudeBotなど）
• リアルタイム回答生成のための情報取得（OAI-SearchBot、PerplexityBotなど）

特にリアルタイム取得型は、ユーザーが質問した瞬間にボットが動くケースもあり、クロールの性質が根本的に異なります。

② JavaScript（JS）の扱いが違う

Googlebotは「Web Rendering Service（WRS）」という仕組みでJavaScriptを実行し、動的コンテンツも読み取れます。

一方、GPTBot・OAI-SearchBot・ClaudeBot・PerplexityBotなど主要なAIボットはJavaScriptを実行しません。

ReactやVue.jsなどのSPAサイトや、JS依存のコンテンツはAI検索には「見えていない」可能性があります。

③ クロール頻度と量が違う

Googlebotは継続的・高頻度でクロールしますが、AIボット（特に学習系）は比較的低頻度で訪問し、一度大量取得したら長期間来ないパターンが多いです。

一方「ユーザーアクション型」クロール（ChatGPT-Userなど）は、ユーザーの検索行動に連動して急激に増減します。

比較表：通常検索 vs 主要AI検索ボット

主要AIクローラー全解説

現在Webサイトを巡回している主要なAI関連ボットを一覧で整理します。

Googlebotの「二重利用」問題

Googlebotはもともと、通常の検索インデックスを作るためのボットです。

ところが現在、同じクロールデータがAI Overviewsや Google AI Modeにも流用されています。つまり、Googlebotを許可した時点で、通常検索とAI機能の両方にコンテンツを提供していることになります。

この問題を回避する唯一の手段が、Google-Extendedです。

Google-ExtendedはGeminiなどのAIモデル学習専用のボットで、robots.txtで個別にブロックしても検索順位には影響しません。「検索流入は維持しながら、AIモデルの学習データには提供しない」という制御が、現状これだけで可能です。

User-agent: Google-Extended
Disallow: /

2026年最新データ：クローラーの勢力図

Cloudflareが2025年末〜2026年初頭に発表したレポートをもとに、最新のクロール状況を整理します。

📖 参考（外部リンク）：From Googlebot to GPTBot: who’s crawling your site in 2025（Cloudflare Blog）

① Googlebotが圧倒的首位

• Googlebotは検証済みボットトラフィックの25%以上を占め、ダントツの1位
• GooglebotのHTML取得量は、全AIボット合計（4.2%）を上回る4.5%
• ユニークページのクロール数：Googlebot 11.6%、GPTBot 3.6%、PerplexityBot 0.06%

② AIボットは急拡大中

③「ユーザーアクション型クロール」が15倍以上に急増

ユーザーが実際にAI検索を使ったときに発生する「ユーザーアクション型クロール」は、2025年1年間で15倍以上に膨れ上がりました。

学校・職場でのAI検索利用拡大を反映しており、夏休みや年末には一時的な減少も見られました。

④ サイト運営者はAIボットをブロックしている

Cloudflareの調査では、AIクローラーはrobotsで最も多くブロックされているユーザーエージェントです。

GPTBot・ClaudeBot・CCBotへの完全ブロック指定が特に多く、GooglebotやBingbotは部分的なブロックが中心（ログイン画面など限定）という対照的な状況です。

サイト運営者への影響と具体的な対策

問題① サーバー負荷の増大

AIボットの急増により、特に中〜小規模サイトではサーバーへの負荷が増大しています。

流入にならないクロールがサーバーコストだけ押し上げるという問題も生まれています。WAF（Webアプリケーションファイアウォール）によるボットブロックが有効です。

問題② クロールされても流入がゼロ問題

「Crawl-to-Refer Ratio（クロール対流入比）」という概念が注目されています。

コンテンツを大量に消費しながら、トラフィックをほとんど還元しないのが現状です。

対策：robots.txt 設定の早見表

各ボットへの対応方針を決めたら、robots.txtに反映しましょう。主要なパターンをまとめました。（robots.txtの詳しい書き方・全ボット一覧はこちら）

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Meta-ExternalAgent
Disallow: /

今すぐできるアクションチェックリスト

まとめ

AI検索の普及で、クロールの構造は静かに変わっています。AIボットは増え続けていますが、流入として返ってくるケースはまだ少ないのが現実です。

まず自分のサイトがどのボットにどう読まれているかを把握することが、最初の一歩になります。

参考：Cloudflare Radar Year in Review 2025 / Cloudflare: Google’s AI crawler policy / OpenAI Bots Documentation / Search Engine Land / Search Engine Journal — この記事は2026年2月のデータに基づいています。AIクローラーの動作・仕様は今後変更される可能性があります。