AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】

AIクローラーは、どのサイトにも同じように来ているわけではありません。

GPTBot・ClaudeBot・OAI-SearchBot・PerplexityBot——同じ「AIクローラー」という呼び名でも、サイトをどう巡回するかは、クローラーごとに大きく異なります。

AI観測ラボのサーバーログ（2026年4月1日〜6日）を分析したところ、4つのクローラーがまったく異なる行動パターンを持っていることが実測データから見えてきました。

robots.txtを47回確認するクローラーがいる一方、ほぼ読まずに記事へ直行するクローラーもいます。画像ファイルまで大量取得するクローラーがいる一方、HTMLしか読まないクローラーもいます。

許可設定しているのにまったく来ないクローラーも、実測で確認できました。

この記事では、サーバーログの生データをもとに4クローラーの行動パターンを比較します。

この記事でわかること｜📖：約7分

• GPTBot・ClaudeBot・OAI-SearchBot・PerplexityBotの行動パターンの違い（実測データつき）
• robots.txtやsitemapへのアクセス回数がクローラーごとに大きく異なる理由
• 画像ファイルまでクロールするクローラーとしないクローラーの違い
• Google-ExtendedをAllowしても来なかった実測結果とその背景

調査概要

今回の分析に使ったデータはAI観測ラボのサーバーログです。対象期間・対象クローラー・分析方法は以下の通りです。

項目	内容
対象期間	2026年4月1日〜4月6日（6日間）
対象サイト	blog.ai-kansoku.com（公開約2.5ヶ月・63記事）
対象クローラー	GPTBot・ClaudeBot・OAI-SearchBot・PerplexityBot
分析方法	サーバーログをUser-Agentで抽出・集計
総アクセス数	559件（4クローラー合計）

User-Agentによる判定を使っています。IPアドレスはクローラーごとに毎回異なるケースが多く、判定精度が低くなります。

User-Agentを使う理由はAIクローラーはIPで判定するな——User-Agentを使うべき理由で詳しく解説しています。

robots.txtとsitemapへのアクセス数

AIクローラーがサイトに来たとき、最初に何を確認するのかをサーバーログで見てみました。

クローラー	robots.txt	sitemap
ClaudeBot	47回	41回
OAI-SearchBot	37回	—
PerplexityBot	13回	—
GPTBot	確認程度	12回・6回（複数確認）

※OAI-SearchBotはChatGPTの検索機能にてリアルタイムで情報を取得する際に使うクローラーです、学習データ収集用のGPTBotとは分けて計測しております。

ClaudeBotはrobots.txtを47回、sitemapを41回確認しています。6日間で47回というのは、アクセスのたびに毎回robots.txtを読み直している計算です。ルールの確認を徹底するクローラーだということがわかります。

OAI-SearchBotも37回とrobots.txtへのアクセスが多めです。一方、GPTBotとPerplexityBotは確認回数が少なく、robots.txtを一度読んだらあとは記事へ直行する傾向が見えます。

robots.txtの設定方法や各クローラーへの許可・拒否の書き方はAIクローラーの許可・拒否設定【robots.txt実例付き】で詳しく解説しています。

4クローラーの行動パターン比較

GPTBot——特定ページを深掘りする集中型

GPTBotは、関連性の高いページを芋づる式に深掘りする行動パターンを持っています。

URL	アクセス数
/gptbot-oai-searchbot-robots-txt-guide/	29回
/noindex-gptbot	16回
/tag-noindex-gptbot-crawl-stopped/	15回
/googlebot-gptbot-oai-searchbot	14回
/gptbot-behavior/	9回

上位5件はすべて「GPTBot」というキーワードに関連するページです。1つのテーマに関連する記事を連鎖的にクロールしていることがわかります。

さらに特徴的なのが画像ファイルのクロールです。同じ記事の画像を複数サイズ分まとめて取得しています。

画像URL	アクセス数
/wp-content/uploads/2026/02/gptbot-oai-searchbot-robots-txt-guide-768×405.webp	11回
/wp-content/uploads/2026/02/gptbot-oai-searchbot-robots-txt-guide-300×158.webp	8回
/wp-content/uploads/2026/02/gptbot-oai-searchbot-robots-txt-guide.webp	5回

同じ画像の768px・300px・オリジナルサイズを個別に取得しています。4クローラーの中で画像を積極的にクロールするのはGPTBotとOAI-SearchBotだけで、PerplexityBotとClaudeBotはほぼ画像を取得しませんでした。

ClaudeBot——インフラ確認を徹底する慎重型

ClaudeBotはrobots.txtとsitemapの確認に全アクセスの半数以上を使っています。記事への直接アクセスは非常に少なく、4クローラーの中で最も慎重な行動パターンです。

URL	アクセス数
/robots.txt	47回
/sitemap_index.xml	41回
/tag/claudebot/	10回
/ai-site-settings-checklist/	2回
/zero-click-search-guide/	2回

もう一つ特徴的なのが、存在しないURLへのアクセスです。以下のようなスラッグへのアクセスがログに残っていました。

アクセスされたURL（404）
/semantic-html-ai-citation
/llms-txt-complete-guide
/ai-citation-checklist
/meta-tag-ai-crawler
/noisy-html-ai-understanding-test

実際には存在しないスラッグですが、公開済み記事のタイトルと内容が近いURLです。外部サイトや別のAIが生成した推測URLを参照してアクセスしている可能性があります。ClaudeBotが404を大量に踏む現象は、サーバーログを持つサイト運営者だけが確認できる実測データです。

OAI-SearchBot——GPTBotと連動する検索特化型

OAI-SearchBotはGPTBotと非常に似た行動パターンを持っています。アクセス先のURLがほぼ重なっており、OpenAI系のクローラーは同じ判断基準でページを選んでいる可能性があります。

URL	アクセス数
/robots.txt	37回
/gptbot-oai-searchbot-robots-txt-guide/	29回
/googlebot-gptbot-oai-searchbot	14回
/gptbot-oai-searchbot-robots-txt-guide	7回

GPTBotと異なる点が一つあります。まだ公開していない記事の画像URLにアクセスしていました。

画像URL（未公開記事）	アクセス数
/wp-content/uploads/2026/04/markdown-ai-serverimg.webp	2回
/wp-content/uploads/2026/04/markdown-ai-server-token.webp	2回
/wp-content/uploads/2026/04/markdown-ai-server-thumb.webp	2回

記事本文はまだ公開していない段階で、WordPressのメディアライブラリにアップロードしただけの画像です。公開前の画像URLがすでにクロールされていることは、サーバーログがなければ気づけない発見です。

PerplexityBot——広く浅く均等にカバーする分散型

PerplexityBotは4クローラーの中で最もアクセス数が多い（194件）にもかかわらず、1つのページへの集中が少なく、多くのページを均等にクロールする行動パターンを持っています。

URL	アクセス数
/tag/perplexitybot/	14回
/robots.txt	13回
/ai-crawler/	5回
/ai-site-settings-checklist/	4回
/ai-crawler-user-agent/	4回

上位以降は3回アクセスのURLが大量に並んでいます。特定ページへの集中ではなく、サイト全体を広くカバーしようとする動きです。

また、自分のタグページ（/tag/perplexitybot/）を最も多く読んでいます。自分自身について書かれたページを優先的に確認する行動は、PerplexityBot特有の傾向です。

PerplexityBotは複数のIPアドレスから同時並列でアクセスしてくる特性があります。詳しくはPerplexityBotの並列クロールの仕組みと対策で解説しています。

Google-ExtendedはAllowしても来なかった

AI観測ラボのrobots.txtにはGoogle-Extendedを明示的に許可する設定を入れています。

User-agent: Google-Extended
Allow: /

にもかかわらず、2026年4月1日〜6日のサーバーログにGoogle-Extendedのアクセスはゼロでした。

GoogleOther（Googleの汎用クローラー）は56回来ています。
Googlebotも24回確認できています。Google-Extendedだけがアクセスしていない状態です。

理由として考えられるのは以下の通りです。

• Google-ExtendedはGeminiの学習用クローラーで、クロール頻度が月単位と低い可能性がある
• 公開から2.5ヶ月・63記事のサイトはまだドメインパワーが低く、クロール優先度が低い
• GoogleOtherとGoogle-Extendedは役割が異なり、学習データの収集タイミングが別になっている

「許可設定＝クロールされる」ではないということが、実測データから確認できました。robots.txtはあくまでクロールの可否を伝えるルールであり、クロールされるかどうかはクローラー側の判断によります。

robots.txtの設定と実際のクロール挙動の関係はAIクローラーを拒否する前に知っておくべきことでも詳しく解説しています。

まとめ

4クローラーの行動パターンをサーバーログで実測した結果を整理します。

クローラー	タイプ	特徴
GPTBot	集中型	関連ページを深掘り・画像も大量取得
ClaudeBot	慎重型	robots.txt・sitemapを徹底確認・404を多く踏む
OAI-SearchBot	検索特化型	GPTBotと連動・未公開画像も取得
PerplexityBot	分散型	広く浅く均等クロール・自己タグページを優先

4クローラーはそれぞれ異なる戦略でサイトを巡回しています。「AIクローラー対策」を一括りに考えるのではなく、クローラーごとの行動パターンを把握した上で対策を考えることが重要です。

サイト運営者にとって実践的な示唆は3つあります。

1つ目は、robots.txtとsitemapを正しく設定することです。ClaudeBotとOAI-SearchBotはrobots.txtを毎回確認しています。設定が不正確だとクロールに影響が出ます。

2つ目は、関連記事を内部リンクでつなぐことです。GPTBotは関連ページを芋づる式に深掘りします。内部リンクが充実しているほど、関連記事がまとめてクロールされやすくなります。

3つ目は、許可設定だけに頼らないことです。Google-ExtendedをAllowしていてもアクセスがゼロという結果が出ました。クロールされるかどうかはクローラー側の判断によります。

自分のサイトがAIクローラーにどう見えているかを確認したい場合は、AI可視性診断ツールをご利用ください。

まとめ

最後に4クローラーの行動パターンをサーバーログで実測した結果を整理していきましょう。

クローラー	タイプ	特徴
GPTBot	集中型	関連ページを深掘り・画像も大量取得
ClaudeBot	慎重型	robots.txt・sitemapを徹底確認・404を多く踏む
OAI-SearchBot	検索特化型	GPTBotと連動・未公開画像も取得
PerplexityBot	分散型	広く浅く均等クロール・自己タグページを優先

4クローラーはそれぞれ異なる戦略でサイトを巡回しています。「AIクローラー対策」を一括りに考えるのではなく、クローラーごとの行動パターンを把握した上で対策を考えることが重要です。

サイト運営者にとって実践的な示唆は3つあります。

1つ目は、robots.txtとsitemapを正しく設定することです。ClaudeBotとOAI-SearchBotはrobots.txtを毎回確認しています。設定が不正確だとクロールに影響が出ます。

2つ目は、関連記事を内部リンクでつなぐことです。GPTBotは関連ページを芋づる式に深掘りします。内部リンクが充実しているほど、関連記事がまとめてクロールされやすくなります。

3つ目は、許可設定だけに頼らないことです。Google-ExtendedをAllowしていてもアクセスがゼロという結果が出ました。クロールされるかどうかはクローラー側の判断によります。

自分のサイトがAIクローラーにどう見えているかを確認したい場合は、AI可視性診断ツールをご利用ください。