AIクローラー図鑑

User-Agent

GPTBot/1.0

robots.txt

◎

ブロック影響

ChatGPT検索への表示には影響しない

OpenAIのモデル学習用クローラー。2023年8月に公式公開され、robots.txt対応が一気に注目されるきっかけになった。ブロックしてもChatGPT検索への表示には影響しない。

User-Agent

OAI-SearchBot

robots.txt

◎

ブロック影響

ChatGPT検索結果に表示されなくなる

ChatGPT検索（SearchGPT）のリアルタイム索引用クローラー。学習目的ではなくユーザーの検索クエリに答えるためにページを取得する。ブロックするとChatGPT検索の検索結果に表示されなくなる。

User-Agent

ChatGPT-User/1.0

robots.txt

◎

ブロック影響

ChatGPTがそのページを読んで回答できなくなる

ユーザーがChatGPTに特定URLを渡したときだけ動くフェッチャー。自律的なクロールは行わない。ブロックするとChatGPTがそのページの内容を読んで回答できなくなる。

User-Agent

ClaudeBot/1.0

robots.txt

◎

ブロック影響

Claude検索への表示には影響しない

AnthropicのClaude学習用クローラー。動作は比較的おとなしく頻度も低めと実測されている。ブロックしてもClaude検索への表示には影響しない。

User-Agent

Claude-SearchBot

robots.txt

◎

ブロック影響

Claude検索結果に表示されなくなる

Claude検索機能のリアルタイム索引用クローラー。ブロックするとClaudeの検索結果にサイトが表示されなくなる。OAI-SearchBotと同じ役割のAnthropic版。

User-Agent

Claude-User/1.0

robots.txt

◎

ブロック影響

ClaudeがそのページをURLから読めなくなる

ユーザーがClaudeに特定URLを貼り付けたときだけ動くフェッチャー。自律クロールは行わない。ブロックするとClaudeがそのページを読んで回答することができなくなる。

User-Agent

PerplexityBot

robots.txt

◎

ブロック影響

Perplexityの検索・回答に引用されなくなる

Perplexity AIの検索インデックス用クローラー。学習・リアルタイム検索の両方に使用される。ブロックするとPerplexityの検索結果や回答での引用対象から外れる。

User-Agent

Perplexity-User

robots.txt

◎

ブロック影響

Perplexityがそのページを参照した回答ができなくなる

ユーザーがPerplexityに特定URLを渡したときに動くフェッチャー。自律クロールは行わない。ブロックするとPerplexityがそのページを参照した回答ができなくなる。

User-Agent

Google-Extended

robots.txt

◎

ブロック影響

通常の検索インデックスには影響しない

Googleの学習用クローラーを個別に制御するための専用トークン。robots.txtに記載するとGeminiやVertex AIの学習データ収集だけを拒否できる。通常の検索インデックス（Googlebot）には影響しない。

User-Agent

Gemini-DeepResearch

robots.txt

◎

ブロック影響

Gemini検索の引用対象から外れる可能性がある

Geminiの深層調査機能が使うリアルタイム検索クローラー。ユーザーが複雑なリサーチを依頼したときに複数ページを連続取得する。ブロックするとGemini検索の引用対象から外れる可能性がある。

User-Agent

Google-NotebookLM

robots.txt

△

ブロック影響

ユーザー起動のため制御が難しい

ユーザーがNotebookLMにURLをソースとして追加したときだけ動くフェッチャー。Googleが公式クローラーリストに追加済み。robots.txtではなくユーザー起動のため制御が難しい。

User-Agent

Google-Agent

robots.txt

△

ブロック影響

robots.txtをバイパスする可能性あり

ユーザーの代わりにWebを自律操作するAIエージェント用クローラー。Project Marinerなどが使用する。robots.txtをバイパスする可能性があり、従来のBot制御が効きにくい。

User-Agent

meta-externalagent

robots.txt

◎

ブロック影響

リンクプレビューには影響しない

MetaのAIモデル学習用クローラー。2024〜2025年にかけてトラフィックシェアが急拡大し、現在は全AIクローラーの約19%を占める。ブロックしてもFacebook・Instagram上のリンクプレビューには影響しない。

User-Agent

meta-externalfetcher

robots.txt

△

ブロック影響

ユーザー起動のためバイパスされるケースあり

ユーザーがMeta AIに特定URLを渡したときだけ動くフェッチャー。ユーザー起動のためrobots.txtをバイパスするケースがある。Meta AIがページ内容を読んで回答する際に使われる。

User-Agent

meta-webindexer

robots.txt

◎

ブロック影響

Meta AI検索・回答の引用対象から外れる

Meta AI検索の品質向上のためWebをインデックスするクローラー。ブロックするとMeta AIの検索結果や回答での引用対象から外れる。頻度が非常に高く1秒に1回以上アクセスするケースも報告されている。

User-Agent

MistralAI-Index/1.0

robots.txt

◎

ブロック影響

Mistral AI検索結果に表示されなくなる

フランス発AIスタートアップMistralの検索インデックス用クローラー。学習目的での使用はなく、検索品質向上が目的。ブロックするとMistral AIの検索結果に表示されなくなる。

User-Agent

MistralAI-User/1.0

robots.txt

◎

ブロック影響

Le Chatがそのページを参照した回答ができなくなる

ユーザーがLe Chat（MistralのAIチャット）で質問した際にリアルタイムでページを取得するフェッチャー。自律クロールは行わない。ブロックするとLe Chatがそのページを参照した回答ができなくなる。

User-Agent

Grok/1.0

robots.txt

△

ブロック影響

Grokの学習データから除外される

イーロン・マスク率いるxAIのGrok学習用クローラー。X（旧Twitter）のデータとWebクロールを組み合わせて学習する。robots.txt遵守状況が不明瞭な部分があり注意が必要。

User-Agent

DeepSeekBot

robots.txt

△

ブロック影響

DeepSeekの学習データから除外される

中国AI企業DeepSeekの学習用クローラー。2025年初頭のDeepSeekショックで世界的に注目を集めた。クロール頻度が高く挙動が不透明なケースも報告されている。

User-Agent

Bytespider

robots.txt

✕

ブロック影響

robots.txtを無視するケースが多く要警戒

TikTokを運営するByteDance（中国）の学習用クローラー。2024年時点で全AIクローラーの40%超を占めていたが2025年に急減。robots.txtを無視するケースが多く報告されており要警戒。

User-Agent

Amazonbot

robots.txt

◎

ブロック影響

Amazon検索結果への影響はほぼない

AmazonのAlexaや各種サービス改善のための学習用クローラー。ECサイトや商品情報ページへのアクセスが多い傾向がある。ブロックしてもAmazon検索結果への影響はほぼない。

User-Agent

Applebot

robots.txt

◎

ブロック影響

SiriやSpotlightの検索精度に影響する可能性

SiriやSpotlightの検索精度向上のためWebをクロールするAppleのBot。Applebot-Extendedが別途存在しApple Intelligenceの学習に使われる。robots.txt遵守率は高く比較的おとなしい挙動。

User-Agent

YandexBot

robots.txt

◎

ブロック影響

Yandex検索結果に表示されなくなる

ロシア最大の検索エンジンYandexのクローラー。東欧・ロシア語圏向けコンテンツを持つサイトには特に影響が大きい。地政学的リスクを考慮してブロックするサイトも増えている。

User-Agent

SBIntuitionsBot

robots.txt

◎

ブロック影響

SB IntuitionsのAI学習データから除外される

ソフトバンクグループ傘下SB Intuitionsが運営する日本製AIクローラー。AI開発および情報解析目的でデータを収集する。24体の中で唯一の国産Botとして希少価値が高い。