AIクローラー図鑑

User-Agent

GPTBot/1.4

robots.txt

◎

ブロック影響

ChatGPT検索への表示には影響しない

OpenAIのモデル学習用クローラー。2023年8月に公式公開され、robots.txt対応が一気に注目されるきっかけになった。2026年にはバージョン1.4への更新を観測。ブロックしてもChatGPT検索への表示には影響しない。

User-Agent

OAI-SearchBot/1.4

robots.txt

◎

ブロック影響

ChatGPT検索結果に表示されなくなる

ChatGPT検索のリアルタイム索引用クローラー。学習目的ではなくユーザーの検索クエリに答えるためにページを取得する。ブロックするとChatGPT検索の検索結果に表示されなくなる。

User-Agent

ChatGPT-User/1.0

robots.txt

◎

ブロック影響

ChatGPTがそのページを読んで回答できなくなる

ユーザーがChatGPTに特定URLを渡したときや、回答のためにページを読みに行くときに動くフェッチャー。自律的なクロールは行わない。ブロックするとChatGPTがそのページの内容を読んで回答できなくなる。

User-Agent

ClaudeBot/1.0

robots.txt

◎

ブロック影響

Claude検索への表示には影響しない

AnthropicのClaude学習用クローラー。動作は比較的おとなしく頻度も低めと実測されている。ブロックしてもClaude検索への表示には影響しない。

User-Agent

Claude-SearchBot

robots.txt

◎

ブロック影響

Claude検索結果に表示されなくなる

Claude検索機能のリアルタイム索引用クローラー。ブロックするとClaudeの検索結果にサイトが表示されなくなる。OAI-SearchBotと同じ役割のAnthropic版。

User-Agent

Claude-User/1.0

robots.txt

◎

ブロック影響

ClaudeがそのページをURLから読めなくなる

ユーザーがClaudeに特定URLを貼り付けたときだけ動くフェッチャー。自律クロールは行わない。ブロックするとClaudeがそのページを読んで回答することができなくなる。

User-Agent

PerplexityBot/1.0

robots.txt

◎

ブロック影響

Perplexityの検索・回答に引用されなくなる

Perplexity AIの検索インデックス用クローラー。ブロックするとPerplexityの検索結果や回答での引用対象から外れる。

User-Agent

Perplexity-User/1.0

robots.txt

△

ブロック影響

Perplexityがそのページを参照した回答ができなくなる

ユーザーがPerplexityに質問したときに、回答のためにページを取得するフェッチャー。自律クロールは行わない。ユーザー起動のためrobots.txtが適用されない場合がある。

User-Agent

（なし）robots.txt専用の名前

robots.txt

◎

ブロック影響

通常の検索インデックスには影響しない

Googleの学習利用を個別に制御するためのrobots.txt用の名前。記載するとGeminiなどの学習・グラウンディングへの利用だけを拒否できる。独立したUser-Agentは存在しないため、アクセスログには出てこない。

User-Agent

Gemini-Deep-Research（未確認）

robots.txt

△

ブロック影響

公式の制御方法が未公開

Geminiの深層調査機能が複数ページを連続取得するときの名前として知られる。ただし2026年10月時点でGoogleの公式クローラー一覧には記載がなく、AI観測ラボでも実アクセスは未確認。

User-Agent

Google-GeminiNotebook

robots.txt

△

ブロック影響

ユーザー起動のためrobots.txtでは止まらない

ユーザーがGemini Notebook（旧NotebookLM）にURLをソースとして追加したときに動くフェッチャー。2026年7月の改名で旧名「Google-NotebookLM」から切り替わった。止めるにはサーバーやWAFでの制御が必要。

User-Agent

Google-Agent

robots.txt

△

ブロック影響

ユーザー起動のためrobots.txtでは止まらない

Googleのインフラ上で動くAIエージェントが、ユーザーの代わりにページを取得するときのフェッチャー。Googlebotとは別物。ユーザー起動扱いのため、従来のrobots.txtによる制御が効きにくい。

User-Agent

meta-externalagent

robots.txt

◎

ブロック影響

リンクプレビューには影響しない

MetaのAIモデル学習用クローラー。2024年以降に存在感を急拡大した。ブロックしてもFacebook・Instagram上のリンクプレビューには影響しない。

User-Agent

meta-externalfetcher

robots.txt

△

ブロック影響

ユーザー起動のためバイパスされるケースあり

ユーザーがMeta AIに特定URLを渡したときだけ動くフェッチャー。ユーザー起動のためrobots.txtをバイパスするケースがある。Meta AIがページ内容を読んで回答する際に使われる。

User-Agent

meta-webindexer

robots.txt

◎

ブロック影響

Meta AI検索・回答の引用対象から外れる

Meta AI検索の品質向上のためWebをインデックスするクローラー。ブロックするとMeta AIの検索結果や回答での引用対象から外れる。

User-Agent

MistralAI-Index/1.0

robots.txt

◎

ブロック影響

Mistralの検索結果に表示されなくなる

フランス発AI企業Mistralの検索インデックス用クローラー。公式に学習目的での使用はないと説明されている。学習用には別名の「MistralAI-Training」がある。

User-Agent

MistralAI-User/1.0

robots.txt

◎

ブロック影響

MistralのAIがそのページを参照できなくなる

ユーザーがMistralのAIチャットで質問した際にリアルタイムでページを取得するフェッチャー。自律クロールや学習には使われない。ブロックするとそのページを参照した回答ができなくなる。

User-Agent

GrokBot/1.0（本物は未観測）

robots.txt

△

ブロック影響

名乗らずに来るため効果は不明

xAIのGrok関連として知られるクローラー名。ただしAI観測ラボの実験では、Grokのページ取得はブラウザに似たUser-Agentで名乗らずに来ており、GrokBotを名乗る本物のアクセスは確認できていない。

User-Agent

DeepSeekBot/1.0（本物は未観測）

robots.txt

△

ブロック影響

本物かどうかの確認方法が公開されていない

中国AI企業DeepSeekのクローラーとして知られる名前。公式IP範囲などの確認方法が公開されておらず、AI観測ラボでも本物と判断できるアクセスはまだない。

User-Agent

Bytespider

robots.txt

✕

ブロック影響

robots.txtを無視するケースが多く要警戒

TikTokを運営するByteDance（中国）の学習用クローラー。一時期はAIクローラーの中でも最大級のリクエスト数を記録した。robots.txtを無視するケースが多く報告されており要警戒。

User-Agent

Amazonbot/0.1

robots.txt

◎

ブロック影響

Amazon検索結果への影響はほぼない

AmazonのAlexaや各種サービス改善のためのクローラー。AI観測ラボではREST APIまで読みに来る動きを観測した。ブロックしてもAmazon検索結果への影響はほぼない。

User-Agent

Applebot/0.1

robots.txt

◎

ブロック影響

SiriやSpotlightの検索精度に影響する可能性

SiriやSpotlightの検索精度向上のためWebをクロールするAppleのBot。Applebot-Extendedが別途存在しApple Intelligenceの学習利用を制御できる。HTMLだけでなく画面の描画まで行う珍しいクローラー。

User-Agent

YandexBot/3.0

robots.txt

◎

ブロック影響

Yandex検索結果に表示されなくなる

ロシア最大の検索エンジンYandexのクローラー。東欧・ロシア語圏向けコンテンツを持つサイトには特に影響が大きい。地政学的リスクを考慮してブロックするサイトも増えている。

User-Agent

SBIntuitionsBot

robots.txt

◎

ブロック影響

SB IntuitionsのAI学習データから除外される

ソフトバンクグループ傘下SB Intuitionsが運営する日本製AIクローラー。AI開発および情報解析目的でデータを収集する。この図鑑で唯一の国産Botとして希少価値が高い。

User-Agent

claude-code

robots.txt

◎

ブロック影響

Claude Code経由でページを参照されなくなる

開発者がClaude Codeでページを取得するときに使われる名前。2026年5月に追加され、Anthropicのボットは4種類になった。以前はClaude-Userとして記録されていた。ClaudeBotやClaude-SearchBotとは別に制御できる。

User-Agent

OAI-AdsBot/1.0

robots.txt

◎

ブロック影響

広告ランディングページの審査に支障が出る可能性

ChatGPT広告のランディングページを確認するためのクローラー。広告を出していないAI観測ラボでは7日間で0回だった。広告主はブロックしないことが重要。

User-Agent

GoogleOther

robots.txt

◎

ブロック影響

検索順位への直接の影響は基本的にない

Googleの各チームが研究開発や分析のために公開ページを取得するときの汎用クローラー。18日間で164件を記録し、公式記載にないUAの型も含めて4種類を確認した。

User-Agent

ShapBot/0.1.0

robots.txt

◎

ブロック影響

Parallel経由の検索・AIの参照から外れる可能性

元Twitter CEOが創業したParallelの検索インデックス用クローラー。AIエージェント向け検索APIのほか、Gemini EnterpriseのWeb参照にも関係する。ユーザー起動版のShap-Userもある。

User-Agent

ExaSearchBot/1.0

robots.txt

◎

ブロック影響

Exa経由の検索・引用の機会がなくなる

AIエージェント向け検索エンジンExaのクローラー。公式に学習用ではないと説明され、署名（Web Bot Auth）による本物確認にも対応。18日間で159件、うち約4割が最初の2日間に集中した。

User-Agent

YouBot/1.0

robots.txt

△

ブロック影響

You.comの検索・AI回答で引用されにくくなる可能性

AI検索のYou.comのクローラー。アクセスの約半分がrobots.txtの確認で、2日間に全体の約3割が集中するバースト型。robots.txtを守るかどうかはまだ確認できていない。

User-Agent

DuckAssistBot/1.1

robots.txt

◎

ブロック影響

DuckDuckGoのAI回答に使われなくなる

DuckDuckGoのAI回答（DuckAssist）のためにページを取得するクローラー。公式にAI学習には使わないと説明されている。拒否すると72時間以内に止まり、通常の検索順位には影響しないとされる。

User-Agent

KeenableBot/1.0

robots.txt

◎

ブロック影響

Keenableの検索索引から外れる

AIエージェント向け検索エンジンKeenableのクローラー。運営元に問い合わせて正体を確認した。約20日間で305回、29個のIPから来て、1日146回の集中もあった。

User-Agent

Reflectionbot/1.0

robots.txt

◎

ブロック影響

今後の巡回は止まるが取得済みデータは消えない

Reflection AIのモデル学習用クローラー。約12日間で54個のIPから163回来た。本物より3日早く、同じ名前を名乗る偽物がGoogle Cloudから来ていた。

User-Agent

AteveSearchSourceUrlDiscovery/0.1

robots.txt

△

ブロック影響

公式情報が未確認

AIエージェント向け検索APIのAteveに関係するとみられるクローラー。2回の訪問で267件と209件を記録し、llms.txtやindex.mdまで取得した。連絡先がダミーのままで、公式説明はまだない。

User-Agent

Aranet-SearchBot/1.0

robots.txt

△

ブロック影響

robots.txtだけで止まるかは不明

aranet.aiを名乗るが公式情報が見つからないクローラー。約1週間で35件、約17ページを巡回した。目的も運営元もまだ特定できていない。

User-Agent

SofyaBot/1.0

robots.txt

△

ブロック影響

AIエージェントからの参照機会を失う可能性

MCP経由でWebを取得するAIエージェント系のクローラー。2日間で322件、52URLを1つのIPから取得したが、GA4には1件も表示されなかった。

User-Agent

AI-Observatory/1.0

robots.txt

△

ブロック影響

不明

記事を一切読まず、トップ・robots.txt・サイトマップ・llms.txtだけを確認していく謎のボット。5つのIPが同じ順番で、1IPあたり約2秒で巡回を終えていた。

User-Agent

bingbot/2.0

robots.txt

◎

ブロック影響

Bing検索とCopilotでの参照機会に影響する可能性

Bing検索のクローラー。集めたデータはCopilotなどMicrosoftのAI検索にも使われていると考えられている。8日間で629件、1日約80件のペースで来ていた。

User-Agent

Baiduspider/2.0

robots.txt

◎

ブロック影響

Baidu検索に表示されなくなる

中国最大の検索エンジンBaiduのクローラー。通常版がページを取得し、render版が画像やJavaScriptを回収する2段構成。292件のうち約54%が日本時間の夕方から夜に集中していた。