Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定

サーバーログに Claude-SearchBot という見慣れない文字列が残っていた——そんな経験をしたサイト運営者が増えています。

Anthropicは2026年2月に公式ドキュメントを更新し、自社が運用するボットの役割を明文化。ClaudeBot（学習データ収集）、Claude-User（ユーザー指示による取得）、Claude-SearchBot（検索インデックス構築）の3種類に分け、それぞれでブロックした際の影響まで定義しました。2026年5月時点の公式ヘルプではClaude Code用の claude-code を含め4種類が記載されています。

AI観測ラボでもClaudeBotの実測539件のログ解析で、ClaudeBotは定期巡回、Claude-Userは人間のような不規則なタイミングで現れる傾向を確認しています。本記事では公式情報と実測ログをもとに、3ボットの違いとrobots.txtでの個別制御、ブロック前に考えるべきことを整理します。

この記事でわかること｜📖：約7分

• Claude-SearchBotが何をするボットなのか
• ClaudeBot・Claude-Userとの役割の違いと4つ目の claude-code
• robots.txtで各ボットを個別に制御する方法とCrawl-delay
• ブロックしたときに起きること – 検索表示・引用・学習への影響
• IPブロックが非推奨の理由と旧トークン anthropic-ai / claude-web の扱い

そもそもAnthropicのボットは4種類ある

Anthropicが運用するボットは1種類ではありません。2026年2月に更新された公式ドキュメントで3種類が明記され、2026年5月時点でClaude Code用が追加され現在は4種類です。

• ClaudeBot：AIモデルの学習データを集めるボット
• Claude-User：ユーザーの質問に答えるためにページを取得するボット
• Claude-SearchBot：Claude の検索機能のためにインデックスを作るボット
• claude-code：Claude Code（CLI）用の取得ボット ※2026年5月追加

3つは名前が似ていますが、動く目的がまったく異なります。1つをブロックしても、残りは引き続きアクセスします。「ClaudeBot をブロックしたから大丈夫」と思っていても、Claude-SearchBotは別のボットとして動き続けます。

ClaudeBot：AIモデルの学習データを集めるボット

ClaudeBot は、Anthropic の AI モデルの精度向上や安全性改善のために、公開されているウェブページを収集するボットです。

ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.

Anthropic公式ヘルプセンター（2026年2月更新）

ブロックした場合、そのサイトの今後のコンテンツは学習データから除外されます。すでに収集済みのデータには影響しません。

user-agent文字列

ClaudeBot

robots.txtでブロックする場合

User-agent: ClaudeBot
Disallow: /

Claude-User：ユーザーの質問に答えるためにページを取得するボット

Claude-User は、Claude を使っているユーザーが質問したタイミングで動くボットです。常時クロールではなく、ユーザーの操作をきっかけにして特定のページを取得します。

たとえば「このURLの内容を要約して」とユーザーがClaudeに指示した場合、Claude-Userが指定したページにアクセスして内容を取得します。AI観測ラボの実測でも、不規則なタイミング（人間みたい）で現れる傾向が見えています。

ブロックした場合、Claudeの回答にサイトの情報が反映されにくくなり、AI経由の流入や引用機会が減る可能性があります。

user-agent文字列

Claude-User

robots.txtでブロックする場合

User-agent: Claude-User
Disallow: /

Claude-SearchBot：Claude の検索機能のためにインデックスを作るボット

Claude-SearchBot は、ClaudeのWeb検索機能を支えるためにインデックスを構築するボットです。Anthropicは2025年4月にClaudeへWeb検索機能を追加し、その精度を高めるために事前にウェブ上のページを収集・分析しています。

GoogleのGooglebotに近い役割と考えるとイメージしやすいです。

Claude-SearchBot navigates the web to improve search result quality for users. It analyzes online content specifically to enhance the relevance and accuracy of search responses.

Anthropic公式ヘルプセンター

ブロックした場合、サイトのコンテンツがClaudeの検索結果に表示されにくくなります。

user-agent文字列

Claude-SearchBot

robots.txtでブロックする場合

User-agent: Claude-SearchBot
Disallow: /

補足：4つ目の claude-code と旧トークン

2026年5月以降、公式で claude-code が追加されています。Claude Code（CLIツール）がユーザーの指示でドキュメントを取得する際に使われます。基本的にClaude-Userと同様にユーザー起点の取得です。

また、過去に使われていた anthropic-ai と claude-web は現在は非推奨（deprecated）です。ログに残っていても、新しい4つで制御すれば問題ありません。

4つのボットを比較表でまとめる

「学習には使われたくないが、検索結果には表示されたい」場合はClaudeBotだけをブロックする、という使い分けが可能です。

robots.txtで各ボットを個別に制御する方法

パターン1：すべて許可する（何も書かない）

robots.txt に何も記述しなければ、すべてのボットがアクセスできます。

パターン2：すべてブロックする

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: claude-code
Disallow: /

パターン3：一部だけブロックする（推奨）

学習利用は断りたいが、検索表示は維持したい場合は ClaudeBot だけをブロックします。

User-agent: ClaudeBot
Disallow: /

クロール頻度を下げたい場合

完全にブロックするほどではないが、負荷を抑えたい場合は Crawl-delay が使えます。公式が尊重することを明記しています。

User-agent: ClaudeBot
Crawl-delay: 1

数値の単位は秒です。IPブロックをすると robots.txt 自体が読み込めなくなるため、AnthropicはIPによるブロックを推奨していません。

他のAIクローラーの設定は AIクローラーの許可・拒否設定で詳しく解説しています。

ブロックする前に考えること

Claude 経由の流入を捨てることになる

Claude-SearchBotをブロックすると、Claudeの検索結果に表示されにくくなります。ChatGPTには出るのにClaudeに出てこないケースは ChatGPTには出るのに、Claudeに出てこない理由で解説しています。

学習利用と検索利用は別で判断できる

「学習に使われたくない」ならブロックすべきは ClaudeBotであり、Claude-SearchBotではありません。一括でブロックする前に「何が嫌なのか」を整理することが大切です。

サーバー負荷が問題ならCrawl-delayで対応できる

完全ブロックではなくCrawl-delayでの対応が現実的です。

IPブロックは機能しない

AnthropicはIPアドレスによるブロックを推奨していません。必ずrobots.txtで制御します。

まとめ

• 4つのボットは個別にブロックできる
• 学習に使われたくない場合は ClaudeBot だけをブロック
• 検索表示を維持したい場合は Claude-SearchBot を許可
• 負荷が気になる場合は Crawl-delay で対応
• IPブロックは非推奨、旧トークンは anthropic-ai / claude-web はdeprecated

出典・公式ドキュメント

• Does Anthropic crawl data from the web, and how can site owners block the crawler? | Claude Help Center

Anthropicのボット設定と合わせて AIに引用されるサイト、基本設定8項目チェックリストもあわせて読んでみてください。