ClaudeBotはどう動いてサイトを読むのか—ログで見えた5つの行動パターンと対策

「ClaudeBotがサイトに来ているのはわかった。でも、実際に何をしているのか」——そう思ったサイト運営者は多いはずです。

robots.txtを読む、サイトマップを確認する、記事を取得する。クローラーの基本的な動きはそう説明されます。でも実際のログを追うと、もっと複雑で、もっと興味深い動きが見えてきました。

サイトマップのURLを404に踏み続けながら毎日来る。llms.txtを読んだ直後に記事クロールへ進む。タグページを何度も繰り返し巡回する。AI観測ラボのサーバーログに残ったClaudeBotの足跡を、時系列で丁寧に追いました。

ClaudeBotに読んでもらいたい、引用してもらいたいと考えているサイト運営者に向けて、実測データをもとに5つの行動パターンと具体的な対策（2026.4月時点）の情報をまとめます。

この記事でわかること｜📖：約8分

• ClaudeBotが毎日サイトに来てやっている5つの行動パターン
• sitemap.xmlを404に踏み続けるループ問題の原因と対策
• llms.txtを置くとClaudeBotの行動がどう変わるか
• ClaudeBotに記事を読んでもらうためにサイト運営者がやるべき3つのこと

ClaudeBotとは—AnthropicがClaudeのために動かすクローラー

ClaudeBotは、AI企業Anthropicが運営するウェブクローラーです。AnthropicはClaude（クロード）というAIを開発している会社で、ClaudeBotはClaudeの学習データを集めるためにウェブ上のページを巡回します。

User-Agent（クローラーの名札）は以下の文字列で識別できます。

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

IPアドレスは216.73.216.0/24帯からのアクセスが確認されており、Anthropicが公式に保有するIP範囲です。サーバーログでClaudeBotを見つけたい場合は、このUser-AgentかこのIP帯で絞り込むと確実です。

ClaudeBotとよく似た名前のクローラーとして、Claude-SearchBotとClaude-Userがあります。役割が異なるため、混同しないよう注意が必要です。違いはClaude-SearchBotの解説記事でまとめています。

行動パターン①：robots.txtとsitemap_index.xmlを毎日セットで確認する

ログを見て最初に気づいたのは、ClaudeBotが毎日必ずrobots.txtとsitemap_index.xmlをセットで取得していることです。しかも1日に複数回、同じ動作を繰り返していました。

実際のログはこうなっています。

216.73.216.164 [17/Apr/2026:14:04:08] GET /robots.txt → 200
216.73.216.164 [17/Apr/2026:14:04:08] GET /sitemap_index.xml → 200

216.73.216.164 [17/Apr/2026:18:27:08] GET /robots.txt → 200
216.73.216.164 [17/Apr/2026:18:27:09] GET /sitemap_index.xml → 200

216.73.216.164 [17/Apr/2026:22:08:34] GET /robots.txt → 200
216.73.216.164 [17/Apr/2026:22:08:35] GET /sitemap_index.xml → 200

robots.txtとsitemap_index.xmlへのアクセスは、ほぼ同じ秒に記録されています。ClaudeBotは「まずルールを確認してから地図を見る」という手順を、毎回欠かさず踏んでいます。

サイト運営者にとって重要なのは、ClaudeBotはサイトを継続的に監視しているという点です。1回来て終わりではなく、毎日複数回robots.txtの内容を確認しています。robots.txtでClaudeBotの動きを制御したい場合、設定を変えれば比較的早く反映される可能性があります。

逆に言えば、ClaudeBotに来てほしいサイトはrobots.txtでClaudeBotをブロックしていないか確認しておく必要があります。設定の書き方はrobots.txtでAIクローラーを制御する記事にまとめています。

行動パターン②：存在しないsitemap.xmlを何度も探してループする

7日間のログで最も気になった動きがこれです。ClaudeBotはsitemap_index.xmlを正常に取得しているにもかかわらず、存在しないsitemap.xmlを繰り返し探しに来て、9回連続で404を受け取っていました。

実際のログはこうなっています。

216.73.216.220 [15/Apr/2026:12:35:10] GET /sitemap.xml → 404
216.73.216.220 [15/Apr/2026:12:52:36] GET /sitemap_index.xml → 200
216.73.216.220 [15/Apr/2026:14:44:28] GET /sitemap.xml → 404
216.73.216.220 [15/Apr/2026:18:01:25] GET /sitemap.xml → 404
216.73.216.220 [16/Apr/2026:12:48:31] GET /sitemap.xml → 404
    ・・・（計9回）

パターンは毎回同じです。sitemap_index.xmlを取得して200を受け取る、次にsitemap.xmlを探しに行って404を受け取る、またsitemap_index.xmlに戻る——このループが数日続きました。

なぜこうなるのかというと、WordPressにYoast SEOを入れている場合、サイトマップのURLは/sitemap_index.xmlが正しい形式です。ところがClaudeBotはその中身を読んで、慣例的なURL/sitemap.xmlも存在するはずだと判断して探しに行っている可能性があります。

404を受け取ってもClaudeBotは記事クロールをやめるわけではありません。ログを見ると、404を踏みながらも並行して記事を取得しています。ただ、サイトマップを正しく読めていない状態では、新しい記事を効率よく発見できない可能性があります。

対策：sitemap.xmlへのリダイレクトを設定する

WordPressの場合、/sitemap.xmlへのアクセスを/sitemap_index.xmlに301リダイレクトする設定を.htaccessに追加すると、ClaudeBotが404を踏まなくなります。

RewriteRule ^sitemap\.xml$ /sitemap_index.xml [R=301,L]

設定後はサーバーログで/sitemap.xmlへのアクセスが301になっているか確認してください。

行動パターン③：llms.txtを読んだ直後に記事クロールへ進む

7日間のログの中で、ClaudeBotが記事を連続して取得したのは1回だけでした。そのタイミングを確認すると、直前にllms.txtを取得していたことがわかりました。

実際のログはこうなっています。

216.73.216.164 [17/Apr/2026:18:27:09] GET /sitemap_index.xml → 200
216.73.216.164 [17/Apr/2026:18:33:20] GET /llms.txt → 200
216.73.216.164 [17/Apr/2026:18:33:21] GET /why-competitor-cited-by-ai/ → 200
216.73.216.164 [17/Apr/2026:18:35:47] GET /ai-kansoku-tool/ → 200
216.73.216.164 [17/Apr/2026:18:36:55] GET /index.md → 200
216.73.216.164 [17/Apr/2026:18:38:38] GET /ai-crawler-japan-chatgpt-user/ → 200
216.73.216.164 [17/Apr/2026:18:39:06] GET /ai-citation-boundary/ → 200

llms.txtを取得してから約1分以内に、記事を5本連続で取得しています。それまでsitemap_index.xmlを何度も確認するだけだったClaudeBotが、llms.txtを読んだ瞬間に動き出した形です。

llms.txtはサイトの内容をAIに向けて説明するファイルです。どんな記事があるか、サイトの目的は何かを簡潔にまとめて置いておくことで、ClaudeBotがクロールすべきページを判断しやすくなる可能性があります。

因果関係を断言することはログだけでは難しいですが、llms.txtを読んだ直後に記事クロールが始まったという事実は、サイト運営者として無視できないデータです。llms.txtをまだ設置していないサイトは、設置を検討する価値があります。設置方法はllms.txtの書き方・設置手順の記事でまとめています。

行動パターン④：タグページを何度も繰り返し巡回する

記事クロールと並行して目立ったのが、タグページへの大量アクセスです。しかも同じタグページを1セッション中に複数回訪問するという、他のAIクローラーでは見られない動きをしていました。

実際のログはこうなっています。

216.73.216.164 [17/Apr/2026:19:55:05] GET /tag/国別/ → 200
216.73.216.164 [17/Apr/2026:20:01:41] GET /tag/診断ツール/ → 200
216.73.216.164 [17/Apr/2026:20:01:49] GET /tag/競合サイト/ → 200
216.73.216.164 [17/Apr/2026:21:10:31] GET /tag/国別/ → 200
216.73.216.164 [17/Apr/2026:22:40:08] GET /tag/国別/ → 200
216.73.216.164 [17/Apr/2026:22:42:47] GET /tag/競合サイト/ → 200
216.73.216.164 [17/Apr/2026:22:55:00] GET /tag/AI可視性スコア/ → 200
216.73.216.164 [17/Apr/2026:22:58:07] GET /tag/AI検索トレンド/ → 200

「国別」「競合サイト」「診断ツール」といったタグページに、同じセッション中に3〜4回アクセスしています。タグページには複数の記事がリスト表示されるため、ClaudeBotはタグページを「関連記事をまとめて発見する入口」として使っている可能性があります。

サイト運営者への示唆としては、タグの設計がClaudeBotのクロール範囲に影響するということです。関連性の高い記事を同じタグでまとめておくと、ClaudeBotが芋づる式に関連記事を発見しやすくなります。逆にタグが散漫だと、ClaudeBotが同じタグページを何度も巡回しても新しい記事に到達できない状態になります。

行動パターン⑤：index.mdを取得していた—Markdownファイルも読む

今回のログで最も予想外だったのがこれです。ClaudeBotがllms.txtの直後に/index.mdを取得していました。

216.73.216.164 [17/Apr/2026:18:33:20] GET /llms.txt → 200
216.73.216.164 [17/Apr/2026:18:33:21] GET /why-competitor-cited-by-ai/ → 200
216.73.216.164 [17/Apr/2026:18:35:47] GET /ai-kansoku-tool/ → 200
216.73.216.164 [17/Apr/2026:18:36:55] GET /index.md → 200
216.73.216.164 [17/Apr/2026:18:38:38] GET /ai-crawler-japan-chatgpt-user/ → 200

index.mdはサーバーのルートディレクトリに設置したMarkdownファイルです。設置日は4月5日で、ClaudeBotが取得したのは4月17日——設置から12日後のことでした。

同じ期間にindex.mdを取得したクローラーは3社でした。

日付	クローラー	ステータス
4月14日	Amazonbot	200 ✅
4月16日	meta-externalagent	200 ✅
4月17日	ClaudeBot	200 ✅

GPTBotとPerplexityBotはこの期間中に取得していません。ただしサーバーログの保持期間は7日間のため、それ以前に来ていた可能性は否定できません。引き続き計測を続けます。

ClaudeBotはHTMLだけでなく、Markdownファイルも取得することが今回のログで確認できました。llms.txtの中にindex.mdへの参照が含まれていたため、llms.txtを読んだことがきっかけでindex.mdに到達した可能性が高いです。サーバーへのMarkdownファイルの設置方法はAIはHTMLよりMarkdownを好むの記事でまとめています。

ClaudeBotに読んでもらうためにやるべき3つのこと

7日間のログから見えたClaudeBotの行動パターンをもとに、サイト運営者がすぐに実践できる対策を3つにまとめます。

① robots.txtでClaudeBotをブロックしていないか確認する

ClaudeBotは毎日複数回robots.txtを確認しています。ブロック設定が入っていると、それ以上クロールが進みません。robots.txtに以下の記述がないか確認してください。

# これがあるとClaudeBotをブロックしてしまう
User-agent: ClaudeBot
Disallow: /

ClaudeBotを許可する場合は上記の記述を削除するか、最初から書かないことが対策になります。robots.txtの設定方法はrobots.txtでAIクローラーを制御する記事で詳しくまとめています。

② llms.txtを設置する

今回のログでもっとも明確だったのが、llms.txtを読んだ直後に記事クロールが始まったという事実です。llms.txtはサイトの内容をAIに向けて説明するファイルで、サーバーのルートに置くだけで設置できます。ClaudeBotにどんな記事があるかを伝える道標として機能する可能性があります。設置方法はllms.txtの書き方・設置手順の記事でまとめています。

③ sitemap.xmlへのリダイレクトを設定する

WordPressにYoast SEOを使っている場合、正しいサイトマップURLは/sitemap_index.xmlです。ClaudeBotは慣例的な/sitemap.xmlも探しに来るため、404が続く状態になります。.htaccessに以下を追加すると、ClaudeBotが正しいサイトマップに到達できます。

RewriteRule ^sitemap\.xml$ /sitemap_index.xml [R=301,L]

まとめ

ClaudeBotは毎日サイトに来ています。ただ来ているだけでなく、robots.txtでルールを確認し、サイトマップで記事を探し、llms.txtをきっかけに記事クロールへ進む——という一連の行動パターンがログから見えました。

ClaudeBotに引用してもらうための第一歩は、ClaudeBotがサイトに入りやすい環境を整えることです。robots.txtの確認、llms.txtの設置、sitemap.xmlのリダイレクト設定——この3つをまず試してみてください。

ClaudeBotに引用されるサイトの作り方についてはClaudeに引用されるサイトの作り方の記事もあわせて読んでみてください。