llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
llms.txtを設置して、数週間が経った。
「AIクローラーに読んでほしいページを伝えられる」という触れ込みで、AI観測ラボでもllms.txtの解説記事を公開した。設置方法も書いた。でも、ふと気になった。
本当に読まれているのか？
llms.txtに関する記事や解説は増えている。「設置すべき」という意見も多い。ただ、実際にサーバーログを取って「どのAIクローラーがllms.txtにアクセスしたか」を計測した記事はほとんど見当たらない。
そこで3月1日から7日までの7日間、AI観測ラボのサーバーログを取得して、4大AIクローラーの動きを追った。結果は予想と大きく違った。
実験の設計
今回の計測条件は以下のとおり。
- 計測期間：2026年3月1日〜3月7日（7日間）
- 対象サイト：AI観測ラボ（blog.ai-kansoku.com）
- 計測方法：サーバーアクセスログの解析
- 対象クローラー：PerplexityBot、ClaudeBot、GPTBot、OAI-SearchBot
- 確認項目：/llms.txt へのアクセス有無、記事本文への到達有無、各クローラーの行動パターン
なお、AI観測ラボのllms.txtはサイトルートに設置済みで、robots.txtにも参照を記載している。クローラーが「読もうと思えば読める」状態での計測になっている。
llms.txtの設置方法や書き方についてはllms.txtとは？最新のAI対応サイトマップを解説を参照してほしい。
結果：４大クローラーの行動記録
PerplexityBot：llms.txtは読まないが、記事本文には到達する
7日間でPerplexityBotは合計50回アクセスしてきた。4大クローラーの中で唯一、記事本文まで到達したクローラーだ。
到達した記事は以下のとおり。
- /ai-crawler/（4回訪問）
- /ai-crawler-timing-analysis/
- /ai-crawler-vs-traditional-search/
- /chatgpt-citation-guide/
- /ogp-ai-optimization-guide/
- /core-web-vitals-ai-guide/
行動パターンはシンプルで、robots.txtを確認してから数秒以内に記事本文へ直行する。たとえば3月1日21時17分21秒にrobots.txtにアクセスし、2秒後の21時17分23秒には記事本文（/chatgpt-citation-guide/）に到達している。
注目したいのは、/ai-crawler/ に7日間で4回訪問している点だ。同じ記事を繰り返しクロールする行動は、「重要なページと判断したコンテンツを優先的に再取得する」という仕組みが働いている可能性がある。AIクローラーの仕組みについてはこちらの記事で詳しく解説している。
ただし、/llms.txt 本体へのアクセスはゼロだった。llms.txtを参照せずに記事へ到達しているということは、PerplexityBotはllms.txt以外の手がかりでクロール先を決めていると考えられる。robots.txtやsitemapの情報、あるいは外部リンクから記事を発見している可能性が高い。
→
約2秒
→
記事本文に直行
→
画像も取得
ClaudeBot：3時間おきの定期監視、記事本文には7日間で一度も来なかった
7日間でClaudeBotは合計331回アクセスしてきた。4大クローラーの中で2番目に多いアクセス数だ。
ところが、アクセス先の内訳を見ると驚く。
- robots.txt：77回
- sitemap_index.xml：63回
- sitemap.xml各種：10回
- 画像ファイル：約170回
- 記事本文：0回
331回来て、記事本文には一度も到達していない。ClaudeBotがやっていることは「サイト構造の確認」だけだ。AIクローラーの種類と役割についてはこちらで詳しく解説している。
さらにアクセスの時刻を見ると、興味深いパターンが見えてくる。計測開始から2日目以降、ClaudeBotは00時・03時・06時・09時・12時・15時・18時・21時という3時間おきのリズムでrobots.txt→sitemap_index.xmlを確認しに来る。まるで定期的にサイトの更新を監視しているような動きだ。
1日目は不規則なタイミングでアクセスしていたが、2日目以降にこのリズムが整っている。「一度サイトを認識したあと、定期監視モードに切り替わる」という仕組みが働いている可能性がある。
ClaudeBotも /llms.txt へのアクセスはゼロだった。sitemap経由でサイト構造を把握しようとするClaudeBotにとって、llms.txtは現時点では参照対象に入っていないようだ。
→
03:00
→
06:00
→
09:00
→
12:00
→
15:00
→
18:00
→
21:00
GPTBot：記事本文には来るが、読み方が独特だった
7日間でGPTBotは合計388回アクセスしてきた。4大クローラーの中で最多だ。
ただし、アクセスの中身を見ると他のクローラーとは動きが大きく違う。GPTBotは記事のHTMLページではなく、WordPressのREST API（wp-json）経由で記事データを取得しようとしていた。
実際のアクセスログはこうなっている。
- /wp-json/wp/v2/posts/609
- /wp-json/wp/v2/posts/567
- /wp-json/wp/v2/posts/685
- /wp-json/wp/v2/tags/60〜76
HTMLページではなくJSON形式のデータを直接取りに来ている。通常のクローラーがブラウザと同じようにHTMLを読むのに対して、GPTBotはWordPressのAPI構造を把握したうえで構造化データを取得するという独自の動きをしている。robots.txtでのクローラー制御についてはこちらも参照してほしい。
ただし今回の計測では、wp-json へのアクセスはすべて403（アクセス拒否）が返っていた。セキュリティ設定でREST APIへの外部アクセスを制限していたため、GPTBotは記事データを取得できていない。
GPTBotが /llms.txt にアクセスした回数はゼロだった。wp-jsonという独自ルートでコンテンツを取得しようとするGPTBotにとって、llms.txtは現時点では参照対象に入っていない可能性が高い。
GPTBotのwp-json戦略については、詳細なデータとともに別記事で検証予定だ。
→
wp-json APIを叩く
→
403 アクセス拒否
OAI-SearchBot：7日間、robots.txtだけを43回確認して帰り続けた
OAI-SearchBotはOpenAIのリアルタイム検索機能向けのクローラーだ。ChatGPTで検索機能を使ったときに情報を取得するために動いている。GPTBotとは別のクローラーで、役割が異なる。
7日間のアクセス数は合計43回。そのすべてが /robots.txt へのアクセスだった。
日別に見ると毎日欠かさず来ている。
- 3月1日：7回
- 3月2日：12回
- 3月3日：6回
- 3月4日：5回
- 3月5日：7回
- 3月6日：4回
- 3月7日：1回
7日間毎日robots.txtを確認しに来ているのに、その先のsitemapにも記事にも一切進まない。「入口を確認して帰る」という動作を43回繰り返している。
なぜ進まないのかは現時点では不明だ。robots.txtで何らかの条件を確認して、クロール対象外と判断している可能性がある。あるいはOAI-SearchBot自体のクロール優先度の問題かもしれない。
当然ながら /llms.txt へのアクセスもゼロだった。
→
帰る
→
また来てrobots.txt確認
→
帰る（×43回）
7日間で /llms.txt にアクセスしたAIクローラーは0件だった
4大クローラーの動きを追った結果、衝撃的な事実が浮かび上がった。
7日間で /llms.txt ファイル本体にアクセスしたAIクローラーは、1件もいなかった。
計測期間中に /llms.txt へアクセスがあったのは3月6日の1回のみ。ただしそのアクセスのUser-Agentを確認すると、AIクローラーではなく一般的なブラウザからのアクセスだった。
整理するとこうなる。
| クローラー | 総アクセス数 | /llms.txtへのアクセス | 記事本文への到達 |
|---|---|---|---|
| PerplexityBot | 50回 | 0回 | ✅ 到達 |
| ClaudeBot | 331回 | 0回 | ❌ 未到達 |
| GPTBot | 388回 | 0回 | △ wp-json経由で試みるも403 |
| OAI-SearchBot | 43回 | 0回 | ❌ 未到達 |
llms.txtはサイトルートに設置済みで、robots.txtにも参照を記載していた。「読もうと思えば読める状態」で7日間計測したにもかかわらず、誰も読みに来なかった。
ただし、ここで注意してほしいのは「llms.txtが無意味」という結論にはならないという点だ。次のセクションで考察する。
考察：llms.txtは無意味なのか？
結論から言う。llms.txtが無意味とは言えない。ただし、現時点では「効いているクローラー」と「効いていないクローラー」の差が大きすぎる。
今回の計測で見えてきたのは、AIクローラーがそれぞれ独自のルールでコンテンツを収集しているという事実だ。llms.txtという「共通の案内ファイル」を用意しても、読むかどうかはクローラー次第になっている。
PerplexityBotはなぜllms.txtを読まずに記事に来るのか
PerplexityBotは/llms.txtを読んでいないのに、記事本文には到達している。robots.txtを確認してから2秒で記事に直行するという動きは、llms.txt以外の情報源——おそらくsitemapや外部からのリンク——をもとにクロール先を決めていることを示している。
つまり、PerplexityBotにとってllms.txtは現時点では参照不要なのかもしれない。すでに別のルートでサイトを発見・評価する仕組みが動いている。
ClaudeBotはなぜ331回来て記事本文に到達しないのか
ClaudeBotの動きは「偵察」に近い。robots.txtとsitemapを3時間おきに確認し続けるが、記事本文には進まない。サイトの更新を監視しているとすれば、何らかのタイミングで記事本文へのクロールに切り替わる可能性はある。ただし7日間ではその切り替えは確認できなかった。
llms.txtの規格自体がまだ普及途上
llms.txtは2024年に登場した新しい規格だ。llms.txtの解説記事でも触れているように、対応するかどうかは各AIサービスの判断に委ねられている。現時点では「設置すれば必ず読まれる」という段階にはまだ達していない。
ただし、規格が普及するタイミングで「すでに設置してある」状態にしておくことには意味がある。AIクローラーの引用構造でも解説しているように、引用クラスターが固まる前に参入していることが後から高品質コンテンツを出すより効果的になるケースがある。llms.txtも同じ論理が当てはまる可能性が高い。
実務への示唆：今すぐできる３つの対応
今回の計測結果をもとに、サイト運営者が今すぐ取れる対応をまとめる。
1. llms.txtは設置しておく——ただし過信しない
現時点では4大クローラーのいずれもllms.txtを直接読んでいない。ただし設置コストは低く、将来的に対応クローラーが増えたときに備える意味で設置しておくことをすすめる。設置方法はこちらの記事で解説している。
2. sitemapとrobots.txtを優先的に整備する
今回の計測で全クローラーが共通して確認していたのは、robots.txtとsitemapだった。llms.txtよりもまずこちらの整備が優先度が高い。特にClaudeBotは/sitemap.xmlと/sitemap_index.xmlの両方を叩きに来ている。どちらか片方しか設置していないサイトは、ClaudeBotに404を返し続けている可能性がある。robots.txtの正しい書き方はこちらで確認してほしい。
3. sitemapの古いURLを定期的に掃除する
今回のログでGPTBotが404を返されたURLの中に、削除・移動済みのページが含まれていた。sitemapに古いURLが残っていると、AIクローラーが存在しないページを繰り返し叩き続けることになる。月に一度はsitemapのURL確認を習慣にしてほしい。
番外編：GoogleOtherは静かに、でも着実に記事本文まで来ていた
今回の計測対象は4大AIクローラーに絞っていたが、ログを見ていてひとつ気になるクローラーがあった。GoogleOtherだ。
GoogleOtherはGoogleが運営するクローラーで、通常のGooglebotとは異なりGeminiなどのAIサービス向けのデータ収集に使われていると言われている。正式な用途はGoogleから明示されていないが、AI Overview（旧SGE）やGeminiの回答生成に活用されている可能性がある。
7日間でGoogleOtherは記事本文に30回以上到達していた。しかも /llms-txt-guide/ にも2回アクセスしている。
到達した主な記事はこちら。
- /llms-txt-guide/（2回）
- /chatgpt-citation-guide/
- /dcta-model/（2回）
- /dcta-discover-phase/（2回）
- /ai-citation-compare-phase/（2回）
- /semantic-html-ai-guide/（3回）
- /ai-crawl-timing-research-03/（2回）
- /aio-ai-optimization/（3回）
4大クローラーの中で唯一記事本文に到達していたPerplexityBotの50回に対して、GoogleOtherは単独で30回以上の記事本文到達を記録している。Google系のAIクローラーは、今回の4大クローラーよりも積極的にコンテンツを収集していた可能性がある。
ただしGoogleOtherも /llms.txt 本体へのアクセスはゼロだった。llms.txtは参照せず、独自のルートで記事を発見・収集している。
| クローラー | 記事本文到達 | /llms.txtアクセス |
|---|---|---|
| GoogleOther | ✅ 30回以上 | 0回 |
| PerplexityBot | ✅ 複数記事 | 0回 |
| GPTBot | △ 403で失敗 | 0回 |
| ClaudeBot | ❌ 未到達 | 0回 |
| OAI-SearchBot | ❌ 未到達 | 0回 |
まとめ：llms.txtをめぐる現実と、今やるべきこと
7日間のサーバーログから見えてきたことを整理する。
- llms.txt本体を読んだAIクローラーは7日間でゼロ
- 記事本文に到達したのはPerplexityBotとGoogleOtherのみ
- ClaudeBotは331回来て記事本文には一度も到達しなかった
- GPTBotはHTMLではなくwp-json APIで記事を取ろうとして全件403
- OAI-SearchBotはrobots.txtだけを43回確認して終わった
「llms.txtを設置すればAIに読んでもらえる」という期待は、少なくとも現時点では成立していない。ただし「だから設置しなくていい」という話でもない。
今回わかったのは、AIクローラーがコンテンツにたどり着くルートはllms.txtではなく、robots.txt・sitemap・外部リンクだという事実だ。まずそちらを整備することが、AIに読まれるサイトを作る上での現実的な優先順位になる。
llms.txtは規格として普及途上にある。今は「誰も読んでいないファイル」かもしれないが、対応クローラーが増えたタイミングで「すでに設置してある」状態にしておくことには意味がある。設置コストは低いので、設置方法を確認しておいて損はない。
今回の実験で出てきた「GPTBotのwp-json戦略」については、AI実験室 #05で詳しく検証予定だ。
この実験について
今回の計測はAI観測ラボ（blog.ai-kansoku.com）の実際のサーバーログをもとにしている。サイトの規模・ジャンル・ドメインパワーによって結果は異なる可能性がある。1サイトの観測データとして参考にしてほしい。
サイトのAIクローラー対応状況を確認したい方は、AI観測ラボの診断ツールで30秒無料診断ができる。
関連記事：
あなたのサイトは、
AIに見えていますか？
URLを入力するだけで30秒。8項目を自動診断し、優先度別の改善プランを提示します。完全無料・登録不要。
