llms.txtは本当に読まれてる？取得ログと書き方・設置手順まで実測

サーバーログに llms.txt という文字列が現れるようになったのは、2024年後半あたりからです。
「AIにサイト構造を伝えるためのファイル」として注目され、設置するサイトも徐々に増えてきました。

一方で、「実際にAIクローラーや検索クローラーが llms.txt を読んでいるのか」を、サーバーログベースで検証した日本語記事はまだ多くありません。

AI観測ラボでは、llms.txt設置後のアクセスログを継続観測しています。
観測期間中、GPTBot・Googlebot・AI-Observatory/1.0 による llms.txt の取得を確認しました。一方で、PerplexityBot や ClaudeBot については、少なくとも今回の観測範囲では取得を確認できませんでした。

この記事では、llms.txtの仕組みからrobots.txtとの違い、実際の取得ログ、そして書き方・設置手順までをまとめて解説します。
「llms.txtとは何か」だけでなく、「自分のサイトではどう設置すればよいのか」まで、1本で確認できる決定版として整理しました。

この記事でわかること｜📖：約12分

• llms.txtがどんなファイルで、robots.txtやllms-full.txtと何が違うのか
• GPTBot・Googlebot・AI-Observatory/1.0による実際の取得ログと、取得を確認できなかったクローラー
• Googleの公式見解と、それでもllms.txtを設置しておく意味
• コピペで使えるllms.txtの書き方テンプレートと、5ステップの設置手順

llms.txtとは何か

llms.txtは、サイトの内容や重要なページをAI（大規模言語モデル・LLM）が参照しやすい形で整理するためのテキストファイルです。サイトのルートディレクトリに配置し、AIが必要な情報へたどり着きやすくする入口として使われます。

2024年9月、AI研究機関「Answer.AI」のJeremy Howard氏によって提唱されました。現時点ではIETFやW3Cのような国際標準機関による正式な規格ではなく、あくまで提案段階の仕様です。

一方で、Anthropic・Cloudflare・Vercel・Stripeなどの技術系企業でも導入例が見られ、AI向けの新しい情報整理手法として徐々に広がり始めています。

ファイルの中身はMarkdown形式のプレーンテキストで構成されます。サイト概要・重要ページへのリンク・各コンテンツの説明などを記述するケースが多く、HTMLよりも構造が単純なため、AIが必要な情報を選びやすい形式とされています。

ちなみにllms.txtは「robots.txtのAI版」と説明されることがありますが、役割は大きく異なります。次のセクションで整理します。

llms.txtとrobots.txtの違い

llms.txtとrobots.txtは、どちらもサイトのルートディレクトリに配置するテキストファイルです。名前が似ているため混同されやすいですが、目的も役割も大きく異なります。

robots.txtは「クローラーの巡回を制御する」ためのファイルです。どのページを巡回してよいか、どのページは巡回しないでほしいかをクローラーに伝えます。サイト側がクロール方針を示すための仕組みであり、1994年から使われている歴史の長い標準的な仕組みです。

一方、llms.txtは「AIにサイトの内容を伝える」ためのファイルです。クローラーを止めたり、特定ページの巡回を許可・拒否したりする機能はありません。「このサイトはこういう内容で、重要なページはここです」とAIに案内する役割を持っています。

	robots.txt	llms.txt
目的	クローラーの巡回を制御する	AIにサイト内容を伝える
役割	クロール方針の提示	サイト構造・内容の案内
形式	専用の記述ルール	Markdown形式
標準化	RFC 9309（国際標準）	提案段階の仕様・業界慣行
効力	主要なクローラーが参照する	読むかどうかはクローラー次第

特に重要なのは「効力」の違いです。robots.txtは、多くの検索エンジンクローラーが参照する前提で使われています。対して、llms.txtには強制力がなく、そもそも取得するかどうか自体がAIクローラー側の判断に委ねられています。

実際にAI観測ラボのサーバーログでも、llms.txtの取得を確認できたクローラーと、少なくとも観測期間中には取得を確認できなかったクローラーが分かれていました。後のセクションで実測ログを整理します。

llms.txtとllms-full.txtの違い

llms.txt周辺の実装では、「llms.txt」と「llms-full.txt」という2種類のファイルが使われることがあります。日本語の記事ではllms.txtだけが取り上げられることが多いですが、用途が異なるため、両方を知っておくと設計の幅が広がります。

	llms.txt	llms-full.txt
役割	サイト全体の目次・概要	サイト内コンテンツをまとめて提供することを想定
サイズ	小さい（数KB程度）	大きい（数百KB〜数MB以上になることもある）
用途	AIに重要ページへの入口を示す	AIにまとまった本文情報を渡す
向いているサイト	ブログ・メディア・企業サイト・ドキュメントサイト全般	技術ドキュメント・APIリファレンス・製品マニュアル

llms.txtは、「このサイトにはどんな情報があり、重要なページはどこなのか」をAIに案内する役割を持っています。AIが必要な情報へたどり着くための目次に近い存在です。

そしてllms-full.txtは、記事本文やドキュメント本文を1つのファイルにまとめて提供することを想定したファイルです。AIに「この範囲の情報をまとめて読ませたい」場面で利用されます。

ブログやメディアサイトの場合、記事数が増えるほどllms-full.txtのファイルサイズも大きくなります。継続更新を行うサイトでは、まずllms.txtでサイト構造と重要ページを伝える設計のほうが現実的です。

逆に、技術ドキュメントサイトやAPIリファレンスのように、「一定範囲の本文をまとめてAIに渡したい」ニーズがあるサイトでは、llms-full.txtとの相性が良いと考えられます。実際に、技術系ドキュメントサイトでは、この考え方に近い構成が徐々に増え始めています。

ただ、llms-full.txtをAIクローラーがどこまで自動取得し、実際の回答生成に利用しているかは、現時点ではまだ観測事例が少ない状況です。llms.txt以上にファイルサイズや更新負荷も大きくなるため、まずはllms.txtを整備し、必要に応じてllms-full.txtを検討する順番でよいでしょう。

AIクローラーは実際にllms.txtを読んでいるのか

「llms.txtを設置すればAIに読まれる」という説明を見かけることがあります。ですが、実際にどのクローラーがllms.txtを取得しているのかを、サーバーログベースで検証した記事はまだ多くありません。

AI観測ラボでは2026年1月にllms.txtを設置し、サーバーログを継続観測しています。設置直後から5月までの期間で、llms.txtファイル本体（/llms.txt）へのアクセスを抽出しました。

設置から約6週間、AIクローラーによる取得は確認できなかった

llms.txt設置直後からしばらくの間、AIクローラーとして識別できる/llms.txtへのアクセスは確認できませんでした。AI実験室#04（2026年3月11日公開）でも、「7日間サーバーログを観測したが、AIクローラーによる取得は確認できなかった」という結果を報告しています。

設置しただけでは即座に読まれるわけではない。これが最初に得られた実測結果です。

3月：AI-Observatory/1.0が最初に取得

3月6日には、User-Agentが特定できないMozilla/5.0によるアクセスが1件確認されました。ただし、このアクセスはAIクローラーかどうかを判別できません。

その後、3月18日〜19日にかけてAI-Observatory/1.0が7件集中して/llms.txtを取得しています。IPアドレスはすべてAWSバージニア北部のEC2でした。

AI-Observatory/1.0は、毎回/llms.txtだけを単体で取得する動きが特徴的でした。サイト内の記事ページにはアクセスせず、llms.txtのみを収集していました。

5月：GPTBotとGooglebotが取得

5月8日午前7時40分、GPTBot/1.3が1件/llms.txtを取得しました。リファラ（参照元）にはhttps://www.blog.ai-kansoku.com/が記録されており、トップページ周辺を起点にllms.txtへアクセスした可能性があります。

同じIPアドレスは、llms.txt取得の前後に/llms-txt-guide/や/ai-lab-04-llms-txt-verification/といった関連記事にもアクセスしていました。llms.txtという概念そのものを収集対象にしていた可能性があります。

5月10日午前8時8分には、Googlebot/2.1が1件/llms.txtを取得しました。Googleがllms.txtを検索やAI機能でどう扱うかは明示されていませんが、少なくともGooglebotによるファイル取得は実測で確認できました。

取得を確認できなかったクローラー

同期間にAI観測ラボを巡回していたPerplexityBot・ClaudeBot・ChatGPT-Userについては、/llms.txtファイル本体の取得を確認できませんでした。

PerplexityBotは/llms-txt-guide/という記事ページ自体にはアクセスしていましたが、llms.txtファイル本体にはアクセスしていません。

少なくとも今回の観測では、llms.txtは「設置すれば即座にAIに読まれるファイル」ではありませんでした。取得までには時間差があり、クローラーごとに対応状況も大きく分かれていました。

なぜ取得しないクローラーが多いのか

実測ログでは、「取得するクローラー」と「取得を確認できなかったクローラー」がはっきり分かれる結果になりました。なぜこうした差が生まれるのか、クローラーの設計と業界の現状から仮説を整理します。

クローラーごとに情報収集の設計が違う

実測ログを整理すると、AIクローラーには大きく3種類の巡回パターンが存在しているように見えます。

1つ目はsitemap起点型です。AI観測ラボの観測範囲では、ClaudeBotはsitemap_index.xmlを起点に巡回する場面が多く見られました。サイトマップから各ページのURLを把握できるため、llms.txtのような案内ファイルを参照する必要性が低い可能性があります。

2つ目は広く浅い均等巡回型です。PerplexityBotは、特定の案内ファイルだけを見るというより、サイト全体を広く浅く巡回する動きが目立ちました。llms.txtで「優先ページはここです」と案内するより、サイト全体を自分で読み取りながら判断する設計に近い動き方だと考えられます。

3つ目はリアルタイム取得型です。ChatGPT-Userは、ユーザーが質問したタイミングで必要なページをその場で取得するタイプのUser-Agentです。事前にサイト全体の構造を把握する必要が薄く、llms.txtのような事前案内ファイルとの相性は高くないと考えられます。

一方で、llms.txtを取得していたGPTBotは、サイトを巡回して情報を収集するタイプのクローラーです。サイト全体の構造や重要ページを把握しながら収集する動き方であれば、llms.txtが情報収集の手がかりになりやすい設計だと推測できます。

llms.txtがまだ業界標準になっていない

もう1つの背景として、llms.txt自体がまだ標準規格ではないという現実があります。robots.txtはRFC 9309として標準化されており、多くのクローラーが参照する仕組みが整っています。

llms.txtは2024年9月に提唱された比較的新しい仕様で、IETFやW3Cによる正式な標準規格ではありません。

クローラー開発側からすると、標準化されていないファイルへの対応を優先する理由がまだ弱いという側面もあります。robots.txtほどの優先度で読みに来るクローラーが少ないのは、こうした業界の現状も影響していると考えられます。

つまりは、今回の結果は「llms.txtは意味がない」という話ではありません。クローラーごとの設計と業界の標準化状況によって、まだ扱いが統一されていない段階にあるというのが、実測ログから見えた現状です。

Googleの公式見解——Google検索では不要と明言

Googleは、生成AI機能向けの最適化ガイドの中で、llms.txtについて明確な立場を示しています。2026年6月15日の更新では、Google検索（生成AI機能を含む）はllms.txtやAI向けのMarkdownファイルを使用しないため、検索で表示されるために新たに作る必要はない、という説明が追加されました。

さらにGoogleは、llms.txtのようなファイルを他のサービスやシステム向けに作成・維持すること自体は問題ないものの、Google検索における可視性やランキングにはプラスにもマイナスにもならないと説明しています。

Google検索関連では、2025年7月にGary Illyes氏が「Googleはllms.txtをサポートしておらず、その予定もない」と述べたことも報じられています。John Mueller氏も、llms.txtを自己申告型で操作されやすい仕組みとして、かつて使われなくなったキーワードメタタグになぞらえて説明しています。

ですが、注意が必要です。Googleのガイドが対象としているのは、あくまでGoogle検索とその生成AI機能です。ChatGPT・Claude・Perplexityなど、Google以外のAIサービスやAIエージェントでllms.txtがどう扱われるかまでは、このガイドの対象外です。

興味深いのは、同じGoogle関連のドキュメントでも、検索向けとエージェント向けで扱いが分かれている点です。2026年5月、Chromeの開発者向けドキュメントでは、Lighthouseの「Agentic Browsing」監査項目として、llms.txtの有無を確認する項目が追加されています。

Lighthouse側では、llms.txtを「LLMやAIエージェント向けに、サイト内容の機械可読な要約を提供する新しい慣行」として説明しています。ただし、ファイルが存在しない場合は監査がN/A扱いになるため、現時点では必須項目ではありません。

なので、Google検索は「不要」と明言している一方で、Lighthouseではエージェント向けの任意チェック項目として扱われています。検索向けとエージェント向けで、想定している用途が異なることがうかがえます。

AI観測ラボの実測でも、GPTBotがllms.txtを取得していることを確認しています。「Google検索には不要。ただし、Google以外のAIクローラーやエージェントに読まれる可能性はある」——これが現時点での正確な整理です。

llms.txtの書き方（コピペOKテンプレ）

ここからは、実際にllms.txtを作る手順を解説します。前半で見たとおり、llms.txtはすべてのクローラーが取得するファイルではありません。とはいえ、設置コストは低く、GPTBotのように取得するクローラーも実在します。まずは形にしておく、という進め方が現実的です。

llms.txtは、Markdown形式で書くシンプルなテキストファイルです。基本的には、次の3点を整理します。

• サイトの概要
• 優先的に読んでほしいページ
• 各ページの説明

以下のテンプレートをコピーして、自分のサイト用に書き換えてください。

# Example Site

> このサイトが何を扱っているのかを1〜2文で説明します。

## Site information

- Site name: Example Site
- Description: サイトの概要を1行で書きます
- Owner: 運営者名

## Priority pages

- [トップページ](https://example.com/): サイト全体の入口です。
- [はじめての方へ](https://example.com/about/): サイトの目的や運営者情報をまとめています。
- [重要記事のタイトル](https://example.com/article1/): このページで扱っている内容を1行で説明します。
- [重要記事のタイトル](https://example.com/article2/): このページで扱っている内容を1行で説明します。

## Optional

- [補足ページのタイトル](https://example.com/optional-page/): 必須ではないが、AIに参考として読んでほしいページです。

AI観測ラボで設置する場合は、たとえば次のような構成になります。

# AI観測ラボ

> AI観測ラボは、AIクローラーやAI検索時代のサイト運営を、サーバーログの実測データをもとに観測・解説するメディアです。

## サイト情報

- サイト名: AI観測ラボ
- 概要: AIクローラー最適化、AI検索、サーバーログ観測に関する専門メディア
- 運営者: AI観測ラボ

## 優先的に読んでほしいコンテンツ

- [AIクローラーとは？種類・見分け方・確認方法](https://www.blog.ai-kansoku.com/ai-crawler/):  AIクローラーの基本とサーバーログでの確認方法を解説してます。
- [robots.txtでAIクローラーを制御する方法](https://www.blog.ai-kansoku.com/robots-txt-ai-crawler-guide/): AIクローラーに対するrobots.txtの書き方を整理しています。
- [構造化データの実装方法](https://www.blog.ai-kansoku.com/structured-data-guide/): AIや検索エンジンにページ内容を伝えるための構造化データを解説しています。
- [llms.txtの実測ログ検証](https://www.blog.ai-kansoku.com/llms-txt/): llms.txtが実際にAIクローラーに取得されているかを観測した記事です。

書くときのポイントは4つです。

• 最初にサイト概要を書く — AIに「このサイトは何のサイトか」を先に伝える
• 重要ページを絞る — 全ページではなく、優先的に読んでほしいページを載せる
• Markdownリンクで書く — ページタイトル・URL・説明をセットにする
• 説明は1行で短く書く — AIがページの役割を判断しやすくする

llms.txtの設置手順（5ステップ）

ステップ1：ファイルを作成する

テキストエディタで新しいファイルを作成し、llms.txt という名前で保存します。ファイル名は小文字にし、文字コードはUTF-8にしておきます。

ステップ2：サイト概要を書く

ファイルの先頭に、サイト名とサイトの概要を書きます。前のセクションのテンプレートをそのまま使えます。「このサイトが何を扱っているか」をAIに最初に伝える部分です。

ステップ3：優先ページをリストアップする

AIに特に読んでほしいページを、優先度順に並べます。掲載するページは10〜20個程度に絞るのがポイントです。多すぎると、どれが重要なのか伝わりにくくなります。

ステップ4：ルートディレクトリにアップロードする

llms.txtは、サイトのルートディレクトリに設置します。一般的には、ドメイン直下の /llms.txt でアクセスできる場所です。サブディレクトリに置くと、AIクローラーが想定する場所と異なるため、参照されにくくなります。

✅ https://example.com/llms.txt
❌ https://example.com/blog/llms.txt
❌ https://example.com/files/llms.txt

ステップ5：設置後にブラウザで確認する

アップロードが終わったら、https://自分のドメイン/llms.txt にブラウザでアクセスします。作成した内容がそのまま表示されれば、設置は完了です。

表示されない場合は、ファイル名、設置場所、サーバーのキャッシュ、リダイレクト設定などを確認してください。

sitemap.xmlとllms.txtの使い分け

llms.txtと似た役割のファイルに、sitemap.xmlがあります。どちらもサイト内のページを伝えるためのファイルですが、目的が異なるため、片方だけでは補いきれません。

ファイル	含めるページ	管理方法
sitemap.xml	検索エンジンに見つけてほしい公開URL	自動生成でよい
llms.txt	AIに優先的に読んでほしい重要ページ	手動で厳選・定期更新

sitemap.xmlは、検索エンジンにサイト内のURLを見つけてもらうためのファイルです。WordPressなどのCMSでは自動生成されることが多く、基本的にはプラグインやCMSの機能に任せて問題ありません。

またllms.txtは、その中からAIに特に読んでほしいページを手動で選び出すファイルです。網羅ではなく厳選が役割のため、sitemap.xmlとは競合せず、併用する形になります。

llms.txtに載せるページ・載せないページ

llms.txtに載せるのは、サイトの主軸となるページや、AIに理解してほしい重要なコンテンツです。目安としては、まず10〜20ページ程度に絞ると管理しやすくなります。

• サイトの主軸となる記事（ピラーコンテンツ）
• 会社概要・サービス紹介・運営者情報
• よくまとまったガイド・用語集・FAQ
• AIに引用・参照してほしい代表的な記事

逆に、次のようなページは基本的に載せる必要がありません。

• 管理画面・ログインページ・エラーページ
• noindexにしているページ
• 内容が古くなった記事
• サイトの主題と関係が薄いページ

プライバシーポリシーや利用規約は、sitemap.xmlには含まれていても問題ありません。ただし、AIにサイト内容を理解してもらう目的では優先度が高くないため、llms.txtでは無理に載せなくてもよいでしょう。

llms.txtのメンテナンス方法

llms.txtは「作って終わり」ではありません。古いURLや重要度の低くなった記事が残ったままだと、AIに対して古い情報を案内してしまう可能性があります。定期的に見直すことで、llms.txtを現在のサイト構成に合わせて保つことができます。

• 月次 — 新しく公開した重要記事を追加する
• 四半期 — 古くなった記事や優先度の下がった記事を入れ替える
• 随時 — URL変更・記事削除・リダイレクト発生時に修正する

更新のたびに、次の4点を確認しておくと安心です。

1. 新しく載せるべき重要記事が出ていないか
2. 古い記事や優先度の下がった記事が残っていないか
3. リンク切れやリダイレクト先の変更が発生していないか
4. サイト情報（運営者・概要・主要テーマ）に変更はないか

特にブログやメディアサイトでは、記事数が増えるほど「何をAIに優先して読ませたいか」が変わります。llms.txtにはすべての記事を詰め込むのではなく、現在のサイトを代表するページだけを残す意識で更新するとよいでしょう。

とはいえllms.txtを設置する意味

ここまで見てきたとおり、llms.txtを取得しないクローラーも多く、Google検索も公式に「不要」と述べています。llms.txtはまだ正式な標準規格でもありません。

それでもllms.txtを設置する意味はあるのでしょうか。AI観測ラボが設置を続けている理由を整理します。

GPTBotへの対応として現時点でも意味がある

実測でllms.txtを取得していたGPTBotは、OpenAIが公開しているクロール系User-Agentの1つです。OpenAIの説明では、GPTBotは生成AIの基盤モデルをより有用で安全にするために使われ、学習に利用される可能性のあるコンテンツをクロールするとされています。

そのため、ChatGPT関連の情報収集に対して、重要ページや優先コンテンツを整理して伝える入口として、llms.txtは現時点でも一定の意味があると考えられます。

AIエージェント・開発ツールへの先行対応

llms.txtが実務で使われ始めている領域の1つが、検索エンジンではなく、開発者向けのAIツールやAIエージェントの周辺です。

たとえば、技術ドキュメントサイトでは、LLM向けに/llms.txtや/llms-full.txtを用意する例が出ています。Chakra UIのドキュメントでは、Cursorの@Docs機能でLLMs.txtファイルを使う方法が案内されています。AnthropicのClaude Platform Docsにも、AI取り込み用リソースとしてllms.txtが用意されています。

また、MCP（Model Context Protocol）の公式ドキュメントでも、/llms.txtがDocumentation Indexとして提供されています。MCP自体はAIアプリケーションが外部システムやツール、データソースにつながるための仕組みですが、そのドキュメントをAIが見つけやすくする入口としてllms.txtが使われている点は注目できます。

Google検索では不要とされる一方で、Chrome LighthouseのAgentic Browsing監査でも、llms.txtの有無を確認する項目が追加されています。Lighthouseではllms.txtを、LLMやAIエージェント向けにサイト内容の機械可読な要約を提供する新しい慣行として説明しています。

つまり、llms.txtは検索順位を上げるためのSEO施策というより、AIエージェントや開発ツールに向けて、サイトやドキュメントの入口を整理するためのファイルとして捉えたほうが自然です。

サイト構造をAIに伝える入口になる

llms.txtは、「このサイトが何を扱っているか」をAIに伝える、最もシンプルな方法の1つです。HTMLのように広告・ナビゲーション・フッターが混ざらず、サイトの主旨と重要ページだけをクリーンな形で整理できます。

特にブログやメディアサイトでは、記事数が増えるほど、AIに読んでほしいページと、単に存在しているページが分かれてきます。llms.txtを用意しておくことで、サイト側から「このページ群を優先して見てほしい」という意図を示しやすくなります。

設置コストが低く、観測しながら備えられる

llms.txtは、Markdownファイルを1枚用意してルートディレクトリに置くだけで導入できます。複雑な実装は不要で、既存サイトにも追加しやすい仕組みです。

「今すぐ劇的な効果がある」とまでは言い切れません。ただ、設置コストが低いため、動向を観測しながら設置しておくという判断は、十分に合理的だと考えられます。

標準化や普及が進んだあとに慌てて対応するより、早い段階から運用し、自分のサイトではどのクローラーが取得するのかを観測しておく。その姿勢こそ、現時点でのllms.txtとの付き合い方として現実的です。

llms.txtのよくある質問

llms.txtとは何ですか？

llms.txtは、サイトの内容や重要ページを、AI（大規模言語モデル）が参照しやすい形で整理するためのMarkdown形式のテキストファイルです。サイトのルートディレクトリに設置し、AIが必要な情報へたどり着きやすくする入口として使われます。

llms.txtはSEOに影響しますか？

Google検索の順位には影響しません。Googleは、AI OverviewsやAI Modeを含むGoogle検索ではllms.txtを使用しないと説明しています。検索順位を上げるためではなく、一部のAIクローラーやAIエージェント、開発ツールに重要ページを伝える補助ファイルとして考えるのが現実的です。

llms.txtはどこに設置しますか？

サイトのルートディレクトリに設置します。https://example.com/llms.txt で直接アクセスできる場所です。サブディレクトリに置くと、AIクローラーが想定する場所と異なるため、参照されにくくなります。

llms.txtはWordPressでも使えますか？

使えます。FTPやサーバーのファイルマネージャーを使って、WordPressサイトのルートディレクトリに llms.txt をアップロードします。専用プラグインは必須ではありません。

llms.txtを設置すれば、すぐにAIに読まれますか？

すぐに読まれるとは限りません。AI観測ラボの実測では、設置からしばらくの間、AIクローラーによる取得を確認できませんでした。その後、AI-Observatory/1.0、GPTBot、Googlebotによる取得を確認しています。取得のタイミングや対応状況はクローラーごとに異なります。

llms.txtとllms-full.txtは何が違いますか？

llms.txtはサイトの目次や重要ページを伝えるためのファイルです。llms-full.txtは、記事本文やドキュメント本文をまとめて提供することを想定したファイルです。ブログやメディアではまずllms.txtを整備し、技術ドキュメントやAPIリファレンスでは必要に応じてllms-full.txtを検討するとよいでしょう。

まとめ

llms.txtは、サイトの内容や重要ページをAIに伝えるためのMarkdown形式のテキストファイルです。クローラーの動きを制御するrobots.txtとは、目的も役割も異なります。

AI観測ラボの実測ログから確認できたことを整理します。

• 設置から約6週間、AIクローラーによる取得は確認できなかった
• 最初に取得したのはAI-Observatory/1.0（3月・7件集中）
• GPTBot/1.3が5月8日にトップページ周辺を起点に取得した
• Googlebot/2.1が5月10日に取得した
• PerplexityBot・ClaudeBot・ChatGPT-Userは期間中、取得を確認できなかった

取得しないクローラーが多い背景には、sitemap起点型・均等巡回型・リアルタイム型といったクローラーごとの設計の違いと、llms.txtがまだ業界標準になっていないという2つの要因があると考えられます。

Google検索は公式にllms.txtを「不要」としています。一方で、Cursorのような開発ツールや、技術ドキュメント、MCP公式ドキュメントの周辺では、llms.txtを情報の入口として用意する動きも見られます。検索対策としてではなく、AIエージェント時代への先行対応として捉えるのが、現時点での現実的な位置づけです。

設置手順そのものはシンプルで、Markdownファイルを1枚用意してルートディレクトリに置くだけです。設置コストが低いため、動向を観測しながら早めに運用しておく判断は、十分に合理的だと考えられます。

llms.txtをめぐる状況は現在も動いています。AI観測ラボでは引き続きサーバーログを観測し、取得クローラーの変化があれば記録していきます。

参考：Googleの公式見解は、Google検索セントラル「生成AI機能向けの最適化ガイド」で確認できます。