noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する

「SEOのためにタグページをnoindexにした」——noindexの設定が、GPTBotをサイトから遠ざけていました。

AI観測ラボでは2026年3月、サーバーログを分析して実際にこの現象を確認しました。noindexやnofollowはGoogleのための設定です。ところがAIクローラーに対しても、まったく同じように効いてしまうケースがあります。

noindex・nofollow・robots.txtの3つは、何が違うのか。AIクローラーにはどう効くのか。実測データをもとに整理します。

この記事でわかること｜📖：約8分

• noindex・nofollow・robots.txtの3つが、それぞれ何を止めるのかの違い
• AIクローラー（GPTBot・ClaudeBot）がrobots metaタグを読むかどうか
• タグページをnoindexにしたらGPTBotが来なくなった、AI観測ラボの実測データ
• SEOを崩さずにAIクローラーを呼び込むための設定の考え方

noindex・nofollow・robots.txtの3つは何が違うのか

まず基本を整理します。noindex・nofollow・robots.txtは、どれも「クローラーをコントロールする設定」ですが、それぞれ止める対象がまったく異なります。

図書館に例えると、わかりやすくなります。

• robots.txt：図書館の入り口に「この棚には入らないでください」と張り紙をする。クローラーが部屋に入ること自体を止める。
• noindex：部屋には入れるが「この本を目録に載せないでください」と伝える。クローラーは読めるが検索結果には出てこない。
• nofollow：「この本に書いてあるリンク先はたどらないでください」と伝える。リンクを経由した移動を止める。

表にまとめると以下のようになります。

設定	クロールを止める	検索結果から消す	リンク先をたどらせない
robots.txt（disallow）	✅ 止める	❌ 消えない場合がある	❌
noindex	❌ 止めない	✅ 消える	❌
nofollow	❌ 止めない	❌	✅ たどらない

よくある誤解が「robots.txtでブロックすれば検索結果からも消える」というものです。robots.txtはクロールを止めるだけで、他のサイトからリンクされているページは検索結果に残り続ける場合があります。検索結果から確実に消したい場合はnoindexが必要です。

AIクローラーはnoindexを読むのか

「noindexはGoogleのための設定だから、AIクローラーには関係ない」と思っていませんか。実際はそうではありません。

GPTBotやClaudeBotは、ページにアクセスしたときにrobots metaタグを確認します。noindexが設定されていると、ページの内容を学習データやインデックスに使わないよう動作します。つまりGooglebotと同じように、noindexの指示を読んで従うのです。

OpenAIとAnthropicはそれぞれ公式ドキュメントで以下のように明記しています。

AIクローラー	robots metaタグへの対応
GPTBot（OpenAI）	noindexを含むrobots metaタグを尊重すると明記
ClaudeBot（Anthropic）	robots.txtおよびrobots metaタグを尊重すると明記

ただし「尊重する」と「クロールしない」は別の話です。noindexが設定されていてもページにはアクセスしてきます。アクセスしてからタグを読んで、インデックスや学習に使わないと判断する、という順番です。

robots.txtのdisallowとnoindexの大きな違いはここにあります。disallowはページへの入り口を閉じますが、noindexはページに入ってから「使わない」と判断させる設定です。

では実際にnoindexを設定したとき、AIクローラーの動きはどう変わるのか。AI観測ラボのサーバーログで確認した実測データを見ていきます。

タグページをnoindexにしたら、GPTBotが来なくなった

ここからはAI観測ラボのサーバーログで実際に起きたことを紹介します。詳細はAI実験室 #07として別記事にまとめていますが、本記事でも要点を引用します。

→ AI実験室 #07「タグをnoindexにしたら、GPTBotが来なくなった」

2026年3月9日、GPTBotがAI観測ラボに大量アクセスしてきました。タグページを13件、記事ページを4件、立て続けにクロールしていきました。翌々日の3月11日には特定の記事ページに30分おきに4回アクセスし、サイトの内容をじっくり読み込んでいる様子でした。

ところがその後、GPTBotはぴたりと来なくなりました。

サーバーログでタイミングを確認したところ、GPTBotが来なくなった時期とタグページをnoindexに設定した時期が一致していました。

日付	GPTBotの動き	件数
3月9日	タグページ・記事ページをクロール	17件
3月11日	特定記事に30分おきに再訪	4件
3月11日以降	アクセスなし	0件

GPTBotはタグページをサイト構造の「目次」として使っている動きが観測されています。3月9日にタグページ13件をまとめてクロールした2日後、特定記事を深掘りしに来た流れが根拠となります。

タグページをnoindexにすると、GPTBotはサイト全体の構造を把握できなくなり、クロール対象から外れてしまう可能性があります。

noindexはGooglebotだけに効く設定ではありません。AIクローラーも同じようにnoindexを読んで動きを変えます。そしてこれらの設定の影響は、設定したページ単体にとどまらず、サイト全体のクロールに波及する場合があります。

SEOとGEOで同じ設定が真逆の結果を生む理由

なぜ同じnoindexの設定が、GooglebotとGPTBotで正反対の結果を生むのでしょうか。
理由はクローラーがサイトを巡回する仕組みの違いにあります。

Googlebotはサイトマップや被リンクをもとに記事を発見します。タグページやカテゴリページがなくても、サイトマップに記事URLが列挙されていれば、個別記事まで辿り着けます。

タグページはGooglebotにとって「なくても困らない補助的なページ」です。内容が薄く重複しやすいため、noindexにしてサイト全体の評価を守るという判断は、SEOの文脈では合理的です。

一方GPTBotは、タグページや内部リンクをたどりながらサイト構造を把握しようとする動きが観測されています。

サイトマップだけでなく、タグページという「一覧ページ」を手がかりにして、どんな記事がまとまっているかを理解してから個別記事をクロールしていきます。タグページはGPTBotにとって「サイト全体を理解するための地図」です。

同じタグページが、Googlebotには不要なページ、GPTBotには必要な地図として機能しているのです。

	Googlebot	GPTBot
サイト巡回の手がかり	サイトマップ・被リンク	タグページ・内部リンク
タグページの役割	補助的・なくても困らない	サイト構造を把握する地図
noindexの影響	サイト評価を守れる	クロールが止まる可能性がある
推奨設定	noindex	index

SEOの教科書通りに設定したはずが、AIクローラーの観点では逆効果になっていた——これがSEOとGEOの衝突です。どちらか一方だけを最適化すれば、もう一方にしわ寄せがくる構造になっています。

では、両方を成立させるにはどうすればいいのでしょうか。次のセクションでは設定の考え方を整理します。

SEOを崩さずにAIクローラーを呼び込む設定の考え方

「タグをindexに戻せばいいの？」と思った方もいるかもしれません。ただサイトの状況によって最適な対処法は変わります。3つの方法を紹介します。

方法①　タグページをindexに戻す（GPTBot優先）

最もシンプルな方法です。SEOツールのタグ設定を「表示する」に戻します。AI観測ラボでも2026年3月17日にタグをindexに戻し、GPTBotが再び訪問するまでをサーバーログで観測しました。

タグページの記事数がある程度揃っていて、内容に重複が少ない場合に有効です。タグページが薄い状態のままindexに戻すと、Googleからの評価に影響が出る可能性があります。

方法②　カテゴリページだけindexに戻す（折衷案）

タグはnoindexのままにして、カテゴリページだけindexに戻す方法です。カテゴリページはタグページより記事がまとまって構成されていることが多く、SEOへの影響を最小限に抑えながらGPTBotにサイト構造を伝えられる可能性があります。

タグの種類が多くページが乱立している場合は、カテゴリページに絞る方が現実的です。

方法③　llms.txtでサイト構造を直接伝える

タグはnoindexのままにしつつ、llms.txtにサイトの構造や主要な記事のURLを記載して、AIクローラーに直接サイトの地図を渡す方法です。

ただしAI観測ラボの実験では、llms.txtをAIクローラーがほとんど読んでいなかったという結果が出ています。確実な方法とは言えない点に注意が必要です。

→ AI実験室 #04「llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった」

方法	SEOへの影響	GPTBotへの効果	難易度
①タグをindexに戻す	影響あり（記事数次第）	高い	かんたん
②カテゴリのみindexに戻す	影響小	中程度	かんたん
③llms.txtで構造を伝える	影響なし	不明（実験中）	やや難しい

サイトの記事数やタグページの充実度によって、どの方法が合うかは変わります。まずはタグページの現状を確認してから判断するのがよいでしょう。

まとめ

noindex・nofollow・robots.txtは、それぞれ止める対象が異なります。そしてAIクローラーも、Googlebotと同じようにnoindexを読んで動きを変えます。

AI観測ラボのサーバーログでは、タグページをnoindexにした直後にGPTBotのアクセスが完全に止まるという現象を確認しました。SEOのために正しい設定をしたつもりが、AIクローラーの観点では逆効果になっていたのです。

• noindexはAIクローラーにも効く。設定したページをインデックスや学習に使わないよう動作する
• GPTBotはタグページをサイト構造の地図として使っている動きが観測されている
• タグページをnoindexにすると、サイト全体のクロールが止まる可能性がある
• SEOとGEOは同じ設定で真逆の結果を生むことがある
• 対処法は3つあり、タグページの充実度によって選ぶのがよい

「SEOで正しい設定をしているのに、AIに引用されない」と感じているサイトは、タグページやカテゴリページの設定を一度確認してみてください。知らないうちにAIクローラーを遠ざけている可能性があります。

AI観測ラボでは引き続きサーバーログでAIクローラーの動きを実測していきます。新しいデータが取れたら続報としてお伝えします。