robots.txtの正しい書き方【AI時代版】
AIクローラーごとの設定方法と、よくある間違いを解説
Start Guide — Roadmap
AI対策、
どこから始める？
「SEOはやってきた。でもAI対策って何をすればいいの？」
そんな方のために、5つのステップで整理しました。
Before You Start
始める前に
PREMISE / 2 POINTS
AI対策はSEOと似ていますが、目的が少し違います。
まずこの2点を押さえておくと、ロードマップが頭に入りやすくなります。
SEOとの違い
Google SEOは「検索結果ページでクリックしてもらうこと」が目標です。一方AI対策は、ChatGPTやClaudeが質問に答えるときにあなたのサイトを引用してもらうことが目標。流入経路が根本的に異なります。
AIクローラーとは
ChatGPT・Claude・PerplexityなどのAIは、専用のクローラー（巡回プログラム）でWebを巡回してコンテンツを収集しています。このクローラーに正しく読んでもらえるかが、AI対策の核心です。
Roadmap
AI対策ロードマップ
ROUTE-MAP / 5 STEPS
難易度の低い順に並べました。STEP 01から順番に進めると、効率よくスコアを上げられます。
STEP
01
01
robots.txtでAIクローラーを「歓迎」する
AIクローラーへの許可設定が最初の一手です。robots.txtに数行追加するだけで、ChatGPT・Claude・PerplexityなどのAIがあなたのサイトを収集できるようになります。設定がないと「拒否」と判断されることがあるため、まずここから。
✓ GPTBot・ClaudeBot・PerplexityBotへのAllow設定
✓ Disallowが過剰になっていないか確認
STEP
02
02
メタタグを整えてAIに「このページの概要」を伝える
title・description・OGPタグは、AIがページの内容を把握するための基本情報です。SEOでも重要な要素なので既に設定している方も多いはずですが、AI時代に合わせた書き方の見直しが効果的です。WordPressならYoast SEOやRank Mathで管理できます。
✓ 各ページにユニークなtitle・descriptionを設定
✓ OGP（og:title / og:description / og:image）の設定
✓ titleは記事の内容を正確に表現しているか
STEP
03
03
構造化データ（JSON-LD）でAIの理解を助ける
構造化データとは「このページは記事」「著者は〇〇」「公開日は〇〇」をHTMLに機械語で埋め込む仕組みです。AIはHTMLの見た目ではなく、この構造化データを優先的に読みます。WordPressのSEOプラグインで自動設定できるものも多く、思ったより導入ハードルは低いです。
✓ Article / BlogPosting スキーマが設定されているか
✓ 著者（author）・公開日（datePublished）が含まれているか
✓ Googleのリッチリザルトテストでエラーが出ていないか
STEP
04
04
llms.txtを作ってAI専用サイトマップを置く
llms.txtはAI専用のサイトマップです。「このサイトは何を扱っているか」「どの記事が重要か」をシンプルなテキストで伝えます。まだ対応しているサイトは少なく、先行して設置するだけで差別化になります。テキストファイルをサーバーに置くだけなのでコーディング不要です。
✓ /llms.txt にアクセスできるか確認
✓ サイトの概要と主要ページのURLを記載
✓ robots.txtにllms.txtへの言及を追加
STEP
05
05
AIに引用されるコンテンツを作り続ける
技術設定が整ったら、最後はコンテンツの質です。AIは「正確で、構造が明確で、専門性が高い」記事を優先的に引用します。SEOと異なりキーワード密度より「信頼できる情報源かどうか」が重視されるため、深く掘り下げた記事が武器になります。
✓ 見出し（h2/h3）で内容を明確に区切っているか
✓ 結論・根拠・具体例の順で書かれているか
✓ 定期的にコンテンツを更新・追記しているか
Level Check
今の自分のレベルを確認する
SELF-CHECK / 5 ITEMS
チェックが入らない項目が、あなたの次のアクションです。
0 / 5
チェックリストで現在地を確認しましょう
Read Next
ステップ別 関連記事
LOG-INDEX / 5 ARTICLES
Free Diagnostic Tool
まず現状を
スコアで把握しよう。
URLを入力するだけで30秒。robots.txt・メタタグ・構造化データなど
8項目を自動診断して、どのSTEPから始めるべきかがわかります。