robots.txt完全ガイド｜AIクローラー制御—実測ログで見えた設計の正解
robots.txtに書けば本当に制御できるのか。AI観測ラボの実測ログでは、robots.txtへのアクセスが0件なのに記事ページには21件来たクローラーが確認されました。クローラー別の動きと設計の考え方を解説します。
AI観測ラボ
また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れないUser-Agentが現れました。14日間の観測期間のうち、AI-Observatory/1.0が現れたのは4月21日〜24日の3日間だけ。5IPから30件アクセスしながら、記事本文への訪問はゼロ。robots.txt・sitemap・llms.txtだけを巡回する特異な挙動を実測ログで追いました。
AI Overviewとは—3媒体の実測データで見えた「引用されない構造」
掲載順位12位でもクリック0件。「AI Overviewとは」を3媒体で検証したところ、自サイトへの引用はゼロでした。実測データから、検索順位が機能しない構造と、引用される側に回るための考え方を整理します。
タグをnoindexにしたらGPTBotが止まった｜Yoast SEO設定の落とし穴
「タグはnoindexが正解」—と設定した直後、GPTBotの巡回が止まりました。サーバーログの実測データをもとに、Yoast SEOのカテゴリー・タグ設定がAIクローラーに与える影響を解説します。
AIクローラーが一番アクセスするのはどこか—ログで見えた3つの入口と確認方法
複数サイトのサーバーログを集計したところ、AIクローラーのアクセスの約6割がrobots.txt・sitemap・llms.txtの3ファイルに集中していました。それぞれの役割・基本設定・確認方法をまとめています。
GPTBotはなぜ記事本文を読まないのか—「sitemap巡回型」の正体
GPTBotのアクセスの約8割は記事本文以外——robots.txt・サイトマップ・タグページです。AI観測ラボのログ7日間でGPTBotの行動パターンを追い、記事本文に到達してもらうための対策を実測データでまとめます。
ClaudeBotはどう動いてサイトを読むのか—ログで見えた5つの行動パターンと対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測しました。robots.txtとsitemap_index.xmlを毎日セットで巡回する、sitemap.xmlを9回404に踏み続ける、llms.txtを読んだ直後に記事クロールへ進む—実際のログから見えた5つの行動パターンと具体的な対策をまとめます。
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。2026年の実測ログをもとに、仕組み・robots.txt設定・許可すべきかの判断基準を整理しました。
Clarity AI Bot Activity設定と実測データ—GA4に出ないAIクローラーを可視化する
Microsoft Clarity AI Bot ActivityでAIクローラーを可視化する方法を解説。WordPressプラグインでの設定手順と、AI観測ラボの実測データ（全リクエストの7.09%がAIボット）を公開します。
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。Googlebot・Google-Extended・Google-Agent・GoogleOtherの役割の違いと、AI観測ラボのサーバーログ7日間・156件の実測データをもとにAIクローラーとの比較・robots.txt設定まで解説します。