robots.txt
「robots.txt」タグの観測記録一覧です。
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが2026年2月に公式に定義した3種類のボ…
ShapBotとは？Gemini EnterpriseのWeb検索にも関係するAIクローラーの正体
ShapBotとは元Twitter CEO創業Paralle…
llms.txtとは？設置から6週間誰も読まなかった実測ログと書き方・設置手順【2026年版】
2026年1月にllms.txtを設置して5ヶ月観測。6週間…
robots.txt完全ガイド【2026年版】156件の実測ログで分かったAIクローラーの正しい制御方法
robots.txtは書けば安心ではありません。156件の実…
NotebookLMはサイトを無断で取得する？Gemini Notebookのクローラーとrobots.txtの実態
NotebookLM（現Gemini Notebook）はサ…
GoogleOtherとは？18日間のサーバーログで見えたGoogle系クローラーの実態
GoogleOtherとは何かを、18日間のサーバーログで実…
Google-Extendedはなぜアクセスログに出ないのか
Google-Extendedを許可したのに、サーバーログに…
Claude-Userとは？サーバーログに残る「誰かがClaudeに聞いた」アクセスの正体
Claude-Userとは、Claude利用中にWebページ…
ClaudeBotのサーバーログ539件を解析—見えてきた4つの行動パターンと3つの対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測…
SiriはWebをどう読んでいるのか？Applebotとの関係と引用される可能性を整理
SiriはWebサイトをどう見ているのか。Apple公式情報…
Baiduspiderって何してるの？—292件のログで見えた通常版とrender版の動き
Baiduspiderの通常版82件とBaiduspider…
DuckAssistBotとは？DuckDuckGoのAI回答クローラーが実際に読んでいたページを調べてみた
DuckAssistBotはDuckDuckGoのAI回答生…
ClaudeはどうやってWebを読んでいるのか？AIが答えを作る裏側を調べてみた
ClaudeはどうやってWebサイトを読んでいるのでしょうか…
Claudeはどんな情報が好き？引用されたい記事と読まれる記事のズレ
ClaudeBotとClaude-Userは役割が違います。…
AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】
AIクローラーはHTMLしか読まない——そう思っていた。 G…
Amazonbotとは—Alexaを支える3種類のクローラーと実測ログで見えた行動
AmazonbotはAlexa向けクローラーというだけではあ…
Bingbotとは？—629件の実測ログで見えた巡回パターンとMicrosoft AI検索の関係
Bingbotとは？AI観測ラボの実測ログ（8日間629件）…
ClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み
Anthropicのクローラーは3種類あり、それぞれ役割が異…
PerplexityはWebをどう読んでいるのか—1,194件のログで見えたAI巡回の仕組み
PerplexityがWebをどう巡回しているのか。3か月・…
Perplexityに引用されるサイトの条件—実測ログから見えた5つの設計
Perplexityに引用されるサイトには共通した設計があり…
YandexBotとは—Yandexのクローラーの役割と大量クロールの実測ログを解説
YandexBotはロシアの検索エンジン Yandex が運…
Googleはなぜ /.well-known/traffic-advice にアクセスするのか｜37件の404ログから見えたこと
traffic-adviceとは何か。サーバーログに記録され…
また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れないUser-Agentが現れました。1…
AIクローラーが一番アクセスするのはどこか—ログで見えた3つの入口と確認方法
複数サイトのサーバーログを集計したところ、AIクローラーのア…
GPTBotはサイトマップばかり読む？サーバーログで見えた記事本文に到達しにくい理由
GPTBotは記事本文よりも、サイトマップ・トップページ・タ…
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。G…
Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き
Applebotとは何かをわかりやすく解説。Siri・Spo…
Web Bot Authとは—AIクローラーの『なりすまし』を暗号で解決する新技術
Web Bot Authは、AIクローラーが暗号署名で本物か…
GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来…
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されな…
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
PerplexityBotとは—PerplexityのAIクローラーの仕組みと役割
PerplexityBotはAI検索サービスPerplexi…
iOS 27でSiriが変わる—Applebotの動き方と今後の展開
iOS 27でSiriが対話型AIに刷新されます。Apple…
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです…
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
ChatGPT検索に出たいなら、止めるBotを間違えない｜GPTBot・OAI-SearchBot・ChatGPT-Userの違い
GPTBot・OAI-SearchBot・ChatGPT-U…
robots.txtでAIクローラーにどう見せるか—コピペで使える設定例つき
robots.txtでGPTBot・ClaudeBot・Pe…