Observatory Log — Tag Archive
robots.txt
「robots.txt」タグの観測記録一覧です。
LOG-001
実装・技術解説
robots.txt完全ガイド｜AIクローラー制御—実測ログで見えた設計の正解
robots.txtに書けば本当に制御できるのか。AI観測ラ…
Read Log →
LOG-002
AI実験室
また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れないUser-Agentが現れました。1…
Read Log →
LOG-003
実践ガイド・ツール活用
AIクローラーが一番アクセスするのはどこか—ログで見えた3つの入口と確認方法
複数サイトのサーバーログを集計したところ、AIクローラーのア…
Read Log →
LOG-004
実装・技術解説
GPTBotはなぜ記事本文を読まないのか—「sitemap巡回型」の正体
GPTBotのアクセスの約8割は記事本文以外——robots…
Read Log →
LOG-005
実装・技術解説
ClaudeBotはどう動いてサイトを読むのか—ログで見えた5つの行動パターンと対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測…
Read Log →
LOG-006
実装・技術解説
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Read Log →
LOG-007
AI最適化
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。G…
Read Log →
LOG-008
実装・技術解説
Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き
Applebotとは何かをわかりやすく解説。Siri・Spo…
Read Log →
LOG-009
AI検索トレンド
Web Bot Authとは—AIクローラーの『なりすまし』を暗号で解決する新技術
Web Bot Authは、AIクローラーが暗号署名で本物か…
Read Log →
LOG-010
実装・技術解説
GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来…
Read Log →
LOG-011
実装・技術解説
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されな…
Read Log →
LOG-012
実装・技術解説
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
Read Log →
LOG-013
実装・技術解説
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
Read Log →
LOG-014
実装・技術解説
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
Read Log →
LOG-015
実装・技術解説
PerplexityBotとは—Webサイトを読む仕組みと実測でわかった巡回の特徴
Perplexityは日本国内でChatGPTに次ぐ2位のA…
Read Log →
LOG-016
実装・技術解説
iOS 27でSiriが変わる—Applebotの動き方と今後の展開
iOS 27でSiriが対話型AIに刷新されます。Apple…
Read Log →
LOG-017
AI実験室
AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】
AIクローラーはHTMLしか読まない——そう思っていた。 G…
Read Log →
LOG-018
実装・技術解説
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが運用する3種類のボット（ClaudeBo…
Read Log →
LOG-019
AI検索トレンド
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです…
Read Log →
LOG-020
実装・技術解説
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
Read Log →
LOG-021
実装・技術解説
AIクローラーの違いとは？GPTBot・ClaudeBot・PerplexityBotを実測比較
GPTBot・ClaudeBot・OAI-SearchBot…
Read Log →
LOG-022
AI最適化
Claudeに引用されない理由—3つのボットの違いと今日からできる対策
ClaudeBotは学習用、Claude-Userが引用に直…
Read Log →
LOG-023
AI最適化
robots.txtでAIクローラーにどう見せるか—コピペで使える設定例つき
robots.txtでGPTBot・ClaudeBot・Pe…
Read Log →