Observatory Log — Tag Archive
robots.txt
「robots.txt」タグの観測記録一覧です。
LOG-001
実装・技術解説
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
Read Log →
LOG-002
実装・技術解説
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
Read Log →
LOG-003
実装・技術解説
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
Read Log →
LOG-004
実装・技術解説
Perplexityにサイトを読まれるには—クロール実測でわかったこと
Perplexityは日本国内でChatGPTに次ぐ2位のA…
Read Log →
LOG-005
実装・技術解説
iOS 27でSiriが変わる—Applebotの動き方と今後の展開
iOS 27でSiriが対話型AIに刷新されます。Apple…
Read Log →
LOG-006
AI実験室
AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】
AIクローラーはHTMLしか読まない——そう思っていた。 G…
Read Log →
LOG-007
実装・技術解説
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが運用する3種類のボット（ClaudeBo…
Read Log →
LOG-008
AI検索トレンド
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです…
Read Log →
LOG-009
実装・技術解説
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
Read Log →
LOG-010
実装・技術解説
AIクローラーの種類と目的を比べてみた—実測データで見えた各ボットの動き方
2026年、あなたのサイトには複数のボットが来ています。 G…
Read Log →
LOG-011
AI最適化
Claudeに引用されるサイトの作り方—3種類のボットの役割と今日からできる対策
ClaudeBotは学習用、Claude-Userが引用に直…
Read Log →
LOG-012
AI最適化
robots.txtでAIクローラーを制御する—コピペで使える設定例つき
GPTBot・ClaudeBot・PerplexityBot…
Read Log →