claude-codeとは?Anthropic 4つ目のボットとrobots.txt設定、Claude-Userとの違い
AnthropicのClaude CodeがWebFetch時に使うボット claude-codeとは?2026年5月に追加された4つ目のクローラーで、ClaudeBot・Claude-User・Claude-SearchBotとの違い、robots.txtでの個別制御、Slack統合やComputer Use対応後の挙動を公式情報と実測で解説します。
AnthropicのClaude CodeがWebFetch時に使うボット claude-codeとは?2026年5月に追加された4つ目のクローラーで、ClaudeBot・Claude-User・Claude-SearchBotとの違い、robots.txtでの個別制御、Slack統合やComputer Use対応後の挙動を公式情報と実測で解説します。
Anthropicが2026年2月に公式に定義した3種類のボット。Claude-SearchBotはClaude検索のインデックス構築用クローラー。ClaudeBot(学習用)・Claude-User(ユーザー質問時の取得)との違い、ブロックした際の検索表示・引用への影響、robots.txtでの個別制御とCrawl-delay、IPブロック非推奨の理由を公式情報と実測ログで解説します。
Studio旧基盤(SPA)はAIクローラーに本文ゼロで届きます。JS無効での確認方法、新基盤(MPA)への切替、Aレコード変更、/llmstxt代替策まで実測画像付きで解説。
ShapBotとは元Twitter CEO創業Parallelが運営するAIクローラー。2026年6月の観測ログを基に、Gemini Enterpriseのグラウンディングとの関係、Shap-Userとの違い、robots.txtでの許可・拒否判断まで一次情報で解説します。
2026年1月〜5月でAIクローラー156件を観測。GPTBot・ClaudeBot・PerplexityBotなど8大クローラーの役割の違いと、自分のサイトに来ているか確認する3つの方法、robots.txtでの許可設定を実測で解説。
robots.txtは書けば安心ではありません。156件の実測ログでClaudeBot31件、Amazonbot0件と差が判明。GPTBot・ClaudeBot・PerplexityBot別の「読む・従う・来る頻度」から、AI時代のAllow/Disallow設計とコピペ用テンプレートを解説します。
NotebookLM(現Gemini Notebook)はサイトを勝手に巡回するのか。robots.txtが効かない理由、Google-NotebookLMの正体、UA変更、7月17日24件・23日8件の実測ログを解説します。
2026年7月、WordPress本体に重大な脆弱性「wp2shell」が発見されました。プラグインなしでも乗っ取りの危険があり、すでに悪用も確認。お店の裏口にたとえて、なぜアップデートが必要かわかりやすく解説します。
AI検索やGEOについてネットサーフィンしてると、「AIに引用されるには一次情報が重要」という話をよく見かけます。自分で調べたデータを出す。実際に使った感想を書く。アンケートを取る。たしかに、どれも独自性を作る方法です。 … 続きを読む
Google CloudのOpen Knowledge Format(OKF)は、AIに知識を渡すための新しい形式です。AIクローラーが本当に読みに来るのか、llms.txtやrobots.txtとの違いをサーバーログ観測の目線で整理します。