claude-codeとは?Anthropic 4つ目のボットとrobots.txt設定、Claude-Userとの違い

AnthropicのClaude CodeがWebFetch時に使うボット claude-codeとは?2026年5月に追加された4つ目のクローラーで、ClaudeBot・Claude-User・Claude-SearchBotとの違い、robots.txtでの個別制御、Slack統合やComputer Use対応後の挙動を公式情報と実測で解説します。

Claude-SearchBotとは?ClaudeBot・Claude-Userとの違いとrobots.txt設定

Claude-SearchBotとは何か、ClaudeBot・Claude-Userとの違いを解説する記事のサムネイル

Anthropicが2026年2月に公式に定義した3種類のボット。Claude-SearchBotはClaude検索のインデックス構築用クローラー。ClaudeBot(学習用)・Claude-User(ユーザー質問時の取得)との違い、ブロックした際の検索表示・引用への影響、robots.txtでの個別制御とCrawl-delay、IPブロック非推奨の理由を公式情報と実測ログで解説します。

Studioで作ったサイト、AIに読まれていますか?—ノーコードツール別の確認手順と代替策

Studioで作ったサイト、AIに読まれていますか?_hero

Studio旧基盤(SPA)はAIクローラーに本文ゼロで届きます。JS無効での確認方法、新基盤(MPA)への切替、Aレコード変更、/llmstxt代替策まで実測画像付きで解説。

ShapBotとは?Gemini EnterpriseのWeb検索にも関係するAIクローラーの正体

ShapBot(Parallel Web Systems)とは何かを解説する記事のサムネイル画像

ShapBotとは元Twitter CEO創業Parallelが運営するAIクローラー。2026年6月の観測ログを基に、Gemini Enterpriseのグラウンディングとの関係、Shap-Userとの違い、robots.txtでの許可・拒否判断まで一次情報で解説します。

robots.txt完全ガイド【2026年版】156件の実測ログで分かったAIクローラーの正しい制御方法

robots.txt完全ガイド——AIクローラーをどう制御するか、実測ログで見えた設計の正解

robots.txtは書けば安心ではありません。156件の実測ログでClaudeBot31件、Amazonbot0件と差が判明。GPTBot・ClaudeBot・PerplexityBot別の「読む・従う・来る頻度」から、AI時代のAllow/Disallow設計とコピペ用テンプレートを解説します。

NotebookLMはサイトを無断で取得する?Gemini Notebookのクローラーとrobots.txtの実態

alt="NotebookLMはサイトを無断でスクレイピングする?Gemini Notebookへの改名とクローラーの実態を解説する記事のサムネイル"

NotebookLM(現Gemini Notebook)はサイトを勝手に巡回するのか。robots.txtが効かない理由、Google-NotebookLMの正体、UA変更、7月17日24件・23日8件の実測ログを解説します。

WordPressを放置すると乗っ取られる?「wp2shell」脆弱性を初心者向けに解説

WordPressの脆弱性「wp2shell(CVE-2026-63030)」とアップデートが必要な理由を解説

2026年7月、WordPress本体に重大な脆弱性「wp2shell」が発見されました。プラグインなしでも乗っ取りの危険があり、すでに悪用も確認。お店の裏口にたとえて、なぜアップデートが必要かわかりやすく解説します。

AIが欲しいのは一次情報ではなく「代替できない情報」なのかもしれない

AIが欲しいのは一次情報ではなく「代替できない情報」なのかもしれない記事のサムネ画像

AI検索やGEOについてネットサーフィンしてると、「AIに引用されるには一次情報が重要」という話をよく見かけます。自分で調べたデータを出す。実際に使った感想を書く。アンケートを取る。たしかに、どれも独自性を作る方法です。 … 続きを読む

GoogleのOpen Knowledge Format(OKF)、AIクローラーは読みに来るのか?

GoogleのOpen Knowledge Format(OKF)、AIクローラーは読みに来るのか?

Google CloudのOpen Knowledge Format(OKF)は、AIに知識を渡すための新しい形式です。AIクローラーが本当に読みに来るのか、llms.txtやrobots.txtとの違いをサーバーログ観測の目線で整理します。