AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebotの3社が実際に何階層目まで潜るかをサーバーログで実測しました。8日間・610件のアクセスデータから見えたクローラーごとの個性と、サイト設計への示唆をまとめています。
GPTBot・PerplexityBot・Googlebotの3社が実際に何階層目まで潜るかをサーバーログで実測しました。8日間・610件のアクセスデータから見えたクローラーごとの個性と、サイト設計への示唆をまとめています。
公開から2週間のサイトを4大AIに質問した実測レポート。ChatGPT・Claude・Gemini・Perplexityはサイトを正しく認識できるのか。新しいサイトがAIにどう見えているかをサーバーログと実際の回答で検証しました。
Anthropicが運用する3種類のボット(ClaudeBot・Claude-User・Claude-SearchBot)の役割の違いと、robots.txtで個別に制御する方法を公式ドキュメントをもとに解説します。
MetaのAI学習クローラー「Meta-ExternalAgent」をサーバーログで実測。117件の訪問記録から並列クロールの実態、wp-jsonや画像ファイルまで取得する動きを解説。robots.txtの設定方法も紹介します。
「タグページはnoindexにするのが正解」——そう信じてあるSEOツールの設定を変えた日から、GPTBotがAI観測ラボに来なくなりました。 Googleのための設定が、AIクローラーを遠ざけていたのです。サーバーログ … 続きを読む
「AIに引用されたい」と思ってサイトを整えているつもりでも、たった1行の設定が抜けているだけで、AIがコンテンツを読めない状態になっていることがあります。 AI観測ラボでは、業種の異なる10サイトのソースコードを実際に開 … 続きを読む
AIクローラーの判定にIPアドレスを使うのは構造的に無理があります。ChatGPT-UserはAzureのIPを毎回変えてアクセスし、Sakana ChatはUAすら持たずフェッチしてきました。実測ログをもとに、User-Agentを主軸にした判定設計が正解である理由を解説します。
Instagram・X・TikTok・Facebookのいずれも、AIに引用された件数は0件でした。GeoBuddyによる86,000件以上のAI引用分析から、SNSが引用されない構造的な理由とAI引用を増やすための考え方を解説します。
「毎日Xに投稿しているのに、AIに紹介されたことが一度もない」 上記のように感じたことはないでしょうか。 実は、原因はフォロワー数でも投稿の質でもないかもしれません。AIクローラーは、そもそもXの投稿を「読める状態」にな … 続きを読む
一生懸命書いた記事が、Googleに要約されて終わる。 「ゼロクリック問題」として、この現象はすでに広く知られるようになりました。 検索1位を取っても、AI Overviewsが答えをまとめてしまうため、 ユーザーが外部 … 続きを読む