3月 2026 - AI観測ラボ

AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較

2026年3月31日 by AI観測ラボ

GPTBot・PerplexityBot・Googlebotの3社が実際に何階層目まで潜るかをサーバーログで実測しました。8日間・610件のアクセスデータから見えたクローラーごとの個性と、サイト設計への示唆をまとめています。

2026年4月24日2026年3月31日 by AI観測ラボ

公開から2週間のサイトを4大AIに質問した実測レポート。ChatGPT・Claude・Gemini・Perplexityはサイトを正しく認識できるのか。新しいサイトがAIにどう見えているかをサーバーログと実際の回答で検証しました。

2026年3月30日 by AI観測ラボ

Anthropicが運用する3種類のボット（ClaudeBot・Claude-User・Claude-SearchBot）の役割の違いと、robots.txtで個別に制御する方法を公式ドキュメントをもとに解説します。

2026年3月29日 by AI観測ラボ

MetaのAI学習クローラー「Meta-ExternalAgent」をサーバーログで実測。117件の訪問記録から並列クロールの実態、wp-jsonや画像ファイルまで取得する動きを解説。robots.txtの設定方法も紹介します。

2026年3月28日 by AI観測ラボ

「タグページはnoindexにするのが正解」——そう信じてあるSEOツールの設定を変えた日から、GPTBotがAI観測ラボに来なくなりました。 Googleのための設定が、AIクローラーを遠ざけていたのです。サーバーログ … 続きを読む

2026年4月7日2026年3月27日 by AI観測ラボ

「AIに引用されたい」と思ってサイトを整えているつもりでも、たった1行の設定が抜けているだけで、AIがコンテンツを読めない状態になっていることがあります。 AI観測ラボでは、業種の異なる10サイトのソースコードを実際に開 … 続きを読む

2026年3月25日 by AI観測ラボ

AIクローラーの判定にIPアドレスを使うのは構造的に無理があります。ChatGPT-UserはAzureのIPを毎回変えてアクセスし、Sakana ChatはUAすら持たずフェッチしてきました。実測ログをもとに、User-Agentを主軸にした判定設計が正解である理由を解説します。

2026年3月25日2026年3月25日 by AI観測ラボ

一生懸命書いた記事が、Googleに要約されて終わる。「ゼロクリック問題」として、この現象はすでに広く知られるようになりました。検索1位を取っても、AI Overviewsが答えをまとめてしまうため、ユーザーが外部 … 続きを読む

2026年3月24日 by AI観測ラボ

サーバーログを眺めていたら、見慣れないユーザーエージェント（UA）が目に入りました。「ChatGPT-User」 GPTBotやOAI-SearchBotは以前から観測していましたが、ChatGPT-Userははじめて … 続きを読む

2026年3月24日2026年3月24日 by AI観測ラボ

ChatGPTに「〇〇とは？」と聞いたとき、回答の末尾に他のサイトのURLが並ぶことがあります。並んでリスト化したURLが「引用されたページ」です。引用されたサイトと引用されなかったサイト——両者のコンテンツの質に大差 … 続きを読む