AI観測ラボ (AI観測ラボ｜記録の投稿者)

Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定

2026年3月30日 by AI観測ラボ

Anthropicが運用する3種類のボット（ClaudeBot・Claude-User・Claude-SearchBot）の役割の違いと、robots.txtで個別に制御する方法を公式ドキュメントをもとに解説します。

2026年3月29日 by AI観測ラボ

MetaのAI学習クローラー「Meta-ExternalAgent」をサーバーログで実測。117件の訪問記録から並列クロールの実態、wp-jsonや画像ファイルまで取得する動きを解説。robots.txtの設定方法も紹介します。

2026年3月28日 by AI観測ラボ

「タグページはnoindexにするのが正解」——そう信じてあるSEOツールの設定を変えた日から、GPTBotがAI観測ラボに来なくなりました。 Googleのための設定が、AIクローラーを遠ざけていたのです。サーバーログ … 続きを読む

2026年4月7日2026年3月27日 by AI観測ラボ

「AIに引用されたい」と思ってサイトを整えているつもりでも、たった1行の設定が抜けているだけで、AIがコンテンツを読めない状態になっていることがあります。 AI観測ラボでは、業種の異なる10サイトのソースコードを実際に開 … 続きを読む

2026年3月25日 by AI観測ラボ

AIクローラーの判定にIPアドレスを使うのは構造的に無理があります。ChatGPT-UserはAzureのIPを毎回変えてアクセスし、Sakana ChatはUAすら持たずフェッチしてきました。実測ログをもとに、User-Agentを主軸にした判定設計が正解である理由を解説します。

2026年3月25日2026年3月25日 by AI観測ラボ

一生懸命書いた記事が、Googleに要約されて終わる。「ゼロクリック問題」として、この現象はすでに広く知られるようになりました。検索1位を取っても、AI Overviewsが答えをまとめてしまうため、ユーザーが外部 … 続きを読む

2026年3月24日 by AI観測ラボ

サーバーログを眺めていたら、見慣れないユーザーエージェント（UA）が目に入りました。「ChatGPT-User」 GPTBotやOAI-SearchBotは以前から観測していましたが、ChatGPT-Userははじめて … 続きを読む

2026年3月24日2026年3月24日 by AI観測ラボ

ChatGPTに「〇〇とは？」と聞いたとき、回答の末尾に他のサイトのURLが並ぶことがあります。並んでリスト化したURLが「引用されたページ」です。引用されたサイトと引用されなかったサイト——両者のコンテンツの質に大差 … 続きを読む

2026年3月23日 by AI観測ラボ

サーバーログを眺めていたら、見慣れないアクセスが目に入りました。 HTMLページを取得した直後に、同じコンテンツのREST APIエンドポイントを叩いているクローラーがいます。しかも毎回403（アクセス拒否）で弾かれてい … 続きを読む

2026年3月22日 by AI観測ラボ

あなたのサイトにもrobots.txtは設置してあるはずです。でも、なぜそのファイルが存在するのか。誰がいつ作ったのか。知っている人はほとんどいません。 1994年、一人のエンジニアがメーリングリストに投稿した提案が起 … 続きを読む