AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】
AIクローラーは、どのサイトにも同じように来ているわけではありません。 GPTBot・ClaudeBot・OAI-SearchBot・PerplexityBot——同じ「AIクローラー」という呼び名でも、サイトをどう巡回 … 続きを読む
AI観測ラボ
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマーケターさんやデザイナーさん多いかと思います。 Googleは2019年にモバイルファーストインデックスへ完全移行し、スマートフォンでの表示を基準にサイトを評価 … 続きを読む
ノーコードツールで作ったサイト、AIに読まれていますか？—SPA問題とツール別の対応状況を調べた
「ノーコードツールで作ったサイトがAIに紹介されない」——そんな声を耳にすることが増えています。デザインのきれいなサイトが、ChatGPTやPerplexityの回答に一切登場しない。原因のひとつとして、近年注目されてい … 続きを読む
AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebotの3社が実際に何階層目まで潜るかをサーバーログで実測しました。8日間・610件のアクセスデータから見えたクローラーごとの個性と、サイト設計への示唆をまとめています。
新しいサイトはAIにどう認識されるのか—公開2週間のサイトで4大AIを検証
公開から2週間のサイトを4大AIに質問した実測レポート。ChatGPT・Claude・Gemini・Perplexityはサイトを正しく認識できるのか。新しいサイトがAIにどう見えているかをサーバーログと実際の回答で検証しました。
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAgent」をサーバーログで実測。117件の訪問記録から並列クロールの実態、wp-jsonや画像ファイルまで取得する動きを解説。robots.txtの設定方法も紹介します。
タグをnoindexにしたら、GPTBotが来なくなった【AI実験室 #07】
「タグページはnoindexにするのが正解」——そう信じてあるSEOツールの設定を変えた日から、GPTBotがAI観測ラボに来なくなりました。 Googleのための設定が、AIクローラーを遠ざけていたのです。サーバーログ … 続きを読む
AIに引用されたいのに、設定が抜けていた—10サイトのrobots metaを実際に調べてわかったこと【AI実験室 #06】
「AIに引用されたい」と思ってサイトを整えているつもりでも、たった1行の設定が抜けているだけで、AIがコンテンツを読めない状態になっていることがあります。 AI観測ラボでは、業種の異なる10サイトのソースコードを実際に開 … 続きを読む
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があります。ChatGPT-UserはAzureのIPを毎回変えてアクセスし、Sakana ChatはUAすら持たずフェッチしてきました。実測ログをもとに、User-Agentを主軸にした判定設計が正解である理由を解説します。
記事を書いても引用枠はGoogleが取る—AI Modeの自己引用問題と、外部サイトの生存戦略
一生懸命書いた記事が、Googleに要約されて終わる。 「ゼロクリック問題」として、この現象はすでに広く知られるようになりました。 検索1位を取っても、AI Overviewsが答えをまとめてしまうため、 ユーザーが外部 … 続きを読む