XでシェアするたびにMetaのクローラーも来ていた—facebookexternalhitの正体【AI実験室 #14】
サーバーログに記録されるfacebookexternalhitの正体を実測データで解説。7日間92件の訪問記録から、Xへの投稿をきっかけにMetaのクローラーがOGPを取得しに来る仕組みと、robots.txtでの制御方法をまとめました。
月: 2026年4月
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google-Agent」の仕組みをサーバーログの視点で整理。Googlebot・ChatGPT-Userとの違いも解説します。
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー「ByteSpider」をサーバーログで実測。全期間1,018件のアクセスを確認し、CSSや画像まで取得する他のAIクローラーにない挙動を解説します。
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった。AI観測ラボのサーバーログで確認した実測データをもとに、noindex・nofollow・robots.txtがAIクローラーにどう効くのかを整理します。
ChatGPT AgentはGA4に来る—でも識別できない。実測でわかったステルス挙動
ChatGPT AgentはJSを実行しGA4にイベントが届きます。UAはChrome偽装で識別不能。実測ログと対策まで解説。
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、24時間均等分散で毎日クロールし続けます。7日間353件のサーバーログ実測データから、CopilotのためのBingbotの設計と挙動を解説します。
PerplexityBotとは—PerplexityのAIクローラーの仕組みと役割
PerplexityBotはAI検索サービスPerplexityのWebクローラーです。Perplexityの仕組みから、PerplexityBotの役割、Perplexity-Userとの違い、robots.txtへの対応、実測ログで見えた巡回の特徴までわかりやすく解説します。
XでシェアするたびにTwitterbotが大量に来ていた【AI実験室 #12】
Xに記事をシェアした直後、サーバーログに見慣れないアクセスが記録されていました。 時刻は一致しています。シェアするたびに来ます。しかも1件ではなく、複数のIPアドレスから同時に。 正体はTwitterbotです。GPTB … 続きを読む
iOS 27でSiriが変わる—Applebotの動き方と今後の展開
iOS 27でSiriが対話型AIに刷新されます。Applebotのクロールデータがどう使われるのか、Applebot-Extendedの拒否率がまだ6%にとどまる現状と、サイト運営者が今判断すべきrobots.txtの設定を整理しました。
AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】
AIクローラーは、どのサイトにも同じように来ているわけではありません。 GPTBot・ClaudeBot・OAI-SearchBot・PerplexityBot——同じ「AIクローラー」という呼び名でも、サイトをどう巡回 … 続きを読む