GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来ていました。AI観測ラボの7日間64件のログと国別データで判明した、日本サイトのAIクローラーの盲点を解説します。
月: 2026年4月
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されない原因を86,000件のログと10の実測で解明。「読まれる前」「読まれた後」の2つの壁を一次データで整理します。
AI観測ラボのツールでできること—スコア診断からAI訪問の観測まで
AI観測ラボは、サイトがAIに読まれやすい状態かをスコアで診断し、AIクローラーの訪問をリアルタイムで観測する無料ツールです。robots.txt・llms.txt・構造化データなど8項目を自動チェック。トラッキングコードを設置すれば、GPTBotやClaudeBotがいつどのページを訪問したかを観測ダッシュボードで確認できます。
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエージェント4種と、Chromeに偽装する3種の違いを特定した。
XでシェアするたびにMetaのクローラーも来ていた—facebookexternalhitの正体【AI実験室 #14】
サーバーログに記録されるfacebookexternalhitの正体を実測データで解説。7日間92件の訪問記録から、Xへの投稿をきっかけにMetaのクローラーがOGPを取得しに来る仕組みと、robots.txtでの制御方法をまとめました。
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google-Agent」の仕組みをサーバーログの視点で整理。Googlebot・ChatGPT-Userとの違いも解説します。
OAI-SearchBotとは？GPTBotと何が違うのかをまとめました
OAI-SearchBotはChatGPT Search専用のクローラーで、AIモデルの学習には使われません。GPTBot・ChatGPT-Userとの違いをサーバーログの実測データをもとに整理しました。robots.txtの設定方法もコピペOKで解説します。
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー「ByteSpider」をサーバーログで実測。全期間1,018件のアクセスを確認し、CSSや画像まで取得する他のAIクローラーにない挙動を解説します。
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった。AI観測ラボのサーバーログで確認した実測データをもとに、noindex・nofollow・robots.txtがAIクローラーにどう効くのかを整理します。
ChatGPT AgentはGA4に来る—でも識別できない。実測でわかったステルス挙動
ChatGPT AgentはJSを実行しGA4にイベントが届きます。UAはChrome偽装で識別不能。実測ログと対策まで解説。