Metaのクローラーはどれを許可すべき？5種類とMuseを56日間のログで調べました
2026年9月8日、Metaが人の代わりにWebサイトを操作するAIエージェント「Muse」を発表しました。 では、MuseがWebサイトを訪れたとき、サーバーログには何と残るのでしょうか。 Metaは現在、サイト運営者 … 続きを読む
月: 2026年9月
Reflectionbotとは？数週間のアクセスログで正体と本物の見分け方を調べました
今回は9月ごろからBotなのか？AIなのか？確証を得たので新クローラーシリーズとのことで書き記していきます。 いつも通りログを見ているとReflectionbot/1.0 というUser-Agentが残っていました。 G … 続きを読む
自分のサイトがAIの回答に出てこないのはなぜ？
ChatGPTやGeminiに聞いたのに、自分のサイトではなく競合ばかり出てくるのはなぜ？ AIの回答に出るまでの3つの段階と、「AIが来ていない」と「回答に出てこない」の違いをわかりやすく解説します。
AIはGoogleと同じようにサイトを読んでいるのか？
GooglebotとAIクローラーでは、サイトを訪れる目的や頻度が異なります。AI観測ラボの30日分のログでは、ChatGPT-UserがGooglebotの約1.7倍のアクセスを記録。AIがWebサイトをどう読んでいるのか、実測データをもとにわかりやすく解説します。
llms.txtとは？書き方・設置手順と実測ログ【2026年版】
2026年1月にllms.txtを設置して5ヶ月観測。6週間は取得0件、3月にAI-Observatory/1.0、5月にGPTBot・Googlebotが初取得。PerplexityBot・ClaudeBotは読まず。実測ログから分かった3つの巡回型と、WordPress用コピペテンプレートを公開。
SofyaBotとは？MCP経由でWebを取得するAIエージェント
SofyaBotの正体と仕組みを実測ログから解説。2026年9月に322件のアクセスを確認し、MCP経由のWeb取得、GA4に表示されない理由、巡回パターンを整理しました。
mdファイルとは？AIに読まれるMarkdownファイルの基本と設置方法
「AI向けのmdファイル」とは、AIクローラーに読ませるために用意するMarkdown形式のファイルのことです。llms.txtとの違い、index.md・about.md・faq.mdの役割、Xserver・さくら・ロリポップへの設置手順まで、AI観測ラボが実際のサーバーログをもとに解説します。
AteveSearchSourceUrlDiscoveryとは？AI検索API「Ateve」のクローラーを実測ログで確認
2026年8月29日22時17分、AI観測ラボのサーバーログに見慣れないUser-Agentが現れました。 AteveSearchSourceUrlDiscovery/0.1 (+mailto:crawler@examp … 続きを読む
AIクローラー観測レポート 2026年8月｜ClaudeBotのバーストと静かに変わるAI検索
2026年8月、AI検索をめぐる変化は検索結果の表面だけではありませんでした。 Googleはスパムアップデートを実施し、AI ModeのバックエンドモデルはGemini 3.7 Flashへ静かに切り替わりました。しか … 続きを読む