また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れない名前が現れたのは、2026年4月21日の夜でした。
AI-Observatory/1.0。
GPTBotでもClaudeBotでもない。PerplexityBotでもBytespiderでもない。世界中のAIクローラーリストを調べても、どこにも載っていないUser-Agentです。
ログを追うと、奇妙な行動パターンが見えてきました。約14日間で5つのIPアドレスから合計30件のアクセス。しかし、記事本文へのアクセスは0件でした。訪れたのはトップページ・robots.txt・sitemap・llms.txtだけ。しかも1つのIPにつき、必ず6リクエストで巡回を終えています。
正体はまだわかっていません。ただ、巡回の癖はかなり見えてきました。AI観測ラボのサーバーログから、その挙動を整理します。
この記事でわかること｜📖：約5分
- AI-Observatory/1.0がどんな挙動をするクローラーなのか、サーバーログの実測データで確認できます
- 5IP・30件・1IPあたり6リクエストで終わる、規則的な巡回パターンの特徴がわかります
- 記事本文を読まず、サイト構造だけを確認する「構造観測型」クローラーの可能性が見えてきます
- この挙動が、将来のAI評価やサイト選別にどう関わるのか考察のヒントが得られます
AI-Observatory/1.0とは何か—ログで最初に気づいたこと
2026年4月21日19時32分、AI観測ラボのサーバーログに見慣れないUser-Agentが記録されました。
AI-Observatory/1.0GPTBotやClaudeBotには公式ドキュメントがあります。PerplexityBotやBytespiderにも運営元の情報があります。ところがAI-Observatory/1.0は、主要なAIクローラーリストのどこにも掲載されていません。Search Engine JournalやMomentic、189種類のクローラーをまとめたデータベースサイトを調べましたが、記載はゼロでした。
「知らないクローラーが来た」——と気づいた時点で、ログの詳細を掘り下げることにしました。
ログから読み取れた基本情報は以下のとおりです。
| 項目 | 内容 |
|---|---|
| User-Agent | AI-Observatory/1.0 |
| 観測期間 | 2026年4月10日 19:32 〜 4月24日 16:45（約14日間） |
| 総アクセス数（自分のIP除く） | 30件 |
| IPアドレス数 | 5IP |
| ホスティング | 全件AWS EC2（バージニア北部リージョン） |
| 公式ドキュメント | なし（世界のクローラーリストに未掲載） |
ホスティング先がAWS EC2のバージニア北部リージョンに集中していた点は、GPTBotやClaudeBotと共通する特徴です。クラウド上で自動巡回するボット系アクセスの可能性は高いと考えられます。
1IPにつき必ず6リクエスト—規則正しすぎる巡回パターン
5つのIPそれぞれのアクセスログを確認したところ、全IPが同じ順番・同じURL・同じ件数で巡回していることがわかりました。以下は3.237.34.76の実際のログです。
3.237.34.76 [21/Apr/2026:19:32:37 +0900] "GET / HTTP/1.1" 301
3.237.34.76 [21/Apr/2026:19:32:38 +0900] "GET / HTTP/1.1" 200
3.237.34.76 [21/Apr/2026:19:32:38 +0900] "GET /robots.txt HTTP/1.1" 200
3.237.34.76 [21/Apr/2026:19:32:38 +0900] "GET /sitemap.xml HTTP/1.1" 404
3.237.34.76 [21/Apr/2026:19:32:39 +0900] "GET /sitemap_index.xml HTTP/1.1" 200
3.237.34.76 [21/Apr/2026:19:32:39 +0900] "GET /llms.txt HTTP/1.1" 200最初のリクエストで301リダイレクトが発生していますが、即座に正規URLへ再アクセスしています。1IPあたりの巡回は合計6リクエストで、かかった時間は約2秒でした。
5つのIPすべてが、同じ順番で同じURLを巡回していました。
| 巡回順 | URL | ステータス | 意味 |
|---|---|---|---|
| 1 | / | 301 | リダイレクト元へアクセス |
| 2 | / | 200 | 正規URLのトップページ取得 |
| 3 | /robots.txt | 200 | クロール許可設定の確認 |
| 4 | /sitemap.xml | 404 | 標準sitemapの有無を確認 |
| 5 | /sitemap_index.xml | 200 | WordPress系sitemapを取得 |
| 6 | /llms.txt | 200 | AI向け案内ファイルを確認 |
注目したい点が2つあります。1つ目は、存在しない/sitemap.xmlに404が返っても巡回を止めず、決められた手順を最後まで実行している点です。2つ目は、/llms.txtを確認対象に含めている点です。
llms.txtはAI向けの案内ファイルで、まだ設置率は高くありません。それにもかかわらず巡回リストに含まれていた点から、AI-Observatory/1.0は「AI向けの公開情報」を意識して収集している可能性があります。
記事本文へのアクセスはゼロ—構造観測型クローラーの可能性
AI観測ラボには2026年4月時点で80本以上の記事があります。GPTBotやClaudeBotは記事ページにも定期的にアクセスしてきます。ところがAI-Observatory/1.0は、約14日間で30件のアクセスがあったにもかかわらず、記事ページへのアクセスは1件もありませんでした。
訪問先はすべて、以下の5種類のURLだけです。
| 訪問したURL | 件数 |
|---|---|
| /（トップページ） | 10件（301→200 × 5IP） |
| /robots.txt | 5件 |
| /sitemap.xml | 5件 |
| /sitemap_index.xml | 5件 |
| /llms.txt | 5件 |
GPTBotやClaudeBotと比較すると、違いがはっきり見えてきます。
| クローラー | robots.txt | sitemap | 記事ページ | llms.txt |
|---|---|---|---|---|
| GPTBot | ◯ | ◯ | ◯ | △ |
| ClaudeBot | ◯ | ◯ | ◯ | △ |
| AI-Observatory/1.0 | ◯ | ◯ | ゼロ | ◯ |
一般的な学習系クローラーや検索系クローラーは、robots.txtやsitemapを確認したあと記事ページへ進むケースが多く見られます。ところがAI-Observatory/1.0は、サイト構造の確認だけで巡回を終えていました。
この挙動から見ると、本文収集よりも「サイトの公開構造」や「AI向け設定」の確認を主目的にしている可能性があります。
また、NeonDB（JavaScript実行時に記録される計測DB）への記録もゼロでした。少なくとも観測環境ではJavaScript由来の通信は確認できず、HTMLレスポンスだけを取得して巡回している可能性が高そうです。
正体不明のまま考察する—AI対応を確認する観測ボットなのか
AI-Observatory/1.0の運営元は特定できていません。公式ドキュメントもなく、robots.txtに問い合わせ先も記載されていません。ただし、ログから見える巡回パターンを整理すると、目的についていくつかの仮説は立てられます。
行動パターンから見える共通点
AI-Observatory/1.0が巡回したURLを並べると、ある共通点が見えてきます。
- robots.txt：クローラーへの許可・拒否設定を確認するファイル
- sitemap.xml / sitemap_index.xml：サイト構造やURL一覧を確認するファイル
- llms.txt：AI向けの案内情報を記載するファイル
どのURLも、本文コンテンツではなく「サイトの公開構造」や「AI向け設定」に関わる情報です。記事本文へ進まず、この領域だけを確認して巡回を終えている点は特徴的です。
AI対応チェックボット仮説
この行動パターンから考えると、AI-Observatory/1.0はサイトのAI対応状況を定期的に確認する観測ボットである可能性があります。
たとえば、以下のような項目を機械的に確認していると考えると、今回の巡回ログとよく一致します。
| 確認項目 | AI観測ラボの結果 |
|---|---|
| robots.txtは存在するか | ◯（200） |
| sitemap.xmlは存在するか | ✗（404） |
| sitemap_index.xmlは存在するか | ◯（200） |
| llms.txtは存在するか | ◯（200） |
404が返っても巡回を止めず、決められた順番を最後まで実行していた点を見ると、コンテンツ取得よりも「有無の確認」や「状態の記録」を目的にしているようにも見えます。
定期観測の可能性
約14日間で5IPが同じ巡回を繰り返していた点も気になります。一度きりの収集ではなく、一定間隔で状態変化を確認する定期観測型の巡回であれば、この規則的な挙動とも整合します。
もちろん、ここまでの内容は実測ログをもとにした考察です。AI-Observatory/1.0の正体が今後判明した場合は、観測結果を追記して更新します。
まとめ—謎のクローラーから見えてきたこと
AI-Observatory/1.0について、実測データから見えてきた特徴を整理します。
| 項目 | 実測結果 |
|---|---|
| 観測期間 | 約14日間（2026年4月10日〜24日） |
| アクセス数 | 30件（5IP × 6リクエスト） |
| 巡回URL | トップ・robots.txt・sitemap・llms.txtのみ |
| 記事ページへのアクセス | ゼロ |
| JavaScript由来の通信 | 観測されず（NeonDB記録ゼロ） |
| 公式ドキュメント | なし（主要なクローラーリストにも未掲載） |
正体はまだわかっていません。ただ、一つ注目したい事実があります。AI-Observatory/1.0はllms.txtの存在を確認しに来ていました。
robots.txtやsitemapはSEOの文脈で長年整備されてきたファイルです。一方、llms.txtはまだ普及の途中にあります。その段階で巡回対象に含まれていた点は、今後のAI向けサイト設計を考える上で興味深い観測結果です。
今回のログから断定できることは多くありません。ただ少なくとも、「本文を読む前に、サイト構造やAI向け設定を確認するクローラー」が存在する可能性は見えてきました。
AI-Observatory/1.0の正体について新しい観測データが得られた場合は、この記事を更新します。続報はXまたはBlueskyでも共有します。
llms.txtの設置方法はllms.txtの書き方【テンプレコピペOK】、robots.txtのAIクローラー向け設定はrobots.txtでAIクローラーにどう見せるかで詳しく解説しています。
あなたのサイトは、
AIに見えていますか？
URLを入力するだけで30秒。8項目を自動診断し、優先度別の改善プランを提示します。完全無料・登録不要。
