AIクローラー観測レポート 2026年10月｜AIの裏方が増え、開発環境が狙われた月

2026年10月、AI観測ラボのサーバーログでは、AIエージェント向けにページを収集する検索インフラのアクセスが大きく増えました。ExaSearchBotは9月の279件から1,368件へ約5倍、ShapBotは313件から1,104件へ約3.5倍です。

一方で、ChatGPTの利用者の操作をきっかけに届くChatGPT-Userは、8月の1,920件、9月の1,013件に続き、10月は561件まで減りました。ClaudeBotは10月26日23時台から27日0時台までの約2時間で544件を一気に取得し、7月末から数えて4か月連続のバーストになりました。

10月19日から22日にかけては、1つのIPアドレスから18,185回のアクセスが届き、.claudeや.langchainなど、AIを使った開発ツールの設定フォルダを探していました。AI観測ラボでは、2026年10月を「AIの裏方が増え、開発環境が狙われた月」として記録します。

この記事でわかること｜📖：約8分

• ExaSearchBotが約5倍、ShapBotが約3.5倍に増えた、AIエージェント向け検索インフラのクローラーの10月の動き
• .claudeや.langchainなど、AI開発ツールの設定フォルダを狙ったスキャンの中身と備え方
• 8月から減少が続くChatGPT-Userと、4か月連続となったClaudeBotのバースト
• 9月に予告した「10月に観測すること」5項目の答え合わせ

AIエージェント向け検索クローラーのアクセスが約2.2倍に

9月の観測レポートでは、AIエージェントや開発者に「Web検索」や「ページ取得」の機能を提供するサービスが、自社の検索基盤を作るためにページを集めに来るアクセスを「検索インフラのクローラー」として紹介しました。集められた情報は、APIやMCP（AIと外部ツールをつなぐ仕組み）を通じて、さまざまなAIエージェントから利用されます。

10月のログでは、9月から追っている4種類の合計が1,122件から2,472件になり、アクセス件数が約2.2倍に増えました。ただし、4種類が全部増えたわけではありません。

クローラー	9月	10月	10月の動き方
ExaSearchBot	279件	1,368件	10月3日から毎日20〜70件ずつ、休まず取得
ShapBot	313件	1,104件	5日間に約96%が集中
SofyaBot	322件	0件	10月は1回も来ていない
AteveSearchSourceUrlDiscovery	208件	0件	10月は1回も来ていない
合計	1,122件	2,472件	約2.2倍

件数は、記事やタグページなどのURLへのリクエスト数です。別のURLへ転送したアクセス（301）も含み、ページ本文を返した回数とは異なります。スキャナーのIPアドレスからのアクセスは除外しています。数え方は9月の観測レポートと同じです。

増えたのはExaSearchBotとShapBotの2つで、SofyaBotとAteveSearchSourceUrlDiscoveryは10月に1回も記録されませんでした。9月は4種類が同じくらいの件数で並んでいましたが、10月はExaとParallelの2社に集中した形です。

比べる相手として、ChatGPTの利用者の操作をきっかけに届くChatGPT-Userは、同じ数え方で10月は561件でした。9月は検索インフラ4種類の合計とChatGPT-Userがほぼ同じ件数でしたが、10月はリクエスト数で検索インフラのほうが約4.4倍多くなっています。

ExaSearchBot：10月3日から、毎日休まず取りに来るようになった

ExaSearchBotは、AIエージェント向けの検索API「Exa」のクローラーです。9月は月を通して少しずつ取得し、9月24日だけ75件という動き方でした。

10月は、1日と2日こそ7〜8件でしたが、10月3日からは毎日20〜70件のペースで、月末まで1日も途切れずに取得していました。1時間あたりの最多は12件で、ClaudeBotやGPTBotのように一気に取りに来るバーストはありません。

項目	10月の記録
URLへのリクエスト	1,368件（記事1,240件、タグページ111件など）
取得したURLの種類	283種類
IPアドレスの数	274個
robots.txtの取得	76回

283種類のURLに対して1,368件なので、同じURLへの繰り返しアクセスが見られます。ページの更新を確認している可能性もありますが、アクセスログだけでは取得の目的まではわかりません。274個のIPアドレスに分散している点は、9月と同じです。

Exaは、ExaSearchBotのすべてのリクエストに暗号の署名（HTTP Message Signatures）を付けていると公式ページで説明しています。IPアドレスに関係なく本物かどうかを確かめられる仕組みですが、AI観測ラボのサーバーログには署名の情報が残らないため、今回も署名による確認はできていません。

ShapBot：5日間に約96%が集中し、半分以上は転送だった

ShapBotは、Parallel Web Systemsが自社の検索インデックスを作るために使うクローラーです。ExaSearchBotとは反対に、特定の日だけ、1時間にまとめて取得していました。

日付	1日の件数	集中した時間帯
10月5日	105件	11時台に101件
10月7日	480件	15時台に480件
10月13日	112件	22時台に112件
10月23日	178件	15時台に178件
10月31日	183件	13時台に182件

5日間の合計は1,058件で、10月全体の約96%にあたります。残りの46件は、ほかの6日間に数件ずつ届いていました。10月7日は、15時台の1時間だけで480件でした。

10月に記録されたShapBotのIPアドレスは7個で、Parallelが公開しているIPアドレスのリストとすべて一致しました。9月のログでは確認できなかったrobots.txtの取得も、10月は17回記録されています。

気になったのは、返答の内訳です。1,104件のうち630件（約57%）は301（別のURLへの転送）でした。ShapBotは /fake-ai-crawler のように、URLの末尾に「/」が付いていない形で取りに来ていました。AI観測ラボのURLは末尾に「/」が付く形なので、「/」付きのURLへ転送されています。転送された284種類のURLのうち253種類は、10月中に「/」付きのURLも取得していました。

ExaUser：利用者の依頼で取りに来る、Exaのもう1つの名前

10月19日からは、Exaの別の名前 ExaUser/1.0 も記録され始めました。Exaは公式ページで、巡回ではなく利用者の依頼で取得するページはExaUserの名前で届くと説明しています。ExaSearchBotが検索インデックスを作るための巡回、ExaUserが利用者の依頼による取得という分け方です。

10月の記録は16件と少ないものの、16件すべてが別々のIPアドレスから届き、取得したページは4種類だけでした。うち10件はClaude-SearchBotの解説記事で、10月31日16時26分には、7つのIPアドレスが4秒の間に同じ記事を取得していました。ExaUserの確かめ方（署名やIPアドレスのリスト）は公式ページに書かれておらず、本物かどうかの確認まではできていません。

ほかに記録された検索・取得系のクローラー

• Reflectionbot：9月の190件から469件に増加。92個のIPアドレスから、毎日10〜20件前後を取得していました。タグページが230件と、記事より多く読んでいます
• KeenableBot：9月の289件から73件に減少。9月のように数日に集中する動きはなく、1日2〜8件ずつでした

Reflectionbotと KeenableBotは、9月から追っている4種類の合計には含めていません。

設定・鍵ファイルを探すスキャンが18,185件、AI開発ツールも対象に

9月の観測レポートでは、AIや検索エンジンのクローラーの名前を1回ごとに入れ替えながら、パスワードや設定ファイルの置き場所を探るスキャナーを紹介しました。10月は、1つのIPアドレスから設定ファイルや鍵ファイルを探すアクセスが18,185件届き、探索先にはClaude CodeやLangChainなど、AIを使った開発ツールのファイルも含まれていました。18,185件のうち、AI開発ツールに関係するURLへのアクセスは1,896件です。

日時	アクセス元	件数	動き方
10月4日 2時台	34.139.173.152	290件	9月と同じく、AI・検索クローラーの名前を入れ替えながら探索
10月9日 13時台	34.6.13.126	185件	同上
10月19日 7時台	54.172.38.227	6件	WordPressの一括処理用の窓口（/wp-json/batch/v1）を確認
10月21日 3時51分	54.172.38.227	5,817件	54秒間で設定ファイルや鍵ファイルを一斉に探索
10月22日 3時6分	54.172.38.227	12,362件	46秒間で同じ探索を、倍以上の件数で実行

54.172.38.227からの18,185件のうち、10月21日と22日の2回だけで18,179件になり、10月のアクセスログ全体の約15%にあたります。9月の観測レポートで紹介したスキャナーは、3回の来訪を合わせて532件でした。10月22日のスキャンだけで、9月の3回分の約23倍の量です。

1分足らずで1万件を超えるアクセス

10月22日は、3時6分46秒から3時7分32秒までの46秒間に12,362件、1秒あたり約270件のアクセスが届きました。人がブラウザで操作して出せる量ではなく、プログラムによる自動の探索です。

9月のスキャナーと違い、AIクローラーの名前は1回も名乗っていません。かわりに、リクエストの方法をいくつも試していました。ページを読むときの GET が13,630件と最も多いものの、ファイルを置く PUT、消す DELETE、移動する MOVE などもそれぞれ200件ずつ送っています。FOOBAR という、存在しない方法まで含まれていました。サーバーがどの方法を受け付けるかを、まとめて確かめる動きです。

Claude Codeの認証情報ファイルを、名前を指定して探していた

探索したURLは971種類ありました。そのうち104種類・1,896件が、AIを使った開発ツールに関係するファイルです。

ツール	探されたURLの例	件数
Claude Code（Anthropic）	/.claude/.credentials.json、/.claude/settings.json、/.claude/CLAUDE.md	各52〜108件
GitHubでのClaude連携	/.github/workflows/anthropic.yml、/.github/workflows/claude.yml	160件、52件
LangChain・LangGraph	/.langchain/cache.sqlite、/.langgraph/checkpoints.sqlite、/langchain.env	各106〜108件
OpenAI・AnthropicのAPIキー	/openai.env、/.env.anthropic	106件、52件
Streamlit（AIアプリの画面づくりに使われるツール）	/.streamlit/secrets.toml	108件

中心にあったのは /.claude/.credentials.json です。Claude Codeの公式ドキュメントでは、LinuxとWindowsではClaude Codeの認証情報を .claude/.credentials.json に保存すると説明されています。フォルダの名前だけでなく、認証情報が入るファイルの名前まで指定して探しに来ていたことになります。

ほかの探索先は、認証情報や、開発時の内部情報が残る可能性のある場所です。openai.env や .env.anthropic は、AIサービスのAPIキーを入れるファイルとして作られることが多い名前です。LangChainのキャッシュやLangGraphのチェックポイント（AIエージェントの途中経過を保存するファイル）には、やり取りの中身が残っていることがあります。GitHubのワークフローファイルからは、開発の手順や使っているサービスがわかります。

AI開発ツール以外の探索先は、9月のスキャナーと共通するものが多くありました。

• .envファイルの各種コピー：/.env.local.bak、/.env.dev、/.env.test など、合計4,363件
• WordPressの設定ファイルのコピー：/wp-config.php.old、/wp-config.php.swp、/wp-config.backup など、合計872件
• 鍵ファイル：/server.key、/id_rsa.bak、/.keystore、/config/master.key
• データベースの書き出しファイル：/init.sql、/postgres.sql、/migration.sql
• 開発ツールのフォルダ：/.next（999件）、/.github（583件）、/.docker（328件）

返答の大半は拒否と転送、鍵ファイルの流出を示す記録は確認されず

AI観測ラボの返答は次のとおりでした。

返答	意味	件数
403	アクセス禁止	11,059件
301	別のURLへ転送	6,356件
404	ページが見つからない	568件
503など	一時的に応答できない、など	157件
200	成功	45件

全体の約6割はサーバー側で拒否（403）されていました。返答の種類だけでは返した中身まではわからないため、アクセスログに残る返したデータの大きさ（バイト数）もあわせて確認しました。

• 200（成功）の45件：トップページ、robots.txt、llms.txt、サイトマップ、公開中のCSSなど、もともと誰でも見られるページだけでした。データの大きさも、普段のアクセスで返している大きさとほぼ同じです。/wp-content/plugins/ などのフォルダは、0〜20バイトの空のページでした
• 301（転送）の6,356件：データの大きさは162バイトか0バイトで、転送の案内だけを返していました。転送先のURLはアクセスログに残らないため、転送先までは確認できていません

今回のログで確認できた範囲では、設定ファイルや鍵ファイルのURLに200を返した記録はなく、流出を示す記録は見つかりませんでした。

名前を使い回すスキャナーは、10月9日を最後に記録されず

9月に3回現れた、AI・検索クローラーの名前を入れ替えながら探索するスキャナーは、10月にも2回来ていました。10月4日に290件、10月9日に185件です。どちらも1時間以内に去り、名乗った名前は28種類以上でした。10月の集計では、2つのIPアドレスからのアクセスをすべて除外しています。

名前を使い回すスキャナーは10月9日を最後に記録されず、19日からは、別のIPアドレスによる設定・鍵ファイルへの探索が記録されました。2つが同じ相手かどうかは、ログからは判断できません。10月は、AIクローラーの名前を借りる探索と、AI開発ツールのファイルも探す探索の、2種類を観測しました。

大手AI・検索クローラーの10月：ChatGPT-Userは上位ページへのアクセスも減少

大手AI・検索クローラーの多くは、9月とよく似たリズムで動いていました。「普段は静かで、ときどき一気に読む」動き方は、ClaudeBot・GPTBot・PerplexityBotのどれにも見られます。大きく変わったのは、ChatGPT-Userの減り方です。

クローラー	9月	10月	10月の動き方
bingbot	1,232件	1,113件	毎日安定して取得
ClaudeBot	1,160件	752件	10月26日夜〜27日未明に575件が集中
Googlebot	537件	638件	毎日安定して取得
ChatGPT-User	1,013件	561件	22日以降に減少
PerplexityBot	543件	509件	10月29日・30日に短い波
GPTBot	517件	456件	2日間のバーストで450件

件数の数え方は、検索インフラのクローラーと同じです。ClaudeBotは、Anthropicの公式IPリストに載ったIPアドレスからの件数で、リスト外のIPアドレスからの2件は除いています。

ChatGPT-User：8月の3割以下に。10月は上位ページへのアクセスも減った

ChatGPT-Userは、ChatGPTの利用者の操作をきっかけに、必要に応じてページを取りに来るアクセスです。8月の1,920件、9月の1,013件に続き、10月は561件で、8月の3割以下になりました。

期間	ChatGPT-User	1日平均
10月1日〜7日	155件	約22件
10月8日〜14日	146件	約21件
10月15日〜21日	159件	約23件
10月22日〜31日	101件	約10件

10月21日までは1日平均約22件でしたが、22日以降は約10件に半減しました。10月31日は1件だけです。

9月は、トップページとOAI-SearchBotの解説記事の2ページへのアクセスはほとんど減らず、減ったのはほかの記事へのアクセスでした。同じ2ページで10月と比べると、2ページへのアクセスも減りました。

	9月	10月	増減
トップページ＋OAI-SearchBot解説記事	492件	304件	約38%減
上記2ページ以外	521件	257件	約51%減

減少は上位ページにも広がりましたが、落ち込みは上記2ページ以外の記事のほうがさらに大きくなっています。2ページに続いて多かったのは、Claude-SearchBotの解説記事の74件でした。検索インフラのセクションで紹介したExaUserも、10月に最も多く取得していたのは同じ記事です。

ChatGPT-Userは利用者の操作をきっかけに届くアクセスのため、減った理由が、OpenAI側の仕組みの変化なのか、AI観測ラボの記事が使われる場面そのものが減ったのかは、ログだけでは区別できません。

ClaudeBot：45日ぶり、4か月連続のバースト

ClaudeBotは、10月も「長く静かにしてから、一気に読みに来る」動き方を続けました。10月の752件のうち575件は、10月26日22時26分から27日1時43分までの約3時間に集中しています。特に23時台と0時台の2時間で544件でした。

項目	9月11日のバースト	10月26日〜27日のバースト
件数	533件	575件
かかった時間	1時間弱	約3時間
取得したURLの種類	432種類	435種類
IPアドレスの数	23個	1個
中身	記事276件、タグページ237件	記事310件、タグページ249件

件数・URLの種類・中身の割合は9月とほぼ同じで、記事やタグページを広く取得する動きです。違うのは、9月は23個のIPアドレスに分散していたのに対し、10月は公式リスト内の1つのIPアドレスから約3時間かけて取得していた点です。

9月11日から10月26日までの間隔は45日で、8月から9月の18日より大きく開きました。7月末・8月・9月・10月と、4か月連続でバーストを観測したことになります。バーストの前には、10月5日に55件、8日に53件、23日に43件と、50件前後の小さな取得が3回ありました。

9月の観測レポートで紹介した /sitemap.xml への404は、10月も続いていました。ClaudeBotは10月に /sitemap.xml を337回取りに来て、毎回404が返っています。正しいサイトマップの場所である /sitemap_index.xml の取得回数は403回でした。なお、サイトマップへのアクセスは、冒頭の表のページアクセス件数には含めていません。

GPTBot：バーストは2回、10月の件数の99%

GPTBotは、9月の3回から2回にバーストが減りました。10月の456件のうち450件が、2回のバーストに集中しています。

日付	件数	中身
10月14日	330件	1時台に330件。うち224件がタグページ
10月31日	120件	19時台に119件。記事54件、タグページ52件、カテゴリページ12件

バースト以外の日は、記事などのページへのアクセスがほとんどありません。9月と同じく、タグページを多く読んでいます。

PerplexityBot：月末に2日続けて短い波

PerplexityBotは、9月は月の前半に短い波が4回ありました。10月は、月の前半から中旬に30〜46件の日が5日あり、月末の10月29日（16時台に119件）と30日（20時台に52件）に大きめの波がありました。

meta-externalagent：10月2日のあとはほぼ止まった

Metaのクローラー meta-externalagent は、10月2日の15時台から16時台に385件を取得したあと、月末まで1日0〜5件しか来ていません。10月の399件のうち、約96%が10月2日の2時間に集中していました。Metaのクローラーの種類と役割はMetaのクローラー5種類の記事で、MetaのAIエージェント「Muse」の実験はMuse実験の記事で紹介しています。11月も、取得が戻るかを観測します。

ほかに目立った動き

• Amazonbot：10月は598件。1日〜14日は合計49件でしたが、15日〜21日に120件、22日〜31日に429件と、月の後半に増えました
• Gemini-Deep-Research：10月も0件。8月7日の1件以降、2か月続けて記録がありません

まとめ：10月は「AIの裏方が増え、開発環境が狙われた月」だった

2026年10月のサーバーログでは、9月から追っている検索インフラ4種類のアクセスが、合計で約2.2倍に増えました。一方、ChatGPT-Userは561件に減少。検索インフラ4種類の合計はChatGPT-Userの約4.4倍となり、AIエージェント向けにページを集める「裏方」の存在感が増しました。

サイトの守りの面では、設定ファイルや鍵ファイルを探すスキャンの探索先に、Claude CodeやLangChainなどAI開発ツールのファイルが加わっていました。

9月に予告した「10月に観測すること」の答え合わせ

9月に予告したこと	10月の結果
ClaudeBotのバーストは4か月目も来るか	来た。10月26日〜27日に575件。9月11日から45日ぶりで、間隔は大きく開いた
ChatGPT-Userは戻るか	戻らなかった。1,013件から561件へさらに減少し、上位ページへのアクセスも減った
新着記事の単発取得型ClaudeBotは続くか	続いた。10月も3回、公開から8〜16分後に記録
検索インフラのクローラーは増えるか	件数は約2.2倍に増えた。ただし増えたのはExaとParallelの2社で、SofyaBotとAteveは0件。Exaの利用者の依頼による取得「ExaUser」も新たに記録した
スキャナーの探し物は変わるか	AI開発ツールが探索先に加わった。AIクローラーの名前を使い回すスキャナーは10月9日を最後に記録されず、19日からは別のIPアドレスによる設定・鍵ファイルへの探索を記録した

このうち、AI観測ラボのサーバーログで直接確認できたのは、各クローラーの件数と動き方、スキャンの探索先と返答の内訳です。ExaやParallel、ElevenLabsが公開しているクローラーの説明や、Claude Codeの認証情報の保存場所など、ログの外側にある情報も、アクセスの正体を判断する材料としてあわせて確認しました。

11月に観測すること

• ClaudeBotのバーストは5か月目も来るか：8月→9月は18日、9月→10月は45日と、間隔が開いてきました。11月にバーストが来るか、間隔がどう変わるかを追います
• ChatGPT-Userの減少は止まるか：10月22日以降の1日平均約10件が続くのか、戻るのかを、ページ単位で確認します
• 検索インフラは2社の集中が続くか：ExaSearchBotの毎日の取得とShapBotのまとめ取りが続くか、SofyaBotやAteveが戻るか、ExaUserが増えるかを観測します
• AI開発ツールを狙うスキャンは再び来るか：.claudeや.langchainなどへの探索が、別のIPアドレスからも届くかを記録します
• 学習利用を断る設定の前後で、アクセスは変わるか：10月31日から、robots.txtでAI学習への利用を断る意思を示す設定（aipref）を試しています。設定前後のrobots.txtへのアクセスと、学習用クローラーの取得件数を追います。ただし、アクセスログだけでは、設定を解釈したか、取得した内容を学習に使ったかまでは判断できません

AIにページが読まれる経路は、大手AIサービスだけでなく、AIエージェントの裏方へと広がっています。同時に、AI観測ラボでも、AI開発ツールのファイルへの探索を確認しました。引き続き、名前ではなくアクセスの中身を、サーバーログから追っていきます。

関連記事

• AIクローラー観測レポート 2026年9月｜そのClaudeBot、本物？AIを名乗るbotが増えた月
• ExaSearchBotとは？AIエージェント向け検索クローラーをアクセスログで初観測
• ShapBotとは？Gemini EnterpriseのWeb検索にも関係するAIクローラーの正体
• ClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み
• ChatGPT-Userの解説記事
• aiprefの解説記事

10月に初めて記録したクローラー：ElevenlabsCrawler

10月には、新しい名前のクローラーも現れました。音声AIのElevenLabsが運営する ElevenlabsCrawler/1.0 です。10月28日と29日の2日間だけで、654件のリクエストを記録しました。

ElevenLabsは公式ページで、ElevenlabsCrawlerを生成AIモデルの学習に使われる可能性のあるコンテンツを集めるクローラーと説明しています。検索インフラのクローラーとは目的が異なり、GPTBotやClaudeBotと同じ学習用の分類です。アクセスの流れや止め方は、ElevenlabsCrawlerとは？音声AIがサイトを読みに来る理由と止め方で詳しくまとめています。