2026年7月、AIクローラーに何が起きたか｜月次まとめ

2026年7月は、AIがWebサイトを「読む」という前提が少しずつ崩れ始めた月でした。

Anthropicのボットが4種類体制に整い、OpenAIは広告クローラーの動きを明確化し、WebMCPという新しい仕様が浮上した。ひとつひとつは別々のトピックに見えますが、サーバーログの視点で並べると、共通する変化が浮かんできます。

AIはWebを「読む」だけでなく、「操作する」方向へ進み始めています。

AI観測ラボが注目したいのは、ニュースそのものではありません。それぞれの動きが、Webサイトの取得・引用・アクセスログにどう表れるかという点です。

この記事では、2026年7月にあったAI検索・AIクローラー関連の動きを5つに厳選し、実測ログの視点で振り返ります。

この記事でわかること｜📖：約5分

• Anthropicのボットが4種類に整った理由と、claude-codeの立ち位置
• OAI-AdsBotとOAI-SearchBotで、OpenAIのクローラー識別がどう変わったか
• WebMCPとAI向けMDファイルが示す「AIがWebを操作する」時代の始まり
• サーチコンソールにプロンプト的なクエリが出るようになった意味
• 「代替できない情報」という視点の登場と、7月のセキュリティ動向

AnthropicのボットがついにフルセットにーClaude-SearchBotとclaude-codeの登場

6月まで、AnthropicのボットといえばClaudeBot（学習用）・Claude-User（ユーザー代理フェッチ）の2種類が主な観測対象でした。7月に入り、Claude-SearchBotとclaude-codeが相次いで記事化・観測対象に加わり、Anthropicのボットは事実上4種類体制に整いました。

4種類の役割は以下のように整理できます。ClaudeBotはAnthropicがモデル学習やグラウンディングのために自発的に巡回するクローラー。Claude-SearchBotはClaude検索機能のインデックス用で、ClaudeBotとは別目的で動きます。Claude-Userは、ユーザーがClaudeに質問したり、URLを読ませたりするときに発生するユーザー起点のフェッチ。そしてclaude-codeは、Claudeのコーディング機能が動作する際に発生するフェッチで、4種類の中でもっとも新しい存在です。

サーバーログの視点で見ると、claude-codeはClaude-Userに近い性質を持ちます。AIが自発的に巡回しているというより、ユーザーのコーディング操作が起点になって、参照先のドキュメントやリポジトリを取得しに来る動きです。

💡 robots.txtでの扱いに注意が必要

ClaudeBotのみを制御したいのか、Claude-SearchBotも対象なのか、ユーザー操作起点のClaude-UserやClaude-Codeまで止めたいのかは、それぞれ分けて考える必要があります。Claude系を一括でブロックすると、意図しないボットまで止めてしまう可能性があります。

7月のAnthropicに関するひとことで言えば、「AIの役割が細分化された月」です。学習・検索・ユーザー代理・コーディング支援。それぞれ異なる目的で動くボットが整い、「Claude系を一括管理」という運用が通用しなくなってきています。

Claude-SearchBotの詳細はClaude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定、claude-codeの動きはclaude-codeとは？Anthropic 4つ目のボットとrobots.txt設定、Claude-Userとの違いで解説しています。

OpenAIは「何のためのクローラーか」を明確にし始めた

7月は、OpenAI系のクローラーの分類が一段と整理された月でもありました。OAI-SearchBotとOAI-AdsBotという2つのUser-Agentの動きが観測・記事化され、GPTBotと合わせてOpenAIのクローラー全体像が見えやすくなってきました。

OAI-SearchBotは、ChatGPT検索のインデックス構築に使われるクローラーです。GPTBotが学習データ収集を目的としているのに対して、OAI-SearchBotはリアルタイムな検索結果の品質に直結します。robots.txtで「GPTBotは許可だけどChatGPT検索には出たくない」という制御をしたい場合、OAI-SearchBotを個別に設定する必要があります。

OAI-AdsBotは、ChatGPT広告機能に関連するクローラーです。6月にChatGPT広告のAds Manager Betaが日本向けに動き始めたことと連動して、AdsBotの発動条件も注目されるようになりました。AI観測ラボの観測では、広告のランディングページとして設定されたURLに対してOAI-AdsBotのアクセスが発生するパターンが確認されています。

💡 「OpenAI系」をまとめて扱うリスク

GPTBot・OAI-SearchBot・ChatGPT-User・OAI-AdsBot。それぞれ目的も信頼できるIPレンジも異なります。6月に確認された「ChatGPT-Userを名乗る偽クローラー」の問題と合わせると、OpenAIを名乗るアクセスをまとめて同じものとして扱う運用は、7月以降さらにリスクが高まっています。

7月のOpenAI系の動きをひとことで言えば、「GPTBotをChatGPTのクローラーと呼ぶだけでは足りなくなった月」です。学習用・検索用・ユーザー代理・広告確認、それぞれ目的も挙動も異なるため、ログを見る側も分類の精度を上げる必要があります。

OAI-SearchBotの詳細はOAI-SearchBotとは？GPTBotとの違いとrobots.txt設定を実測ログで解説、OAI-AdsBotの発動条件はOAI-AdsBotはどんなときに動く？ChatGPT広告クローラーの発動条件とログでの見分け方で解説しています。

WebMCPとMDファイルが示す「読む」から「操作する」への転換

7月に出てきたトピックのなかで、Webの構造変化という観点でもっとも注目したいのがWebMCPとAI向けMDファイルの動きです。

WebMCPは、AIエージェントがブラウザを介さずにWebサイトを直接操作するための仕組みです。従来のAIクローラーは、サイトのHTMLを取得して「読む」動きでした。WebMCPはその前提を変えます。AIエージェントがAPIのように、フォームへの入力・ボタンのクリック・ページ遷移といった「操作」をWebサイトに対して行う可能性が出てきます。

アクセスログの視点で見ると、WebMCP対応のリクエストは通常のクローラーとは異なるパターンで現れる可能性があります。User-Agentの識別だけでは判断が難しく、リクエストの内容や順序まで含めた分析が必要になるかもしれません。

AI向けMDファイルは、llms.txtの延長線上にある動きです。index.md・about.md・faq.mdといったMarkdownファイルをサーバーに設置することで、AIに対してHTMLよりクリーンな形で情報を渡す、という考え方です。AI観測ラボの実測では、GPTBot/1.4系がllms.txtに加えてindex.mdへのアクセスを確認しており、MDファイルへの関心は一部のクローラーで現実のものになっています。

GoogleのOpen Knowledge Format（OKF）も同じ流れのなかにあります。構造化された情報をAIが読みやすい形式で公開するための仕様として提案されていますが、AIクローラーが実際に読みに来ているかどうかはまだ観測段階です。AI観測ラボでも確認を続けています。

7月の「フォーマット競争」をひとことで言えば、「llms.txtだけでは足りなくなってきた月」です。MDファイル・OKF・WebMCP。AIへの情報提供の方法が多様化しており、何を設置すれば読まれるのかを一次ログで検証する重要性が増しています。

WebMCPの仕組みはWebMCPとは？AIエージェントがWebサイトを操作する仕組みと運営者の準備、MDファイルの設置方法はAI向けMDファイルとは？index.md・about.md・faq.mdの設置方法まで解説、OKFについてはGoogleのOpen Knowledge Format（OKF）、AIクローラーは読みに来るのか？で解説しています。

サーチコンソールに「プロンプト的なクエリ」が出始めた

7月に実測として記録したなかで、意外性という観点で注目したいのがサーチコンソールの検索語の変化です。

従来の検索クエリは「AIクローラー 確認方法」「robots.txt 書き方」のように、検索エンジンに対して短いキーワードで送られるものが中心でした。7月、AI観測ラボのサーチコンソールに「AIクローラーが来ているかどうかを確認する具体的な方法を教えてください」のような、会話的・プロンプト的な長文クエリが確認されるようになりました。

これはAI検索（ChatGPT SearchやPerplexity、Google AI Mode）からのオーガニック流入が増えることで、元のプロンプトに近いクエリがサーチコンソールのデータに混ざり込んでいる可能性を示します。

Web担当者にとって重要なのは、このデータをどう読むかです。プロンプト的なクエリが増えている場合、ユーザーがAI経由でサイトに到達しているシグナルと見られる一方、そのクエリに対して今のサイト構造がどれだけ回答できているかを見直す機会でもあります。

また、GA4では引き続きAI経由の流入が正確に捕捉できていないという問題は続いています。AI観測ラボの実測でも、GA4のPVが前月比で減少している一方、サーバーログ上のクローラーアクセスは増加しているケースが確認されており、「GA4の数字だけを見てWebがダメだと判断するのは早い」という状況は変わっていません。

サーチコンソールのプロンプト的クエリの詳細はサーチコンソールにプロンプトのような検索語が出た記録、GA4とサーバーログの補完についてはGA4でAI流入はどこまで見える？サーバーログでChatGPT・AIクローラーを補完する方法で解説しています。

「代替できない情報」という視点と、7月のセキュリティ動向

7月のログ観測と並行して浮かび上がったのが、「AIに引用されるコンテンツとは何か」という問いの更新です。

これまで「一次情報が大切」という考え方が広まっていましたが、AI観測ラボの実測を続けるなかで、一次情報であっても引用されないケースが増えています。7月に書いた記事では、AIが欲しいのは「他では得られない情報」、つまり「代替できない情報」ではないかという仮説を整理しました。

観測上の傾向として、クローラーが繰り返し戻ってくるページには「その情報がそのサイト以外では読めない」という特徴が見られます。サーバーログで自サイトのどのページにクローラーが高頻度でアクセスしているかを追うことで、AIが「代替できない」と判断しているページの手がかりが得られます。

一方でセキュリティ面でも、7月は新しい動きがありました。WordPressの「wp2shell」脆弱性が話題になり、放置されたWordPressサイトが乗っ取られるリスクが改めて浮上しました。AIクローラー対策と同じくらい、サイトの基盤となるWordPressのセキュリティ設定を見直す必要があります。

NotebookLMの取得問題も7月に観測しました。ユーザーがNotebookLMにURLを登録すると、Google-NotebookLMというUser-Agentでコンテンツが取得されます。これはユーザー起点のフェッチですが、サイト側からすると「誰かが自分のコンテンツをAIに読み込ませた」という事実を示すシグナルです。robots.txtで制御できるかどうかも含めた実態をまとめています。

💡 7月に確認されたセキュリティ関連の動き

Googleスパムアップデートに合わせて偽AIクローラーがログに現れたのは6月でしたが、7月はwp2shell脆弱性という別の角度からの脅威が浮上しました。AIクローラーの観測を続けるためにも、サイト基盤のセキュリティは前提条件として整えておく必要があります。

「代替できない情報」の考え方についてはAIが欲しいのは一次情報ではなく「代替できない情報」なのかもしれない、wp2shell脆弱性はWordPressを放置すると乗っ取られる？「wp2shell」脆弱性を初心者向けに解説、NotebookLMの取得についてはNotebookLMはサイトを無断で取得する？Gemini Notebookのクローラーとrobots.txtの実態で解説しています。

まとめ：7月は「役割の細分化」と「操作への移行」が始まった月だった

2026年7月に起きた動きを一言でまとめると、AIのWebへの関わり方が「まとめて読む」から「目的別に、操作しながら読む」へ分化し始めた月といえます。

7月の動き・まとめ

✓

AnthropicのボットがClaudeBot・Claude-SearchBot・Claude-User・claude-codeの4種類体制に整った。目的が異なるため、robots.txtでの一括管理が通用しなくなっている

✓

OpenAIもGPTBot・OAI-SearchBot・ChatGPT-User・OAI-AdsBotと役割別にUser-Agentが分かれており、「OpenAI系」とひとくくりにするリスクが高まっている

✓

WebMCPが示すように、AIエージェントはWebを「読む」から「操作する」方向へ進み始めている。アクセスログの読み方も変わる可能性がある

✓

サーチコンソールにプロンプト的なクエリが出始めた。AI検索経由の流入が増えていることの間接的なシグナルとして観測できる

✓

AIに引用されるコンテンツの条件が「一次情報」から「代替できない情報」へと問い直される段階に来ている

各AIプレイヤーのクローラーが役割別に分かれ、MDファイルやWebMCPといった新しいフォーマットが登場した7月は、robots.txtとUser-Agentだけでアクセスを管理できていた時代が終わりに近づいていることを示す月でもありました。

「何のクローラーが来たか」だけでなく、「何の目的で来たか」「何を操作しようとしているか」まで読む視点が、これから一段と重要になっていきます。

8月は、WebMCPの実装状況とclaude-codeのアクセスパターンの変化を中心に、引き続きサーバーログでの観測を続けていく予定です。