2026年6月、AIクローラーに何が起きたか｜月次まとめ

2026年6月は、AIがWebサイトをどう取得し、どう引用し、どうアクセスログに残るのかを考えるうえで、重要な動きが重なった月でした。

WWDC26でのSiri AI発表、Search Consoleの生成AIレポート追加、GPTBot/1.4の登場、Claude-Userのアクセス増加。ひとつひとつは別々のニュースに見えますが、サーバーログの視点で並べると共通点が見えてきます。

AI観測ラボが注目したいのは、ニュースそのものではありません。それぞれの動きが、Webサイトの取得・引用・アクセスログにどう表れるかという点です。

この記事では、2026年6月にあったAI検索・AIクローラー関連の動きを5つに厳選し、実測ログの視点で振り返ります。

この記事でわかること｜📖：約5分

• WWDC26でのSiri AI発表とApplebotの動きの関係
• Search Consoleの生成AIレポートで何が見えるようになったか
• GPTBot/1.4の登場と、ChatGPT-Userなりすまし問題
• Claude-Userに見る「人間がAIに読ませるアクセス」の正体
• 6月に現れた新顔クローラーと、名乗らないAI取得の増加

Appleは検索とSiri AIにWebをどう使い始めたのか

6月8日、Appleは開発者会議「WWDC26」で、新しいSiri「Siri AI」を発表しました。画面上の内容を理解した回答、アプリを横断した個人の文脈把握、Webにアクセスして最新情報を取得する回答生成など、従来のSiriとは一線を画す機能が並びました。

Web担当者として気になるのは、Siri AIそのものよりも、AppleがWeb上の情報をどのように取得し、どの場面で使うのかという点です。

Appleは公式のApplebot説明ページで、Applebotが取得したデータをSpotlight、Siri、Safariなどの検索体験に使うと説明しています。さらに、Applebotが取得したデータは、Apple製品やサービス上でAIモデルが回答を生成する際の追加コンテキストや最新情報として使われる可能性があるとも説明されています。

なので、Applebotは単なる検索クローラーではなく、今後のSiri AIやApple Intelligenceまわりの回答品質にも関係してくる可能性があるクローラーです。

実際、AI観測ラボでは発表当日の6月8日にApplebotのアクセスを確認しました。ですが、このアクセスがWWDC26の発表内容と直接関係しているかどうかは、ログだけでは断定できません。通常の巡回サイクルと重なっただけの可能性もあります。

💡 混同しやすい3つの用語

Siri AIはユーザー向けのAIアシスタント、Safariの「Notify Me」はページ変化を通知する機能、ApplebotはAppleの検索・AI関連クローラーです。関係する可能性はあっても、同じ仕組みとして扱うにはまだ早い段階です。

もうひとつ注意したいのが、Applebot-Extendedです。名前だけを見ると新しいクローラーのように見えますが、Applebot-Extended自体がWebページをクロールするわけではありません。Applebotが取得したデータを、Appleの生成AIモデルの学習に使わせるかどうかを制御するための仕組みです。

Google-Extendedと同じように、Applebot-Extendedも「アクセスログに出てくるクローラー」ではなく、robots.txtでデータ利用を制御するためのUser-Agentトークンとして理解した方がよさそうです。

本格的な変化が表れるとすれば、パブリックベータや正式リリース後、新しいUser-Agentの登場や、Applebotのアクセスパターンの変化としてサーバーログに現れてくるはずです。既存のApplebot系の動きが変わるのか、まったく別のUser-Agentが登場するのか、7月以降も継続して観測していきます。

詳しい発表内容とApplebotとの関係は「WWDC26」にてSiri AIが発表された—サイト運営者が知っておくべきことを整理するで、Applebotそのものの仕組みはApplebotとは—AppleのAIを支えるクローラーの仕組みと実際の動きで解説しています。

Search Consoleに生成AIレポートが出た意味

6月3日、GoogleはSearch Consoleに「生成AIパフォーマンスレポート」を発表しました。AI OverviewsやAI Modeなど、Google検索上の生成AI機能で自サイトがどれだけ表示されたかを、専用ビューで確認できる仕組みです。

これは、Web担当者にとって大きな変化です。これまでAI OverviewsやAI Modeに自サイトが出ているかどうかは、通常の検索パフォーマンスレポートの中に埋もれていました。今回の専用レポートによって、生成AI機能における表示回数、表示されたページ、国、デバイス、日付ごとの推移を切り分けて確認できるようになります。

現時点では、すべてのサイト所有者に提供されているわけではありません。Google公式ヘルプでも、一部のサイト所有者に段階的に展開している段階だと説明されています。そのため、日本のSearch Consoleで誰でも確認できる状態とは言えません。

また、見えるデータにも限界があります。生成AIパフォーマンスレポートで確認できるのは主に表示回数であり、クリック数・CTR・検索クエリの詳細までは含まれていません。「AI Mode経由で何人が実際にクリックしたか」を正確に把握する手段は、依然として限られています。

クローラーの動きとしては、GoogleOtherとGoogle-Extendedの2種類が引き続き観測対象になります。GoogleOtherは、Google検索本体とは異なる目的で使われることがあるGoogle系クローラーです。Google公式でも、特定のプロダクトに紐づかない汎用クローラーとして説明されており、社内の研究開発や一時的な取得に使われる可能性があります。

AI観測ラボでも、18日間のサーバーログからGoogleOtherの巡回パターンを実測しました。Googlebotのように検索インデックス用として分かりやすく見えるわけではなく、アクセス頻度も一定ではありません。1日あたりの件数にもばらつきがあり、「何のために来たのか」をログだけで判断しにくいクローラーです。

Google-Extendedについては、さらに特殊です。名前だけを見るとGoogle-Extendedというクローラーがアクセスしてくるように見えますが、実際には専用のUser-Agentとしてサーバーログに出るものではありません。

Google-Extendedは、Googleがクロール済みのコンテンツをGeminiなどの生成AIモデルの学習やグラウンディングに使うかどうかを、robots.txtで制御するためのUser-Agentトークンです。

なので、Google-Extendedをrobots.txtで拒否しても、アクセスログ上に「Google-Extendedをブロックした」という分かりやすい痕跡は残りません。GooglebotやGoogleOtherのように、実際にサーバーへアクセスしてくるクローラーとは見え方が異なります。

Web担当者として押さえておきたいのは、Search Consoleの新レポートも、GoogleOther・Google-Extendedのログも、どちらも「見えるようで見えていない」領域が残っているという点です。

生成AI機能での表示回数は見え始めましたが、AI経由のクリック、引用後の行動、サーバーログ上の取得目的まではまだ完全には追えません。

6月のGoogle関連の動きは、「AI検索の可視化が始まった月」と言えます。ですが注意点としてAI経由の実態がすべて見えるようになったという意味ではありません。Search Consoleで見えるデータと、サーバーログで見えるクローラーの動きを合わせて見る必要があります。

生成AIパフォーマンスレポートの詳細はGoogle Search ConsoleのAI検索レポートとは？見えないデータとUK先行の理由、GoogleOtherの実測データはGoogleOtherとは？18日間のサーバーログで見えたGoogle系クローラーの実態、Google-Extendedの挙動についてはGoogle-Extendedはなぜアクセスログに出ないのかで解説しています。

GPTBot/1.4、広告、なりすまし。OpenAI系アクセスの見方が複雑化

OpenAI系のアクセスは、GPTBot（学習用）・OAI-SearchBot（検索用）・ChatGPT-User（ユーザー代理フェッチ）のように、目的ごとにUser-Agentが分かれています。6月は、GPTBot/1.4の観測、ChatGPT広告のベータ案内、ChatGPT-Userを名乗るなりすましなど、OpenAI周辺の見方が一段と複雑になった月でした。

まず、GPTBot/1.4が観測されるようになりました。OpenAIからGPTBot/1.4に関する公式アナウンスが出ているわけではありませんが、外部User-AgentデータベースやAI観測ラボの実測ログでは、5月下旬から6月にかけてGPTBot/1.4系のアクセスが確認されています。

以前の1.2(3)系ではサイトマップの確認が中心でしたが、1.4系ではllms.txtやindex.mdへのアクセスも確認されており、サイト構造の読み方そのものが変化しつつある可能性があります。

広告面では、ChatGPTの広告機能「Ads Manager Beta」も見逃せない動きでした。日本向けの招待メールが届き、実際に確認するとキャンペーンや広告グループの作成画面までは進め現在は入稿できる状態です。

もうひとつ見逃せないのが、なりすましの問題です。AI観測ラボのサーバーログで、ChatGPT-Userを名乗る偽クローラーを発見しました。User-Agentの文字列は本物に似せてありますが、逆引きDNSで検証すると、OpenAI由来とは確認できないアクセスであることがわかります。

Web担当者にとって、User-Agentの文字列だけを見てAIクローラーを許可・拒否する運用は、6月以降さらにリスクが高くなったといえるでしょう。robots.txtの設定だけでなく、IPやDNSでの正体確認まで含めて考える必要が出てきています。

6月のOpenAI系の動きをひとことで言えば、「OpenAIを名乗るアクセス」をまとめて同じものとして扱えなくなった月です。学習用、検索用、ユーザー代理、広告関連、そしてなりすまし。それぞれ目的も信頼性も異なるため、ログを見る側も分類の精度を上げる必要があります。

GPTBot/1.4の詳細はChatGPTのクローラー「GPTBot/1.4」は何が変わった？実測ログで見えた4つの行動、Ads Manager Betaの実際の画面は日本でChatGPT広告表示へ、でもAds Managerは利用不可？実際に試した結果、なりすまし問題はChatGPT-Userを名乗る偽クローラーをログで発見した｜本物との見分け方で解説しています。

Claude-Userで見えた“人間がAIに読ませるアクセス”

Anthropicは、ClaudeBot（学習用クローラー）・Claude-SearchBot（検索用クローラー）・Claude-User（ユーザー代理フェッチ）という3種類のボットを使い分けています。6月に特に注目したいのが、Claude-Userの動きです。

Claude-Userは、ChatGPT-Userに近い性質を持つアクセスです。AIそのものが自発的に巡回しているというより、Claudeのユーザーが質問したり、URLを貼って読ませたり、Claudeが回答のためにWeb上の情報を取得したりするタイミングで発生します。

つまりは、サーバーログに残ったClaude-Userのアクセスは、「誰かのClaude利用をきっかけに、自分のサイトが読まれた可能性がある痕跡」と考えられます。

痕跡事態が、学習用クローラーであるClaudeBotとの大きな違いです。ClaudeBotの巡回は、記事の公開タイミングや更新頻度に応じて動きます。一方Claude-Userは、ユーザーの行動が起点になるため、公開直後のアクセスも珍しくありません。

AI観測ラボの実測でも、ClaudeBotのサーバーログ539件を解析したところ、巡回パターンには一定の周期がある一方、Claude-Userはより不規則なタイミング（人間みたい）で現れる傾向が見えています。

もうひとつ整理しておきたいのが、Claude-SearchBotとの違いです。名前が似ているため混同しやすいですが、Claude-SearchBotはClaude検索機能のインデックス用クローラーで、ClaudeBotとは別の役割を持ちます。

Anthropic公式でも、ClaudeBot・Claude-SearchBot・Claude-Userはそれぞれ異なる目的を持つものとして説明されており、同じClaude系User-Agentでも意味は大きく異なります。

robots.txtでClaude系のボットを一括りに扱うと、意図しないボットまでブロックしてしまう可能性があります。学習用のClaudeBotを制御したいのか、検索用のClaude-SearchBotを制御したいのか、ユーザー起点のClaude-Userまで止めたいのかは、分けて考える必要があります。

Web担当者にとっての実務的なポイントは、Claude-Userのアクセスを「歓迎すべきシグナル」として見られることです。

GPTBotやClaudeBotのような学習用クローラーは、巡回されたことまでは分かっても、その後どの場面で使われたかまでは見えません。一方でClaude-Userは、少なくともユーザー起点の利用や回答生成に近い文脈でページが取得された可能性を示します。サーバーログでClaude-Userのアクセス頻度を追うことは、AI経由での参照・引用状況を推測する手がかりのひとつになります。

6月のAnthropic系の動きをひとことで言えば、AIクローラーを見る視点が「AIが勝手に巡回しているか」から、「人間がAIに読ませているか」へ広がった月だったと言えます。Claude-Userは、その変化がサーバーログに残る代表的なUser-Agentです。

Claude-Userの正体についてはClaude-Userとは？サーバーログに残る「誰かがClaudeに聞いた」アクセスの正体、ClaudeBotの巡回パターンはClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み、Claude-SearchBotとの違いはClaude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定で解説しています。

新顔クローラーと名乗らないAI取得が増えた6月

6月は、これまでログにほとんど現れていなかった新しいクローラーや、従来のAIクローラーとは違う取得パターンが目立った月でもあります。Apple、Google、OpenAI、Anthropicのような大きな企業別の動きとは別に、出どころの異なる取得が同時多発的に増えていました。

Grokのアクセスは、名乗らない取得の可能性がある点で特徴的でした。AI観測ラボの実験では、GrokにURLを読ませた直後、GrokやxAIを名乗るUser-Agentは確認できませんでした。一方で、対象URLに対して複数のIPアドレスから短時間に並列アクセスが発生しています。

GPTBotやClaudeBotのように明示的に名乗るクローラーとは異なり、Grok由来の取得かどうかをログだけで断定することはできません。ただし、URLを読ませたタイミングとアクセス発生の時間が近く、複数回の実験で似た挙動が見られたため、「名乗らないAI取得」の観測候補として記録する価値があります。

NotebookLMは、ユーザーが登録したソースをGoogleのGoogle-NotebookLMというUser-Agentで取得しに来る挙動が確認できました。Claude-Userと同じく、ユーザーの行動が起点になるフェッチです。Google公式でも、NotebookLMユーザーがソースとして指定した個別URLを取得するUser-triggered fetcherとして説明されています。

meta-webindexerは、Meta AI検索に関係するインデックス用クローラーです。既存のmeta-externalagentやfacebookexternalhitとは役割が異なり、Meta AIの検索結果品質や引用・リンクに近い領域を担うクローラーとして見てよさそうです。

Baiduspiderは中国の検索エンジンBaiduのクローラーですが、AI観測ラボのログでは通常版とrender版の2種類の動きが確認されています。検索エンジンのクローラーではありますが、生成AI時代には検索インデックスとAI回答の境界が曖昧になっていくため、海外検索系クローラーの動きも観測対象として無視できません。

DuckAssistBotは、DuckDuckGoのAI回答機能に使われるクローラーです。DuckDuckGo公式でも、AI-assisted answersのためにリアルタイムでページをクロールし、回答内で出典を示すために使われると説明されています。学習用ではなく、回答生成・引用に近い目的で動くクローラーとして見た方がよさそうです。

Slackbotも、アクセス数が急増したクローラーのひとつ。厳密にはAIクローラーではありません。Slack上でURLが共有されたときに、SlackbotやSlack-ImgProxyがリンクプレビュー生成のために取得しに来る仕組みです。

だがしかし、人間の共有行動が起点になっているという点では、ChatGPT-UserやClaude-Userのようなユーザー起点フェッチと似た見方ができます。

💡 6月に増えた“名乗らない取得”とユーザー起点フェッチ

Grokのように専用User-Agentが確認できない取得、NotebookLMやSlackbotのようにユーザー行動が起点になる取得、meta-webindexerやDuckAssistBotのようにAI検索・AI回答に近い新顔クローラー。6月は、robots.txtで一括管理するだけでは実態を把握しにくいアクセスが増えた月でした。

6月の新顔クローラー全体をひとことで言えば、「AIが名乗って取りに来る時代」から、「人間の操作、AI回答、検索インデックス、リンク共有が混ざってログに残る時代」へ進み始めた月だったと言えます。Web担当者は、User-Agent名だけでなく、取得タイミング、IP、参照元、アクセス先URL、同時発生したユーザー行動まで含めて見る必要があります。

それぞれの詳細はGrokはサイトを読みに来るのか？ログに残った名乗らない並列アクセス、NotebookLMはサイトを読みに来るのか？Google-NotebookLMのアクセスログを解釈する、meta-webindexerとは？Meta AI検索に関係するクローラーの正体と動き、Baiduspiderって何してるの？—292件のログで見えた通常版とrender版の動き、DuckAssistBotとは？DuckDuckGoのAI回答クローラーが実際に読んでいたページを調べてみた、Slackbotとは？Slack-ImgProxyのアクセスログが急増した理由を調べてみたで解説しています。

まとめ：6月は「読む目的」が分かれた月だった

2026年6月に起きた動きを一言でまとめると、AIがWebサイトを読む目的がさらに細かく分かれた月だったといえます。

6月の動き・まとめ

✓

Appleが「Siri AI」を発表。Applebotとの関係は現時点では不明だが、今後のUser-Agent変化が観測ポイントになる

✓

Search Consoleに生成AIレポートが発表されたが、すべてのサイトで使えるわけではなく、クリック数・CTR・検索クエリの詳細も含まれない

✓

GPTBot/1.4系のアクセスが観測され、llms.txtやindex.mdへのアクセスが確認された。一方でChatGPT-Userを名乗る偽クローラーも見つかった

✓

Claude-Userのアクセスは、「誰かのClaude利用をきっかけにサイトが読まれた可能性がある痕跡」として、AI経由の参照状況を推測する手がかりになる

✓

Grok・NotebookLM・Slackbotなど、名乗らない取得やユーザー行動起点の取得が同時多発的に増えた

学習用クローラー、検索用クローラー、ユーザー代理フェッチ、広告確認、名乗らない取得。役割の異なるアクセスが同時に増えている状況では、GA4や各種系ソークツールだけでWebサイトの利用実態を捉えることは難しくなっています。

「AIが来ているかどうか」だけでなく、「どの目的で来ているか」を分けて見る視点が、これから一段と重要になっていきます。

7月は、Gemini 3.5系のアップデートやGoogle系クローラーの動きを中心に、引き続きサーバーログでの観測を続けていく予定です。