Google-Extendedはなぜアクセスログに出ないのか
robots.txtでGoogle-Extendedを許可してから、2週間以上サーバーログを観測しつづけました。
いきなり結果ですが、Google-ExtendedというUser-Agentのアクセスはゼロ件でした。
最初は「Googleが来ていないのかもしれない」と思いました。ところが調べていくと、そもそもGoogle-Extendedはアクセスログに現れるタイプのクローラーではないことがわかりました。
Google-Extendedは、GooglebotやGoogleOtherのような「クローラー名」ではなく、robots.txtの上で機能する制御用トークンに近い存在です。ログをgrepしても出てこないのは、バグでも設定ミスでもなく、仕組み上そう見えるものだったのです。
この記事では、サーバーログの実測データをもとに、Google-Extendedとは何か、なぜログに出ないのか、そしてサイト運営者は許可すべきか、ブロックすべきかを整理します。
この記事でわかること｜📖：約6分
- Google-Extendedがアクセスログに出ない理由
- Googlebot・GoogleOther・Google-Extendedの違い
- 2週間の実測ログで確認できたこと
- Google-Extendedを許可・ブロックする判断基準
Google-Extendedとは何か
Google-Extendedは、2023年9月にGoogleが公開した仕組みです。サイト運営者が自分のコンテンツをGeminiやVertex AI API for GeminiなどのGoogle製AI機能に使わせるかどうかを、robots.txtで制御できるようにするために導入されました。
ただ、ここで多くの人が誤解しやすい点があります。Google-Extendedは独立したクローラーではありません。GPTBotやClaudeBotのように、特定のUser-Agent文字列を持ってWebを巡回するタイプのボットとは、根本的に仕組みが異なります。
Google公式ドキュメントにはこう書かれています。
Google-Extendedには、個別のHTTPリクエスト用User-Agent文字列はありません。クロールは既存のGoogle User-Agent文字列を使って行われ、robots.txtのUser-agentトークンは制御目的で使われます。
Google検索セントラル
なのでGoogle-Extendedは、アクセスログに現れるクローラー名ではなく、robots.txt上で機能する制御用トークンです。実際の取得は既存のGoogle系User-Agentで行われるため、Google-Extendedという名前のクローラーがWebを巡回しているわけではないです。
これらの仕組みを理解しておくと、サーバーログでGoogle-Extendedが出てこない理由が自然に見えてきます。
Googlebot・GoogleOther・Google-Extendedの違い
Googleのクローラーは1種類ではありません。役割ごとに複数のクローラーやフェッチャーが存在していて、Google-Extendedは中でも特殊な立ち位置にいます。
以下の表で整理します。
| 名称 | ログに出るか | 主な役割 | robots.txtでの指定 |
|---|---|---|---|
| Googlebot | 出る | Google検索・Discoverなどのクロール | Googlebot |
| GoogleOther | 出る | Google各チームによる汎用コンテンツ取得 | GoogleOther |
| Google-CloudVertexBot | 出る | Vertex AI Agents向けのコンテンツ取得 | Google-CloudVertexBot |
| Google-Extended | 出ない | Gemini・Vertex AI API for Geminiなどへの利用可否の制御 | Google-Extended |
Googlebotは、Google検索やDiscoverなどに関係する最も基本的なクローラーで、アクセスログにも明確に記録されます。GoogleOtherは、Google社内の各プロダクトチームが公開コンテンツを取得するために使う汎用クローラーです。
Google-CloudVertexBotは、Vertex AI Agents向けの取得で使われるクローラーです。Google検索そのものではなく、Vertex AI Agentsを構築するためのクロールに関係します。
対してGoogle-Extendedは、この表の中ではログに記録されない特殊な存在です。Google-Extendedという名前のUser-Agentでアクセスしてくるのではなく、既存のGoogle系User-Agentによるクロール済みコンテンツを、GeminiやVertex AI API for Geminiなどに使ってよいかどうかをrobots.txt上で伝えるためのトークンとして機能します。
実測：Google-Extendedをgrepしてもゼロ件だった
robots.txtでGoogle-Extendedを許可した状態で、サーバーログを継続的に観測しました。確認期間は2026年6月13日から6月25日までの約2週間です。
まず最初に試したのは、いつものgrepです。
grep -i "Google-Extended" access_log結果はゼロ件でした。
念のため、圧縮済みの過去ログも含めて、ログ全体に「google-extended」という文字列が含まれていないか確認しました。
{ zcat /path/to/logs/*.gz 2>/dev/null; cat /path/to/logs/access_log; } | grep -i "google-extended" | awk '{print $1, $4, $7}'この確認では14件がヒットしました。ただし内訳を確認すると、全件がタグページ（/tag/google-extended/）へのアクセスでした。つまり、ログに含まれていた「google-extended」はUser-Agentではなく、URLの中に含まれていた文字列だったのです。
| User-Agent | 件数 | アクセス先 |
|---|---|---|
| Chrome系の一般ブラウザUA | 11 | /tag/google-extended/ |
| YandexBot/3.0 | 1 | /tag/google-extended/ |
| Amazonbot/0.1 | 1 | /tag/google-extended/ |
| Chrome系の一般ブラウザUA | 1 | /tag/google-extended/ |
「google-extended」という文字列に反応したのは、URLにそのキーワードが含まれるタグページへのアクセスだけでした。Google-ExtendedというUser-Agentでアクセスしてきたログは、観測期間中に1件も確認できませんでした。
設定ミスでも、Googleがサイトを無視しているという話でもありません。Google-Extendedの仕組みを理解すると、なぜログに出てこないのかが見えてきます。
なぜGoogle-Extendedはアクセスログにゼロ件なのか
理由はシンプルです。Google-Extendedは、独立したクローラーとして存在していないからです。
GPTBotやClaudeBotは、それぞれ固有のUser-Agent文字列を持ってWebを巡回します。そのためサーバーログにも、GPTBotやClaudeBotという名前で明確に記録されます。しかしGoogle-Extendedは、そのような独立したUser-Agentを持っていません。
Google公式ドキュメントには次のように明記されています。
Google-Extendedには、個別のHTTPリクエスト用User-Agent文字列はありません。クロールは既存のGoogle User-Agent文字列を使って行われ、robots.txtのUser-agentトークンは制御目的で使われます。
Google検索セントラル
つまりは実際の動きに関して、下記のように整理できます。
- Webページの取得自体は、既存のGoogle系User-Agentで行われる
- 取得済みのコンテンツをGeminiやVertex AI API for Geminiなどに使ってよいかどうかを、robots.txtのGoogle-Extendedトークンで判断する
- Google-Extendedという名前のクローラーが、単独でアクセスしてくるわけではない
サーバーログに記録されるのは、実際にHTTPリクエストを送ってきたUser-Agentです。Google-Extendedはクロール用のUser-Agentではなく、Google側での利用可否を伝えるためのrobots.txt上の指定なので、Google-Extendedという名前ではログに残りません。
つまり、Google-Extendedがログに出てこないのは「Googleが来ていない」という意味ではありません。正確には、Google-ExtendedというUser-Agentでアクセスしてくる仕組みではないということです。
Google-Extendedを許可すると何が変わるのか
「ログに出ないなら、許可してもブロックしても同じでは？」と思うかもしれません。しかしながらGoogle-Extendedは、アクセスログに出るクローラー名ではなく、Google側でのAI利用可否を伝えるためのrobots.txt上の指定です。
Google-Extendedが関係するのは、主に以下のような用途です。
- Gemini Appsを支える将来世代のGeminiモデルの学習・改善
- Vertex AI API for Geminiを支えるモデルの学習・改善
- Gemini AppsやVertex AIのGrounding with Google Searchにおける根拠情報としての利用
ですが、1点注意が必要です。Google-Extendedの許可・ブロックは、Google検索への掲載やランキングに影響するものではありません。
AI OverviewやAI Modeに自サイトのコンテンツが表示されるかどうかは、Google検索の仕組みに基づきます。Google公式ドキュメントでは、AI OverviewやAI Modeの補助リンクとして表示されるには、「ページがGoogle検索にインデックスされ、スニペット表示可能であることが技術要件。」と説明されています。
なんで、Google-Extendedを許可したからといって、AI Overviewに出やすくなるわけではありません。逆にGoogle-Extendedをブロックしたからといって、それだけでGoogle検索から消えるわけでもありません。
整理するとこうなります。
| 設定 | Google検索への影響 | AI Overview・AI Modeへの影響 | Gemini学習・Vertex AI groundingへの影響 |
|---|---|---|---|
| Google-Extended 許可 | 検索掲載・ランキングへの直接影響なし | 許可しただけで掲載されやすくなるわけではない | 利用対象になる可能性がある |
| Google-Extended ブロック | 検索掲載・ランキングへの直接影響なし | ブロックしただけで検索から消えるわけではない | 対象用途から除外される |
Google検索やAI Overview・AI Modeでの表示を管理したい場合は、Googlebotのクロール可否や、noindex、nosnippet、max-snippetなどの検索向け制御を考える必要があります。
一方Google-Extendedは、Google検索そのものではなく、GeminiやVertex AI API for Geminiなど、Googleの一部AIシステムでの利用可否を伝えるための指定です。
内部リンク：AIクローラーは許可すべきか・ブロックすべきかも参考にしてください。
Google-Extendedは許可すべきか・ブロックすべきか
結論から言うと、サイトの方針によって異なります。ただし判断基準は明確です。
まず前提として、Google-ExtendedをブロックしてもGoogle検索への掲載やランキングに直接影響するものではありません。ブロックを検討する理由があるとすれば、自社コンテンツをGeminiやVertex AI API for Geminiなど、Googleの一部AIシステムでの学習・補助利用に使われたくない場合です。
以下の基準で判断するとわかりやすいです。
| こんなサイトは | 推奨設定 | 理由 |
|---|---|---|
| GoogleのAI機能での利用可能性を残したい | 許可 | GeminiやVertex AI API for Geminiなどで利用対象になる可能性を残せる |
| 独自の調査データや有料コンテンツを持っている | ブロック検討 | Googleの一部AIシステムでの学習・補助利用の対象外にできる |
| メディア・ニュースサイト | 方針次第 | 著作権・コンテンツ利用ポリシーに照らして判断する |
| 一般的なブログ・企業サイト | 許可寄り | AI利用の機会を残したいなら、あえてブロックする理由は少ない |
robots.txtでの設定例はこうなります。
許可する場合です。robots.txtで全体を許可している場合は、明示的に追記しなくても許可扱いになります。
User-agent: Google-Extended
Allow: /ブロックする場合です。
User-agent: Google-Extended
Disallow: /ひとつ注意点があります。Google-Extendedをブロックしても、Googlebotによるクロールそのものが止まるわけではありません。Google検索へのインデックスも、それだけで停止されるわけではありません。
Google検索での表示を制御したい場合は、Googlebotのクロール制御や、noindex、nosnippet、max-snippetなどの検索向け設定を別途考える必要があります。Google-Extendedは、あくまでGoogleの一部AIシステムでの利用可否を伝えるための指定です。
AI観測ラボでは現在、Google-Extendedを許可した状態で運用しています。観測期間中にGeminiやVertex AI系の引用・参照に変化があれば、続報として報告します。
内部リンク：AIクローラーは許可すべきか・ブロックすべきか
まとめ
Google-Extendedは、アクセスログにUser-Agentとして出てくるクローラーではありません。これはバグでも設定ミスでもなく、Google-Extendedの仕組み上見えるものです。
GooglebotやGoogleOtherのように独立したUser-Agentを持つクローラーとは異なり、Google-Extendedはrobots.txt上で機能する制御用トークンです。
実際のクロールはGooglebotやGoogleOtherなど、既存のGoogle系User-Agentで行われ、Google-Extendedという名前のクローラーがWebを巡回するわけではありません。
AI観測ラボの実測でも、約2週間の観測期間中にGoogle-ExtendedというUser-Agentのアクセスはゼロ件でした。grepしても出てこないのは、そもそもGoogle-Extendedという名前でログに残る仕組みではないからです。
許可・ブロックの判断はシンプルです。Google検索への掲載やランキングへの直接影響は、どちらの設定でも基本的にありません。自社コンテンツをGeminiやVertex AI API for Geminiなど、Googleの一部AIシステムに使われたくない場合は、Google-Extendedのブロックを検討する価値があります。
- Google-Extendedは独立したクローラーではなく、robots.txt上の制御用トークン
- アクセスログにGoogle-ExtendedというUser-Agentとして記録される仕組みではない
- 実際のクロールは既存のGoogle系User-Agentで行われる
- Google-Extendedの許可・ブロックは、Google検索への掲載やランキングに直接影響しない
- Gemini・Vertex AI API for Geminiなど、Googleの一部AIシステムでの利用可否を制御するための指定
AIクローラーやAIエージェントのアクセスは、GA4だけでは見えないことがあります。AI観測ラボでは、WordPressサイト向けにAIクローラーのアクセスを確認できる無料プラグイン「AI Kansoku Lab Tracker」も公開しています。
自分のサイトにどのAIクローラーが来ているのかを確認したい方は、AI Kansoku Lab Trackerも参考にしてください。
あなたのサイトは、
AIに見えていますか？
URLを入力するだけで30秒。8項目を自動診断し、優先度別の改善プランを提示します。完全無料・登録不要。
