ExaSearchBotとは？AIエージェント向け検索クローラーをアクセスログで初観測

2026年7月23日、AI観測ラボのサーバーログに、見慣れないUser-Agentが初めて記録されました。

Mozilla/5.0 (compatible; ExaSearchBot/1.0; +https://exa.ai/bot)

ExaSearchBotは、AIエージェント向けの検索APIを提供するExa（エクサ）が運用するWebクローラーです。公開Webを巡回して検索インデックスを構築し、AIアプリによる情報の検索・取得・引用を支えています。

AI観測ラボでは、7月23日の初観測から8月9日までの18日間に、合計159件のアクセスを確認しました。そのうち8件がrobots.txtへのアクセスです。また、ログには3種類のUser-Agentが記録されており、観測期間中にUAの表記が変化していました。

2026年8月時点で、ExaSearchBotの挙動を詳しく解説した日本語記事は、筆者が確認した範囲では見当たりません。本記事では、実際のアクセスログをもとに、ExaSearchBotの目的、3種類のUAの違い、クロールの特徴について解説します。

この記事でわかること｜📖：約6分

• ExaSearchBotがどのようなサービスのクローラーか
• アクセスログで観測した実測データ（件数・時間帯・アクセス先）
• 3種類確認されたUser-Agentの違いと注意点
• robots.txtでの制御方法と本物か確認する方法

ExaとExaSearchBotの関係

Exa（エクサ）は、AIエージェントや開発者向けの検索APIを提供するアメリカのスタートアップです。以前はMetaphorという名称でサービスを展開していましたが、2024年にExaへリブランディングされました。

AIエージェントが最新のWeb情報を検索したり、関連するページの本文を取得したりするための検索基盤を提供しています。

ExaSearchBotは、Exaの検索インデックスを構築するために公開Webを巡回するクローラーです。Google検索におけるGooglebotに近い役割ですが、Exaは主にAIエージェントやアプリケーション向けに検索機能を提供している点が異なります。

Exa公式は、ExaSearchBotの目的を「検索と情報取得」と説明しています。同じAI関連クローラーでも、モデルの学習・改善を目的とするGPTBotやClaudeBotとは、公式に示された役割が異なります。

実測ログで確認した3種類のUser-Agent

AI観測ラボのアクセスログには、ExaSearchBotを名乗るUser-Agentが3種類記録されていました。

UA① exa.ai/botを含む形式（150件）

Mozilla/5.0 (compatible; ExaSearchBot/1.0; +https://exa.ai/bot)

観測期間中、もっとも多く記録されたUser-Agentです。2026年7月23日の初観測以降、8月に入ってからも継続して確認されています。

UA② crawler.exa.aiを含む形式（7件）

Mozilla/5.0 (compatible; ExaSearchBot/1.0; +https://crawler.exa.ai/)

8月以降に記録されたUser-Agentです。Exa公式のクローラー情報ページは2026年7月30日付で更新されており、現在公式に案内されているUser-Agentはこの形式です。

新しい形式を確認した後も、従来のexa.ai/botを含む形式からのアクセスは続いていました。観測期間中に完全に切り替わったわけではなく、2種類のUser-Agentが併存していたことになります。

UA③ ExaSearchBotのみの形式（2件）

ExaSearchBot

このUser-Agentによる2件のアクセスは、いずれもrobots.txtを対象としていました。ページ本文へのアクセスには使われていないことから、robots.txtの確認時に別のUser-Agentを使い分けていた可能性があります。ただし、観測数は2件だけであり、用途を断定することはできません。

3種類のUser-Agentをまとめると、下記のとおり。

User-Agent	件数	観測時期	備考
〜exa.ai/bot	150件	7月〜8月	最多。8月以降も継続
〜crawler.exa.ai/	7件	8月以降	現在の公式掲載UA
ExaSearchBot	2件	7月末〜8月初旬	robots.txtのみ

mata
、User-Agentの文字列は容易に偽装できるため、これだけでExaが送信したアクセスだと断定することはできません。ExaSearchBotの真正性を確認する方法については、後半の「署名による真正性確認」で解説します。

18日間・159件のアクセス推移

AI観測ラボでは、2026年7月23日から8月9日までの18日間に、ExaSearchBotを名乗るアクセスを合計159件確認しました。日別の内訳は次のとおりです。

日付	件数
7月23日	28件
7月24日	34件
7月25日	4件
7月27日	4件
7月29日	3件
8月2日	2件
8月3日	24件
8月4日	2件
8月5日	11件
8月6日	17件
8月7日	20件
8月8日	8件
8月9日	2件

※アクセスが0件だった日は表から省略しています。

初観測となった7月23日と翌24日だけで62件を記録しており、全体の約39%が最初の2日間に集中しています。複数のページを短期間にまとめて取得したあと、アクセス頻度が下がる動きが確認できました。サイトを発見した直後の初回巡回だった可能性がありますが、アクセスログだけでExa側の発見時期を断定することはできません。

7月25日以降はいったん散発的なアクセスに移りましたが、8月3日に24件と再び増加しました。さらに8月5日から7日にかけても、11件、17件、20件と連日のアクセスが確認されています。一定間隔で機械的に巡回するというより、複数回に分けてまとまったクロールが行われているように見えます。

アクセス時刻を日本時間で集計すると、12時台が14件で最多でした。ですが、全体の約9%にとどまり、アクセスは深夜・早朝を含むすべての時間帯に分散しています。今回の観測範囲では、特定の時間帯に集中する明確な傾向は確認できませんでした。

robots.txtへのアクセス

観測期間中、ExaSearchBotを名乗るrobots.txtへのアクセスは8件確認されました。このうち2件は、完全なブラウザ形式ではなく、ExaSearchBotとのみ記載されたUA③によるものです。UA③によるアクセス先は2件ともrobots.txtで、通常の記事ページへのアクセスは確認されませんでした。

robots.txtへのアクセスは、クローラーがサイト内のどのページを取得できるかを確認するための動作です。今回のログでは初回の巡回時だけでなく、観測期間中に複数回の取得が確認されました。AI観測ラボでは、GPTBotやClaudeBotなどのクローラーでも、robots.txtを定期的に再取得する挙動を観測しています。

AI観測ラボのrobots.txtには、ExaSearchBot向けの個別ルールを設定していません。Exa公式によると、ExaSearchBotを対象とするルールがない場合、主要な検索エンジン向けに設定されたルールを参照し、それもない場合はワイルドカードのUser-agent: *に対するルールを適用します。

ExaSearchBotを個別に制御する場合、robots.txtでは次のproduct tokenを使用します。

User-agent: ExaSearchBot

上記でいうところのproduct tokenは、robots.txt上でクローラーを識別するための名称です。アクセスログに記録されたUA③の文字列と同じですが、公式情報だけでは、UA③がrobots.txt確認専用のUser-Agentとして意図的に使われているかまでは判断できません。具体的な設定方法は、後半の「ExaSearchBotをブロックする方法」で解説します。

公式情報と実測ログを照合

Exa公式のクローラー情報ページ「Exa Search Crawler」には、2026年7月30日という更新日が記載されています。

AI観測ラボでExaSearchBotを初めて観測したのは、それより7日前の7月23日です。少なくともAI観測ラボには、公式ページに記載された更新日より前から、exa.ai/botを含むUser-Agentによるアクセスが発生していたことになります。

公式ページでは、ExaSearchBotの目的について次のように説明されています。

ExaSearchBotは公開Web上のページを取得し、Exaを通じてコンテンツを発見できるようにします。その目的は検索と情報取得であり、ユーザーやアプリケーションをWebサイトのコンテンツへつなぐことです。

（Exa公式の説明をもとに翻訳。出典：Exa Search Crawler）

また、2026年8月時点で公式が案内しているUser-Agentは、次の形式です。

Mozilla/5.0 (compatible; ExaSearchBot/1.0; +https://crawler.exa.ai/)

一方、AI観測ラボのログで最多だったのは、exa.ai/botを含むUA①です。公式ページの更新後にUA②を初めて観測したことから、更新前の形式から新しい形式へ移行していた可能性があります。

ですが、UA②の観測後もUA①によるアクセスは続いており、観測期間中に完全な切り替えは確認できませんでした。また、過去にexa.ai/bot形式が公式に案内されていたかは、現在の公式ページだけでは確認できません。

User-Agentの文字列は第三者でも容易に偽装できます（偽装クローラーの解説記事）。そのため、アクセスログにExaSearchBotと記録されていても、それだけで本物のExaSearchBotだと断定することはできません。Exaが案内している署名による確認方法について、次のセクションで解説します。

署名による真正性確認

User-Agentの文字列は、第三者でも自由に書き換えられます。そのため、アクセスログにExaSearchBotと記録されていても、それだけで本物のExaSearchBotだと断定することはできません。

Exa公式は、この問題に対応するため、すべてのExaSearchBotリクエストをRFC 9421準拠のHTTP Message Signaturesによって暗号的に署名していると説明しています。

各リクエストには、次の3種類のヘッダーが付与されます。

• Signature
• Signature-Input
• Signature-Agent

Exaが公開している鍵情報を取得し、リクエストの署名を検証することで、送信元が正規のExaSearchBotであることや、署名対象の情報が途中で改変されていないことを暗号的に確認できます。

検証に使用する公開鍵ディレクトリは、次のURLで公開されています。

https://crawler.exa.ai/.well-known/http-message-signatures-directory

ExaSearchBotの公開鍵ディレクトリを確認する

今回のログでは署名を検証できなかった

一般的なApacheのアクセスログには、リクエストのUser-Agentやアクセス先、ステータスコードなどは記録されますが、Signatureなどの署名ヘッダーは通常記録されません。

AI観測ラボの今回のログにも署名ヘッダーは残っていなかったため、159件のアクセスについて暗号署名による真正性確認は行えていません。確認できたのは、ExaSearchBotを名乗る3種類のUser-Agentが記録され、そのうちUA②の7件が現在公式に案内されている文字列と一致していたことまでです。

署名を確認する方法

署名を検証するには、リクエストを受信した時点で必要なヘッダーと署名対象の情報を取得し、RFC 9421に沿って検証する仕組みが必要です。Webサーバーやアプリケーション側で検証処理を実装する方法のほか、Web Bot Authに対応したCDNやセキュリティサービスを利用する方法があります。

Exa公式によると、CloudflareやAkamaiなどのWeb Bot Auth対応事業者では、ExaSearchBotの署名をエッジ側で自動的に検証できます。ただし、検証結果の確認方法や利用条件は、各サービスの契約内容や設定によって異なる可能性があります。

ExaSearchBotの制御方法

ExaSearchBotは、robots.txtで指定されたルールを尊重すると公式に説明されています。個別に制御する場合は、robots.txtにExaSearchBotを対象とするルールを追加します。

クロールを許可する場合

ExaSearchBotによるサイト全体のクロールを明示的に許可する場合は、次のように記述します。

User-agent: ExaSearchBot
Allow: /

ExaSearchBot向けの個別ルールを設定していない場合、Exa公式によると、主要な検索エンジン向けに設定されたルールを参照し、それもない場合はワイルドカードのUser-agent: *に対するルールを適用します。

robots.txtに制限するルールがなく、Exaの検索インデックスにWebサイトのコンテンツを掲載したい場合は、通常は特別な設定を追加する必要はありません。

サイト全体をブロックする場合

ExaSearchBotによるサイト全体のクロールを拒否する場合は、robots.txtに次のルールを追加します。

User-agent: ExaSearchBot
Disallow: /

特定のディレクトリだけを除外する場合

特定のディレクトリのみクロールを拒否したい場合は、Disallowに対象のパスを指定します。

User-agent: ExaSearchBot
Disallow: /private/

この設定では、/private/以下へのアクセスを拒否し、それ以外のページはクロールを許可します。

すでに登録されたページを削除する場合

robots.txtはクローラーによるページ取得を制御する仕組みであり、すでにExaのインデックスに登録されたページを直ちに削除するものではありません。

Exa公式は、登録済みのページをインデックスから削除する方法として、HTMLのrobotsメタタグ、またはHTTPレスポンスのX-Robots-Tagにnoindexを設定する方法を案内しています。noindexをAIクローラーに適用する際の注意点は、noindex・nofollow設定とAIクローラーの関係で詳しく解説しています。

<meta name="robots" content="noindex">

HTTPレスポンスヘッダーで指定する場合は、次の形式です。

X-Robots-Tag: noindex

ExaSearchBotがそのページを再取得した際にnoindexを確認すると、インデックスから削除されます。そのため、削除を確認する前にrobots.txtでクロール自体を拒否すると、ExaSearchBotがnoindexを読み取れない可能性があります。

なお、ExaSearchBotだけを対象にしたrobots.txtの設定が、GoogleやBingなど他の検索エンジンのクロールや検索順位へ直接影響することはありません。ただし、Exa経由でコンテンツが検索・引用される機会には影響します。robots.txtを使ったAIクローラー全般の制御方法は、robots.txtでAIクローラーを制御する方法で詳しく解説しています。

まとめ

AI観測ラボでは、2026年7月23日から8月9日までの18日間に、ExaSearchBotを名乗る合計159件のアクセスを確認しました。

• ExaSearchBotは、AIエージェント向け検索APIを提供するExa（エクサ）が運用するWebクローラーです
• 公式に示された主目的は、検索インデックスを構築し、ユーザーやアプリケーションによる検索・情報取得を可能にすることです
• ログには3種類のUser-Agentが記録され、現在公式に案内されているのはcrawler.exa.aiを含む形式です
• 7月23日と24日の2日間に全体の約39%が集中し、いったん減少したあと、8月に再びまとまったアクセスが確認されました
• robots.txtへのアクセスは8件あり、観測期間中に複数回取得していました
• Exa公式はRFC 9421準拠の署名による真正性確認に対応していますが、今回のアクセスログには署名ヘッダーがなく、暗号的な検証はできていません
• クロールを個別に制御する場合は、robots.txtにUser-agent: ExaSearchBotを対象とするルールを設定します

今回の観測では、Exa公式ページに記載された2026年7月30日の更新日を挟んで、異なる形式のUser-Agentが記録されました。新しい形式の観測後も従来の形式によるアクセスは続いており、複数のUser-Agentが併存していたことが分かります。

新しいAIクローラーは、運営元や目的、識別方法などの情報がまだ広く知られていない段階で、アクセスログに現れることがあります。サーバーログを継続的に確認することで、新しいクローラーの出現やUser-Agentの変化を早い段階で把握できます。