YouBotとは？You.comのAIクローラーをサーバーログで実測した

AI検索エンジン「You.com」のクローラー「YouBot」が、AI観測ラボのサーバーログに姿を現しました。

2026年7月22日に初めてアクセスを確認してから8月10日までの20日間で、CSSや画像などの静的ファイルを除き、合計112件のアクセスを記録しました。YouBotは日本語での解説記事がほぼ存在しないクローラーです。

AI観測ラボでは、実際のサーバーログをもとに、YouBotの正体やUser-Agentの特徴、クロール行動のパターンを詳しく分析します。

この記事でわかること｜読了：約6分

• YouBotがYou.comのAI検索クローラーであることと、その運営背景
• User-Agent文字列の構造と「env:prod」が示す可能性のある情報
• 20日間・112件の実測ログから見えたクロール行動の特徴
• robots.txtでYouBotのアクセスを制御する方法

YouBotとは何か

YouBotは、You.comが運用するWebクローラーです。Web上のページを巡回して情報を収集し、You.comが提供するAI検索やWeb検索APIなどに必要なWebデータの取得に利用されているとみられます。

基本的な役割は、Googlebotなどの検索クローラーと共通しています。。Webページへアクセスしてコンテンツやリンクを取得し、検索やAIによる回答生成に利用できる情報を収集します。ただし、YouBotが取得したページが必ずYou.comの検索結果やAI回答に表示・引用されるとは限りません。

You.comとは？運営元と創業者

You.comは2020年に設立され、2021年に検索サービスを一般公開したアメリカのAI企業です。当初は消費者向けのAI検索エンジンとして注目されましたが、現在はAIエージェントや開発者向けのWeb Search API、Contents API、Research APIなども提供しています。

共同創業者兼CEOのRichard Socher（リチャード・ソーシャー）は、スタンフォード大学でコンピューターサイエンスの博士号を取得し、同大学で教員を務めた経歴を持ちます。その後、SalesforceでChief ScientistおよびEVPを務めた、自然言語処理分野の研究者です。

YouBotのUser-Agent文字列

AI観測ラボのサーバーログで確認したYouBotのUser-Agent文字列は、以下のとおりです。

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; YouBot/1.0; +https://docs.you.com/youbot; env:prod) Chrome/142.0.0.0 Safari/537.36

この文字列は複数のパーツで構成されています。それぞれが示す情報を順番に見ていきます。

パーツ	内容
Mozilla/5.0	ブラウザやクローラーのUser-Agentで、互換性を示すために慣習的に使われる文字列です。
AppleWebKit/537.36	WebKit系のブラウザとの互換性を示すトークンです。
KHTML, like Gecko	KHTMLやGecko系のレンダリングエンジンとの互換性を示す慣習的な記述です。
compatible; YouBot/1.0	クローラー名がYouBotで、バージョン表記が1.0であることを示します。
+https://docs.you.com/youbot	YouBotに関する公式ドキュメントを示すURLとして、User-Agent内に記載されています。
env:prod	YouBotに特徴的な記述です。詳しい意味は次の章で考察します。
Chrome/142.0.0.0 Safari/537.36	ChromeやSafariとの互換性を示すブラウザ形式のトークンです。この表記だけで、実際にChromeが使用されているとは断定できません。

また毎回記述しておりますが、User-Agent文字列は送信者が任意に設定できるため、この文字列だけでアクセス元が正規のYouBotであるとは断定できません。正規性を確認するには、アクセス元IPアドレスやHTTP Message Signaturesなどもあわせて調べる必要があります。

env:prodとは何か

主要なAIクローラーの一般的なUser-Agentではあまり見かけない形式です。たとえばExaSearchBotのUser-Agentには、このような環境変数を示す記述はありません。

2026年8月時点で、You.comの公式ドキュメントには、この記述の意味に関する説明が見当たりません。ただし、ソフトウェア開発ではprodは「production（本番環境）」の略語として広く使われています。また、envは「environment（環境）」を表すのが一般的です。

この命名慣習にもとづけば、env:prodは、YouBotが本番用の実行環境または本番向けの処理系で動作していることを示す内部ラベルが、User-Agentに含まれたものと考えられます。ですが、この表記だけから、具体的なサーバー構成やアクセス元の環境まで判断することはできません。

この解釈が正しければ、開発・検証用としてenv:devやenv:stagingのような別の値が設計上用意されている可能性もあります。しかし、AI観測ラボでは、そのようなUser-Agentを実際には確認していません。これらは一般的な命名慣習から考えられる仮説であり、実在を示すものではありません。

AI観測ラボが2026年7月22日から8月10日までに観測した、静的ファイルを除く112件のアクセスでは、すべて同一のUser-Agent文字列が使われていました。env:prod以外のバリエーションは確認されていません。

実測ログで見るYouBotの動き

AI観測ラボでは、2026年7月22日から8月10日までの20日間、サーバーログからYouBotのアクセスを記録しました。集計結果は以下のとおりです。

集計区分	件数
全リクエスト（生ログ）	169件
静的ファイルを除外（CSS・JS・画像など）	112件
うちHTMLページへのアクセス	59件

日別アクセス数の推移

以下は、CSSや画像などの静的ファイルを除外した112件の日別集計です。アクセスは毎日均等ではなく、特定の日に集中するバースト型の動きが見られました。

7月30日に17件、31日に16件を記録し、この2日間だけで全体の約29%を占めています。その後も8月4日まではアクセスが続きましたが、8月5日から7日までは3日間途絶えました。

日付	件数
7月22日	3件
7月23日	4件
7月24日	4件
7月25日	4件
7月26日	6件
7月27日	8件
7月28日	2件
7月29日	6件
7月30日	17件（ピーク）
7月31日	16件
8月1日	9件
8月2日	6件
8月3日	7件
8月4日	10件
8月5日〜7日	0件
8月8日	10件
8月9日〜10日	0件

robots.txtへのアクセス

静的ファイルを除外した112件のうち、53件がrobots.txtへのアクセスでした。全体の約47%にあたります。YouBotがページの取得と並行して、クロール条件を繰り返し確認している挙動が見られました。

ただし、robots.txtへアクセスしたという事実だけで、記載されたルールを実際に遵守したとまでは断定できません。遵守状況を判断するには、クロールを禁止したURLへのアクセスが発生していないかも、あわせて確認する必要があります。

アクセス元IPアドレス

生ログで確認した169件のアクセスは、すべて68.67.112.0/24内のIPアドレスから来ていました。観測期間中に確認したIPアドレスは41種類にのぼり、単一のIPではなく、同じサブネット内の複数のIPを使ってクロールしていることがわかります。

ARINの登録情報では、このIPレンジの登録名はSUSEA、組織名はYou.comとなっています。User-Agentだけでなく、アクセス元IPの情報からも、You.comが運用するクローラーであることを裏づけられます。

また、このIPレンジは、Amazonが運用するAS14618からインターネット上に経路広報されています。このことから、You.comに割り当てられたIPレンジをAWSのネットワーク上で運用している可能性があります。

クロール先のURL傾向

HTMLページへの59件のアクセスを見ると、特定の記事だけに集中するのではなく、タグページや個別記事を広く巡回していました。同じURLへの重複アクセスは少なく、観測期間中はサイト内のさまざまなURLを広く探索するような動きが見られました。

今回のログからは、一部の人気記事だけを繰り返し取得するのではなく、サイト内のコンテンツを幅広く発見しようとするクロールであった可能性が考えられます。ただし、観測期間は20日間に限られるため、これがYouBotの恒常的な動作パターンであるかは、今後も継続して確認する必要があります。

robots.txtでYouBotのクロールを制御する方法

YouBotには、robots.txtを通じてクロールしてよい範囲を伝えられます。AI観測ラボの実測ログでも、YouBotがページの取得と並行してrobots.txtを繰り返し確認する動きが見られました。

ただし、robots.txtはクローラーに対する指示であり、サーバーへのアクセスを技術的に遮断する仕組みではありません。今回のログからも、YouBotがrobots.txtを取得したことは確認できましたが、すべての記述をどのように解釈し、遵守するかまでは検証できていません。

サイト全体のクロールを許可する場合

YouBotによるサイト全体のクロールを明示的に許可する場合は、下記のように記述します。

User-agent: YouBot
Allow: /

YouBotに対する個別の禁止ルールがなく、User-agent: *にも該当する禁止ルールがなければ、基本的には追加対応は必要ありません。ただし、クロールを許可しても、You.comの検索結果やAI回答への掲載・引用が保証されるわけではありません。

サイト全体のクロールを拒否する場合

User-agent: YouBot
Disallow: /

この記述は、YouBotに対してサイト全体をクロールしないよう指示するものです。YouBotがこのルールに従った場合、ページの内容を取得できなくなり、You.comの検索結果やAI回答で表示・引用されにくくなる可能性があります。

特定のディレクトリだけ拒否する場合

User-agent: YouBot
Disallow: /preview/
Disallow: /internal-search/

クロールさせたくないディレクトリを個別に指定できます。指定したパスから始まるページが、YouBotのクロール対象から除外されるよう指示します。

なお、robots.txtはパスの存在を外部に公開するファイルでもあります。個人情報、機密情報、管理画面、会員限定コンテンツなどの保護には使用せず、ログイン認証やアクセス権限、サーバー設定などで適切に制限してください。

クロール頻度を下げたい場合

User-agent: YouBot
Crawl-delay: 10

Crawl-delayは、連続するリクエストの間隔をクローラーに伝えるために使われる非標準の記述です。上の例では、10秒の間隔を空けるよう求めています。

Crawl-delayは標準のRobots Exclusion Protocolには含まれておらず、対応状況や値の解釈はクローラーによって異なります。YouBotがこの記述に対応しているかは、You.comの公式情報およびAI観測ラボのログでは現時点で確認できていません。

サーバー負荷を確実に抑える必要がある場合は、Crawl-delayだけに頼らず、サーバーやCDN、WAFによるレート制限も検討してください。

他のAIクローラーも同時に設定したい場合は、AIクローラー向けrobots.txt設定ガイドも参考にしてください。

まとめ

YouBotは、AI検索やWeb検索APIを提供するアメリカのAI企業You.comが運用するWebクローラーです。AI観測ラボが20日間のサーバーログから確認した特徴を整理します。

• 観測期間は2026年7月22日から8月10日までの20日間で、全リクエストは169件、静的ファイルを除くと112件、うちHTMLページへのアクセスは59件でした。
• アクセスは毎日均等ではなく、7月30日に17件、31日に16件が集中するバースト型の動きが見られました。8月5日から7日まではアクセスが途絶えています。
• 静的ファイルを除いた112件のうち、53件がrobots.txtへのアクセスで、約47%を占めていました。クロール条件を繰り返し確認する挙動は見られましたが、すべてのルールを遵守したかまでは確認できていません。
• 169件のアクセスは、すべて68.67.112.0/24内の41種類のIPアドレスから来ていました。このIPレンジはYou.com名義で登録されており、同じサブネット内の複数のIPを使ってクロールしていました。
• 観測したUser-Agentは1種類で、env:prodという特徴的な記述が含まれていました。一般的な命名慣習では本番用の実行環境や処理系を示している可能性がありますが、You.comによる公式な説明は2026年8月時点で確認できていません。

YouBotによるクロールを許可することで、自分のサイトがYou.comの検索やAI回答で参照される可能性が生まれます。ただし、クロールを許可しても、検索結果への掲載やAI回答での引用が保証されるわけではありません。

YouBotにクロールしてほしくないページがある場合は、robots.txtで対象範囲を指定できます。ただし、robots.txtはクローラーへの指示であり、アクセスを技術的に遮断する仕組みではない点には注意が必要です。

同じAI検索系クローラーとしては、Exaが運用するExaSearchBotや、OpenAIが運用するOAI-SearchBotも観測しています。AI検索クローラー全体の動向については、AIクローラーまとめもあわせてご覧ください。