XでシェアするたびにMetaのクローラーも来ていた—facebookexternalhitの正体【AI実験室 #14】

前回同様サーバーログを眺めていると、facebookのクローラーを確認いたしました。普通のクローラーなのか？AIなのか？

facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

「Facebookのクローラーが来ているけれど、Facebookには投稿していない」と首をかしげた経験がある方もいるかもしれません。AI観測ラボのサーバーログにも、7日間で92件の訪問記録がありました。ログを詳しく分析すると、Xに記事をシェアするたびに、MetaのクローラーがOGP情報を取得しに来ているパターンが見えてきました。

この記事でわかること｜📖：約5分

• facebookexternalhitの正体とAIクローラーとの違い
• 7日間92件のサーバーログから見えた実際の挙動パターン
• XでシェアするとなぜMetaのクローラーが来るのか
• robots.txtで制御できるかどうかの実測結果

facebookexternalhitとは何か

facebookexternalhitは、MetaがFacebook・Instagram・Messengerなどのプラットフォームで動かしているOGPフェッチャーです。誰かがMetaのサービス上でURLをシェアしたとき、リンクプレビューを生成するためにページ情報を取得しに来ます。

User-Agentの文字列は以下のとおりです。

facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

GPTBotやClaude Botのように、Web全体をインデックス化するために巡回するAIクローラーとは目的が異なります。facebookexternalhitが取得するのは、og:title・og:description・og:imageといったOGPタグの情報だけです。ページの本文を読み込んでAIの学習データにするわけではありません。

混同されやすいMeta-ExternalAgentとの違いも整理しておきます。

クローラー名	目的	取得対象
facebookexternalhit	OGPプレビュー生成	OGPタグのみ
Meta-ExternalAgent	AI学習・検索インデックス	ページ本文・コンテンツ全体

Meta系のクローラーという点は共通していますが、サーバーログに両方が記録されていた場合、役割がまったく異なります。

Meta-ExternalAgentの挙動や設定方法については、

Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
でまとめています。

サーバーログで見えた実態

AI観測ラボのサーバーログを確認したところ、4月6日から4月12日の7日間で92件のfacebookexternalhitアクセスが記録されていました。日別に集計すると、記事の公開日とアクセス数が連動していることがわかります。

日付	アクセス数	公開・投稿した記事数
4月6日	24件	3本同時公開
4月7日	22件	1本（AI実験室 #12）
4月8日	8件	1本（Perplexity）
4月9日	22件	1本（Bingbot）
4月10日	12件	1本（noindex）
4月11日	3件	1本（ByteSpider）
4月12日	1件	1本（OAI-SearchBot）

4月6日のアクセスが24件と多いのは、3本の記事を同日に公開してXへ投稿したためです。記事を1本公開してXにシェアするたびに、複数件のfacebookexternalhitが記録される傾向がありました。

アクセスしてきたURLの内訳も確認しました。

アクセス先URL	件数
/ai-crawler-pattern-comparison/	16件
/robots.txt	15件
/siri-ios27-applebot-future/	11件
/chatgpt-agent-ga4-stealth/	10件
/bingbot-copilot-crawler/	10件
/perplexity-crawler-guide/	9件
/twitterbot-ogp-fetch-server-log/	6件
/studio-nocode-ai-crawler/	6件

robots.txtへのアクセスが15件記録されており、15個の異なるIPアドレスから1件ずつ確認しに来ていました。facebookexternalhitが分散したインフラで動いていることがわかります。

なぜXでシェアするとMetaのクローラーが来るのか

XはMetaとは別の会社が運営するプラットフォームです。それでもXに記事URLを投稿すると、Metaのクローラーであるfacebookexternalhitがサーバーログに記録されます。仕組みを理解するには、OGPの動き方を把握する必要があります。

OGPフェッチの仕組み

URLがSNSに投稿されると、各プラットフォームはリンクプレビューを生成するためにOGP情報を取得しに来ます。XであればTwitterbot、MetaのサービスであればfacebookexternalhitがOGPフェッチャーとして動きます。

Xへの投稿をきっかけにfacebookexternalhitが来る理由は、主に2つ考えられます。

理由① XのポストがMetaのサービスで参照される

XのポストはFacebookやInstagramで引用・埋め込みされることがあります。

誰かがXのポストをFacebook上でシェアした場合、Metaはそのポストのリンクプレビューだけでなくリンク先のURLのOGP情報も取得しに来ます。AI観測ラボのログで記事公開日と連動してfacebookexternalhitが記録されていたのは、Xへの投稿がMetaのサービス上で参照されたためと考えられます。

理由② LINEも同じUser-Agentを使用している

facebookexternalhitというUser-Agentは、Meta以外のサービスでも使われているケースがあります。LINEでURLをシェアしたときのOGPフェッチにfacebookexternalhitが使われることが知られています。Xへの投稿URLを誰かがLINEでシェアした場合も、サーバーログにfacebookexternalhitが記録されます。

つまりfacebookexternalhitがサーバーログに記録されている場合、FacebookやInstagramだけでなく、LINEからの参照も含まれている可能性があります。

TwitterbotとfacebookexternalhitのIPの違い

同じXへの投稿をきっかけに来るクローラーでも、IPアドレスのレンジが異なります。

クローラー	IPレンジ	運営
Twitterbot	199.16.x.x・199.59.x.x など	X Corp.
facebookexternalhit	173.252.x.x・57.141.x.x・69.171.x.x など	Meta

XでシェアするたびにTwitterbotとfacebookexternalhitの両方がサーバーログに記録されるのは、それぞれが独立したインフラでOGPを取得しに来ているためです。1回の投稿で複数社のクローラーが動くのは、OGPという共通の仕組みを各プラットフォームが独自に実装しているからです。

Twitterbotの挙動については、XでシェアするたびにTwitterbotが大量に来ていた【AI実験室 #12】でまとめています。

robots.txtで制御できるか

facebookexternalhitはサーバーログにrobots.txtへのアクセスを残します。AI観測ラボのログでも、7日間で15個の異なるIPアドレスがrobots.txtを確認しに来ていました。

173.252.70.23
173.252.82.11
173.252.87.8
173.252.95.113
173.252.95.41
173.252.95.6
57.141.16.101
57.141.16.62
69.171.231.6
69.63.184.18
69.63.184.2
69.63.184.20
69.63.184.29
69.63.184.8
69.63.189.35

robots.txtへのアクセスが分散した複数のIPから来ているのは、facebookexternalhitがCDN的な分散インフラで動いているためと考えられます。

拒否設定は可能か

robots.txtでfacebookexternalhitを拒否する記述は以下のとおりです。

User-agent: facebookexternalhit
Disallow: /

ただし、拒否設定をおこなうとFacebook・Instagram・MessengerでリンクをシェアしたときにOGPプレビューが生成されなくなります。タイトルや画像が表示されないリンクになるため、クリック率への影響が出る可能性があります。

制御が必要なケースはあるか

通常のブログやメディアサイトであれば、facebookexternalhitを拒否する必要はありません。OGPプレビューの生成はSNSでの拡散に直接影響するため、許可しておくのが基本的な方針です。

会員向けの非公開ページや管理画面のURLがサーバーログに記録されている場合は、該当パスのみ拒否する設定を検討してください。

User-agent: facebookexternalhit
Disallow: /member/
Disallow: /admin/

OGPを正しく設定するとどう変わるか

OGP（Open Graph Protocol）は、FacebookのMetaが2010年に策定したメタデータの規格です。HTMLの<head>内にog:title・og:description・og:imageといったタグを記述することで、SNSでURLがシェアされたときにリンクプレビューの見た目を制御できます。

<meta property="og:title" content="記事タイトル" />
<meta property="og:description" content="記事の説明文" />
<meta property="og:image" content="https://example.com/image.webp" />
<meta property="og:url" content="https://example.com/article/" />
<meta property="og:type" content="article" />

facebookexternalhitが取得しに来るのは、まさにこのOGPタグの情報です。OGPが正しく設定されていない場合、Facebook・Instagram・LINEでURLをシェアしてもタイトルや画像が表示されないリンクになります。

OGPの設定が不十分だとどうなるか

facebookexternalhitがページを取得しに来ても、OGPタグが設定されていなければプレビューを生成できません。具体的には以下のような問題が起きます。

OGPの状態	SNSシェア時の見た目
正しく設定済み	タイトル・説明文・画像が表示される
og:imageのみ未設定	画像なしのテキストのみのリンクになる
OGP未設定	URLのみが表示される・クリック率が大幅に下がる

WordPressでのOGP設定方法

WordPressを使っている場合、Yoast SEOやAll in One SEOといったプラグインを導入することでOGPタグを自動で出力できます。og:imageには横1200px・縦630px以上の画像を設定しておくと、Facebook・InstagramなどMetaのサービスで画像が正しく表示されます。

OGPの設定項目と最適化の詳細については、「なんとなく設定した」OGPがAIの評価を左右していたでまとめています。またOGPはAIクローラーの引用にも影響するため、AIに引用されるメタタグの条件も合わせて参照してください。