AIクローラー
「AIクローラー」タグの観測記録一覧です。
AIはサイトを「まとめて」読みに来る？タグ・画像・周辺ページまで見に来た話
AIクローラーは記事1本だけでなく、タグ・記事一覧・用語集・…
meta-webindexerとは？Meta AI検索に関係するクローラーの正体と動き
meta-webindexerとは何か。Meta AI検索に…
ChatGPTに引用されるサイトの条件｜AIに読まれやすいページ設計とは
ChatGPTに引用されるサイトには何が必要なのか。GPTB…
「WWDC26」にてSiri AIが発表された—サイト運営者が知っておくべきことを整理する
2026年6月9日のWWDC 2026で発表されたSiri …
Apple Intelligenceはどこから情報を集めているのか｜Applebotの実測ログで見えたこと
Applebotとは何か？Apple Intelligenc…
AIクローラーはメタタグを見ているのか？実測ログから考えるページ情報設計
AIクローラーはrobots.txtを確認してから記事HTM…
DuckAssistBotとは？DuckDuckGoのAI回答クローラーが実際に読んでいたページを調べてみた
DuckAssistBotはDuckDuckGoのAI回答生…
ClaudeはどうやってWebを読んでいるのか？AIが答えを作る裏側を調べてみた
ClaudeはどうやってWebサイトを読んでいるのでしょうか…
GeminiってChatGPTと何が違うの？特徴や使い分けをわかりやすく解説
GeminiはGoogleが作ったAI、ChatGPTはOp…
Googleのコアアップデートが終わった日、サイトの裏側では何が起きていたのか
2026年6月2日のGoogleコアアップデート完了日に、A…
Perplexityとは？どうやって情報を集めて答えているの？
Perplexityとは何かを初心者向けに解説。Google…
ChatGPTはどこから情報を持ってくるの？—3つの経路とサイト運営者が確認すべきこと
ChatGPTが情報を集める方法は「学習済みデータ」「リアル…
GoogleとChatGPTの検索って何が違うの？
最近Googleで調べると、検索結果の上に答えが出ることが増…
OAI-SearchBotとは？ChatGPT検索専用クローラーの役割と仕組み
OAI-SearchBotはChatGPT Search専用…
AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】
AIクローラーはHTMLしか読まない——そう思っていた。 G…
AIが自分のサイトに来ているか確認する方法
AI観測ラボの実測ログでは、GPTBot・ChatGPT-U…
Amazonbotとは—Alexaを支える3種類のクローラーと実測ログで見えた行動
AmazonbotはAlexa向けクローラーというだけではあ…
Bingbotとは？—629件の実測ログで見えた巡回パターンとMicrosoft AI検索の関係
Bingbotとは？AI観測ラボの実測ログ（8日間629件）…
ClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み
Anthropicのクローラーは3種類あり、それぞれ役割が異…
PerplexityはWebをどう読んでいるのか—1,194件のログで見えたAI巡回の仕組み
PerplexityがWebをどう巡回しているのか。3か月・…
llms.txtとは？robots.txtとの違いとAIクローラーへの影響
llms.txtとは何か。robots.txtとの違いやll…
AI-Observatory/1.0 続報—6日後に行動パターンが変化した【AI実験室 #19】
サーバーログに記録された謎のエージェント「AI-Observ…
AIクローラーは記事より先に運営者情報を確認している？—AI検索時代のサイト信頼性
AI観測ラボのサーバーログを調査したところ、AIクローラーが…
ChatGPTはどうやって情報を集めているのか｜実測ログで見えた裏側
ChatGPTはどのページを見に来ているのか。2026年5月…
Perplexityに引用されるサイトの条件—実測ログから見えた5つの設計
Perplexityに引用されるサイトには共通した設計があり…
サーチコンソールで見えるもの、見えないもの｜AIクローラー時代に確認したい3つの指標
サーチコンソールに映らないOpenAIGPTBot・Anth…
WordPressのカテゴリーとタグ設定｜乱立させない決め方と見直し方法
Yoast SEOでカテゴリーページのタイトル・メタディスク…
GA4を入れたけど何も見てない人へ—最初に確認すべき3つの数字
GA4を導入したものの、数字が多くてどこを見ればいいかわから…
AI可視性とは何か—定義がバラバラな理由と入口・出口で見る本当の評価軸
AI可視性の定義はツールによってバラバラです。Ahrefsや…
query fan-outは本当に起きているのか—ChatGPT-Userの同秒・複数IPアクセスを検証【AI実験室 #17】
ChatGPT-Userが同じ秒に複数IPから異なるページへ…
robots.txt完全ガイド｜AIクローラー制御—実測ログで見えた設計の正解
robots.txtに書けば本当に制御できるのか。AI観測ラ…
また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れないUser-Agentが現れました。1…
タグをnoindexにしたらGPTBotが止まった｜Yoast SEO設定の落とし穴
「タグはnoindexが正解」—と設定した直後、GPTBot…
AIクローラーが一番アクセスするのはどこか—ログで見えた3つの入口と確認方法
複数サイトのサーバーログを集計したところ、AIクローラーのア…
GPTBotはなぜ記事本文を読まないのか—「sitemap巡回型」の正体
GPTBotのアクセスの約8割は記事本文以外——robots…
ClaudeBotはどう動いてサイトを読むのか—ログで見えた5つの行動パターンと対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測…
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Clarity AI Bot Activity設定と実測データ—GA4に出ないAIクローラーを可視化する
Microsoft Clarity AI Bot Activ…
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。G…
Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き
Applebotとは何かをわかりやすく解説。Siri・Spo…
Web Bot Authとは—AIクローラーの『なりすまし』を暗号で解決する新技術
Web Bot Authは、AIクローラーが暗号署名で本物か…
AIボットは2種類じゃなかった—サーバーログで見えた3つの役割
GPTBot・ClaudeBot・ChatGPT-Userな…
IndexNowとは？Bingbotは何分で来る？実測3記事【最短3分】
記事公開からBingbot初訪問まで最短3分・平均約20分。…
Bing Webmaster ToolsのAI Performanceとは—登録手順と4つの指標の読み方
Bing Webmaster ToolsのAI Perfor…
GPTBotはサイトマップを3回確認してからクロールしていた【AI実験室 #15】
index.mdを設置したらGPTBotは来るのか？サーバー…
WebMCPとは？AIがWebサイトを操作する仕組みと運営者の準備
WebMCPは、AIエージェントがWebサイトを操作しやすく…
GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来…
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されな…
AI観測ラボのツールでできること—スコア診断からAI訪問の観測まで
AI観測ラボは、サイトがAIに読まれやすい状態かをスコアで診…
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエー…
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、2…
PerplexityBotとは—PerplexityのAIクローラーの仕組みと役割
PerplexityBotはAI検索サービスPerplexi…
XでシェアするたびにTwitterbotが大量に来ていた【AI実験室 #12】
Xに記事をシェアした直後、サーバーログに見慣れないアクセスが…
AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】
AIクローラーは、どのサイトにも同じように来ているわけではあ…
Studioで作ったサイト、AIに読まれていますか？—ノーコードツール別の確認手順と代替策
Studioで作ったサイトは、見た目が美しいです。デザインの…
AIはHTMLよりMarkdownを好む—サイトにmdファイルを置くとどうなるか
AIはHTMLよりMarkdownを読みやすいとされています…
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…
ノーコードツールで作ったサイト、AIに読まれていますか？—SPA問題とツール別の対応状況を調べた
「ノーコードツールで作ったサイトがAIに紹介されない」——そ…
GA4だけではAI流入は計測できない—サーバーログで補完する方法
GA4だけではAIクローラーの巡回やアプリ経由の流入は見えま…
AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebot…
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが運用する3種類のボット（ClaudeBo…
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAg…
タグをnoindexにしたら、GPTBotが来なくなった【AI実験室 #07】
「タグページはnoindexにするのが正解」——そう信じてあ…
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…
SNSをいくら頑張ってもAIには引用されない—86,000件の分析でわかった現実
Instagram・X・TikTok・Facebookのいず…
誰かがChatGPTにURLを貼った—サーバーログで見えた正体【AI実験室 #11】
サーバーログを眺めていたら、見慣れないユーザーエージェント（…
AmazonbotがREST APIを叩いていた—サーバーログで見えた新事実【AI実験室 #05】
サーバーログを眺めていたら、見慣れないアクセスが目に入りまし…
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです…
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
ChatGPTに広告が入ると、AI引用の価値は下がるのか？
ぼく（ジッピー）の回答の横に、広告が表示されるようになった。…
AIクローラーを拒否する前に知っておくべきこと
「AIクローラーをブロックしたい」と思って検索した人へ。ro…
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けて…
AI検索とは—1,750件来たAIクローラーがこの記事だけ読まなかった理由
AI検索の仕組みをサーバーログの実測データで解説します。直近…
llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
冨島 基宏 Motohiro Tomishima AI実験室…
記事公開からAI引用まで何時間？GoogleとPerplexityを同時計測した【AI実験室 #03】
冨島 基宏 Motohiro Tomishima AI実験室…
AIはなぜMarkdownを好むのか｜HTMLより効率的な理由
Markdownって、使ったことありますか？ 「なんか記号が…
ノイズだらけのHTMLをAIに読ませたら、どこまで正確に理解できるのか？【AI実験室 #01】
冨島 基宏 Motohiro Tomishima AI実験室…
コンテンツ改善したのにGA4が悪化？実は成功してるかもしれません【2026年最新】
「頑張って改善したのに、数字が悪くなった…」 W…
AIクローラーは深夜に動く—GPTBot・ClaudeBotの時間帯別クロール数を実測比較
GPTBotは深夜23時前後、ClaudeBotは19〜21…
robots.txtでAIクローラーにどう見せるか—コピペで使える設定例つき
robots.txtでGPTBot・ClaudeBot・Pe…
AIクローラーとは？仕組みと種類をわかりやすく解説
AIクローラーの仕組みと検索エンジンとの違いを解説。なぜ検索…