AIクローラー
「AIクローラー」タグの観測記録一覧です。
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが2026年2月に公式に定義した3種類のボ…
Studioで作ったサイト、AIに読まれていますか？—ノーコードツール別の確認手順と代替策
Studio旧基盤（SPA）はAIクローラーに本文ゼロで届き…
ShapBotとは？Gemini EnterpriseのWeb検索にも関係するAIクローラーの正体
ShapBotとは元Twitter CEO創業Paralle…
AIクローラーとは？GPTBot・ClaudeBot・PerplexityBotの違いと確認方法
2026年1月〜5月でAIクローラー156件を観測。GPTB…
llms.txtとは？設置から6週間誰も読まなかった実測ログと書き方・設置手順【2026年版】
2026年1月にllms.txtを設置して5ヶ月観測。6週間…
robots.txt完全ガイド【2026年版】156件の実測ログで分かったAIクローラーの正しい制御方法
robots.txtは書けば安心ではありません。156件の実…
GoogleのOpen Knowledge Format（OKF）、AIクローラーは読みに来るのか？
Google CloudのOpen Knowledge Fo…
GA4でAI流入はどこまで見える？サーバーログでChatGPT・AIクローラーを補完する方法
GA4ではAIアシスタント経由の流入を確認しやすくなりました…
OAI-AdsBotはどんなときに動く？ChatGPT広告クローラーの発動条件とログでの見分け方
ChatGPT広告をめぐる話題が、少しずつ現実味を帯びてきま…
OAI-SearchBotとは？GPTBotとの違いとrobots.txt設定を実測ログで解説
OAI-SearchBotはChatGPT Search専用…
AI向けMDファイルとは？index.md・about.md・faq.mdの設置方法まで解説
「AI向けのmdファイル」とは、AIクローラーに読ませるため…
WebMCPとは？AIエージェントがWebサイトを操作する仕組みと運営者の準備
WebMCPは、AIエージェントがWebサイトを操作しやすく…
Googleスパムアップデート観測記｜2026年6月、サーバーログに来た「偽AIクローラー」
Googleスパムアップデートの歴史と2026年6月の動きを…
2026年6月、AIクローラーに何が起きたか｜月次まとめ
2026年6月に起きたAI検索・AIクローラーの主な動きを、…
GoogleOtherとは？18日間のサーバーログで見えたGoogle系クローラーの実態
GoogleOtherとは何かを、18日間のサーバーログで実…
Grokはサイトを読みに来るのか？ログに残った名乗らない並列アクセス
GrokにURLを読ませた直後、サーバーログに何が残るのかを…
NotebookLMはサイトを読みに来るのか？Google-NotebookLMのアクセスログを解釈する
サイトのアクセスログに現れる「Google-Notebook…
Google-Extendedはなぜアクセスログに出ないのか
Google-Extendedを許可したのに、サーバーログに…
ChatGPT-Userを名乗る偽クローラーをログで発見した｜本物との見分け方
サーバーログにChatGPT-Userが出ても本物とは限りま…
Claude-Userとは？サーバーログに残る「誰かがClaudeに聞いた」アクセスの正体
Claude-Userとは、Claude利用中にWebページ…
GA4のPVが減ってもAIクローラーは来ている？計測の死角と確認方法
GA4では既知のbotアクセスが自動除外されるため、GPTB…
AIクローラーは記事より先に運営者情報を読む？llms.txt・trust.txtの巡回ログを実測
AIクローラーは記事本文だけでなく、運営者情報・llms.t…
ClaudeBotのサーバーログ539件を解析—見えてきた4つの行動パターンと3つの対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測…
GA4はAIエージェントを人間として数えている？ChatGPT Agentで見えた測定の死角
GA4でAIエージェントと人間は判別できるのか。AI Ass…
ChatGPTのクローラー「GPTBot/1.4」は何が変わった？実測ログで見えた4つの行動
2026年5月下旬以降に観測され始めたGPTBot/1.4。…
SiriはWebをどう読んでいるのか？Applebotとの関係と引用される可能性を整理
SiriはWebサイトをどう見ているのか。Apple公式情報…
Webの「読者」が変わった—人間・AIクローラー・GoogleのInformation Agentsへ
Webページの「読者」は人間だけではなくなりました。AIクロ…
Aranet-SearchBotとは？正体不明のAIクローラーをログで観測した
2026年4月以降、AI観測ラボのアクセスログに記録されたA…
AIはあなたのサイトを読みに来ている？「AI Kansoku Lab Tracker」で見えること
GA4やSearch Consoleでは見えにくいAIクロー…
llms.txtにGPTBotが来た—2026年3月～6月の変化をログで追った
2026年3月には確認できなかったllms.txt本体へのア…
Baiduspiderって何してるの？—292件のログで見えた通常版とrender版の動き
Baiduspiderの通常版82件とBaiduspider…
AIは記事だけを読んでいなかった—27秒・10URLで見えた「広く→狭く」の読み方
PerplexityBotが27秒で10URLを連続取得した…
AIはサイトを「まとめて」読みに来る？タグ・画像・周辺ページまで見に来た話
AIクローラーは記事1本だけでなく、タグ・記事一覧・用語集・…
meta-webindexerとは？Meta AI検索に関係するクローラーの正体と動き
meta-webindexerとは何か。Meta AI検索に…
ChatGPTに引用されるサイトの条件｜AIに読まれやすいページ設計とは
ChatGPTに引用されるサイトには何が必要なのか。GPTB…
「WWDC26」にてSiri AIが発表された—サイト運営者が知っておくべきことを整理する
2026年6月9日のWWDC 2026で発表されたSiri …
Apple Intelligenceはどこから情報を集めているのか｜Applebotの実測ログで見えたこと
Applebotとは何か？Apple Intelligenc…
AIクローラーはメタタグを見ているのか？実測ログから考えるページ情報設計
AIクローラーはrobots.txtを確認してから記事HTM…
DuckAssistBotとは？DuckDuckGoのAI回答クローラーが実際に読んでいたページを調べてみた
DuckAssistBotはDuckDuckGoのAI回答生…
ClaudeはどうやってWebを読んでいるのか？AIが答えを作る裏側を調べてみた
ClaudeはどうやってWebサイトを読んでいるのでしょうか…
GeminiってChatGPTと何が違うの？特徴や使い分けをわかりやすく解説
GeminiはGoogleが作ったAI、ChatGPTはOp…
Googleのコアアップデートが終わった日、サイトの裏側では何が起きていたのか
2026年6月2日のGoogleコアアップデート完了日に、A…
Perplexityとは？仕組みとサイト運営者が知るべきこと
PerplexityはWeb上の情報を検索し、出典つきで回答…
ChatGPTはどこから情報を持ってくるの？—3つの経路とサイト運営者が確認すべきこと
ChatGPTが情報を集める方法は「学習済みデータ」「リアル…
GoogleとChatGPTの検索って何が違うの？
最近Googleで調べると、検索結果の上に答えが出ることが増…
AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】
AIクローラーはHTMLしか読まない——そう思っていた。 G…
AIが自分のサイトに来ているか確認する方法
AI観測ラボの実測ログでは、GPTBot・ChatGPT-U…
Amazonbotとは—Alexaを支える3種類のクローラーと実測ログで見えた行動
AmazonbotはAlexa向けクローラーというだけではあ…
Bingbotとは？—629件の実測ログで見えた巡回パターンとMicrosoft AI検索の関係
Bingbotとは？AI観測ラボの実測ログ（8日間629件）…
ClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み
Anthropicのクローラーは3種類あり、それぞれ役割が異…
PerplexityはWebをどう読んでいるのか—1,194件のログで見えたAI巡回の仕組み
PerplexityがWebをどう巡回しているのか。3か月・…
AI-Observatory/1.0 続報—6日後に行動パターンが変化した【AI実験室 #19】
サーバーログに記録された謎のエージェント「AI-Observ…
ChatGPTはどうやって情報を集めているのか｜実測ログで見えた裏側
ChatGPTはどのページを見に来ているのか。2026年5月…
Perplexityに引用されるサイトの条件—実測ログから見えた5つの設計
Perplexityに引用されるサイトには共通した設計があり…
サーチコンソールで見えるもの、見えないもの｜AIクローラー時代に確認したい3つの指標
サーチコンソールに映らないOpenAIGPTBot・Anth…
WordPressのカテゴリーとタグ設定｜乱立させない決め方と見直し方法
Yoast SEOでカテゴリーページのタイトル・メタディスク…
GA4を入れたけど何も見てない人へ—最初に確認すべき3つの数字
GA4を導入したものの、数字が多くてどこを見ればいいかわから…
AI可視性とは何か—定義がバラバラな理由と入口・出口で見る本当の評価軸
AI可視性の定義はツールによってバラバラです。Ahrefsや…
query fan-outは本当に起きているのか—ChatGPT-Userの同秒・複数IPアクセスを検証【AI実験室 #17】
ChatGPT-Userが同じ秒に複数IPから異なるページへ…
また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れないUser-Agentが現れました。1…
タグをnoindexにしたらGPTBotの巡回が止まった？Yoast SEO設定とAIクローラーの関係
「タグページはnoindexが正解」と考えてYoast SE…
AIクローラーが一番アクセスするのはどこか—ログで見えた3つの入口と確認方法
複数サイトのサーバーログを集計したところ、AIクローラーのア…
GPTBotはサイトマップばかり読む？サーバーログで見えた記事本文に到達しにくい理由
GPTBotは記事本文よりも、サイトマップ・トップページ・タ…
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Clarity AI Bot Activity設定と実測データ—GA4に出ないAIクローラーを可視化する
Microsoft Clarity AI Bot Activ…
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。G…
Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き
Applebotとは何かをわかりやすく解説。Siri・Spo…
Web Bot Authとは—AIクローラーの『なりすまし』を暗号で解決する新技術
Web Bot Authは、AIクローラーが暗号署名で本物か…
AIボットは2種類じゃなかった—サーバーログで見えた3つの役割
GPTBot・ClaudeBot・ChatGPT-Userな…
IndexNowとは？Bingbotは何分で来る？実測3記事【最短3分】
IndexNow導入後、AI観測ラボではBingbotが最短…
Bing Webmaster ToolsのAI Performanceとは—登録手順と4つの指標の読み方
Bing Webmaster ToolsのAI Perfor…
GPTBotはサイトマップを3回確認してからクロールしていた【AI実験室 #15】
index.mdを設置したらGPTBotは来るのか？サーバー…
GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来…
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されな…
AI観測ラボのツールでできること—スコア診断からAI訪問の観測まで
AI観測ラボは、サイトがAIに読まれやすい状態かをスコアで診…
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエー…
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、2…
PerplexityBotとは—PerplexityのAIクローラーの仕組みと役割
PerplexityBotはAI検索サービスPerplexi…
XでシェアするたびにTwitterbotが大量に来ていた【AI実験室 #12】
Xに記事をシェアした直後、サーバーログに見慣れないアクセスが…
AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】
AIクローラーは、どのサイトにも同じように来ているわけではあ…
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…
ノーコードツールで作ったサイト、AIに読まれていますか？—SPA問題とツール別の対応状況を調べた
「ノーコードツールで作ったサイトがAIに紹介されない」——そ…
AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebot…
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAg…
タグをnoindexにしたら、GPTBotが来なくなった【AI実験室 #07】
「タグページはnoindexにするのが正解」——そう信じてあ…
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…
誰かがChatGPTにURLを貼った—サーバーログで見えた正体【AI実験室 #11】
サーバーログを眺めていたら、見慣れないユーザーエージェント（…
AmazonbotがREST APIを叩いていた—サーバーログで見えた新事実【AI実験室 #05】
サーバーログを眺めていたら、見慣れないアクセスが目に入りまし…
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです…
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
AIクローラーを拒否する前に知っておくべきこと
「AIクローラーをブロックしたい」と思って検索した人へ。ro…
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けて…
AI検索とは—1,750件来たAIクローラーがこの記事だけ読まなかった理由
AI検索の仕組みをサーバーログの実測データで解説します。直近…
llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
冨島 基宏 Motohiro Tomishima AI実験室…
記事公開からAI引用まで何時間？GoogleとPerplexityを同時計測した【AI実験室 #03】
冨島 基宏 Motohiro Tomishima AI実験室…
ノイズだらけのHTMLをAIに読ませたら、Geminiだけ「無理です」と拒否した
ノイズだらけのHTMLをChatGPT・Claude・Gem…
AIクローラーは深夜に動く—GPTBot・ClaudeBotの時間帯別クロール数を実測比較
GPTBotは深夜23時前後、ClaudeBotは19〜21…
robots.txtでAIクローラーにどう見せるか—コピペで使える設定例つき
robots.txtでGPTBot・ClaudeBot・Pe…