AIクローラー
「AIクローラー」タグの観測記録一覧です。
AI観測ラボのツールでできること—スコア診断からAI訪問の観測まで
AI観測ラボは、サイトがAIに読まれやすい状態かをスコアで診…
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエー…
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
OAI-SearchBotとは？GPTBotと何が違うのかをまとめました
OAI-SearchBotはChatGPT Search専用…
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、2…
Perplexityにサイトを読まれるには—クロール実測でわかったこと
Perplexityは日本国内でChatGPTに次ぐ2位のA…
XでシェアするたびにTwitterbotが大量に来ていた【AI実験室 #12】
Xに記事をシェアした直後、サーバーログに見慣れないアクセスが…
AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】
AIクローラーは、どのサイトにも同じように来ているわけではあ…
Studioで作ったサイト、AIに読まれていますか？—ノーコードツール別の確認手順と代替策
Studioで作ったサイトは、見た目が美しいです。デザインの…
AIはHTMLよりMarkdownを好む—サイトにmdファイルを置くとどうなるか
AIはHTMLよりMarkdownを読みやすいとされています…
AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】
AIクローラーはHTMLしか読まない——そう思っていた。 G…
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…
ノーコードツールで作ったサイト、AIに読まれていますか？—SPA問題とツール別の対応状況を調べた
「ノーコードツールで作ったサイトがAIに紹介されない」——そ…
GA4だけではAI流入は計測できない—サーバーログで補完する方法
GA4だけではAIクローラーの巡回やアプリ経由の流入は見えま…
AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebot…
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが運用する3種類のボット（ClaudeBo…
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAg…
タグをnoindexにしたら、GPTBotが来なくなった【AI実験室 #07】
「タグページはnoindexにするのが正解」——そう信じてあ…
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…
SNSをいくら頑張ってもAIには引用されない—86,000件の分析でわかった現実
Instagram・X・TikTok・Facebookのいず…
XもInstagramもAIに読まれていない—SNS4社のHTMLソースを比べてみた【AI実験室 #08】
「毎日Xに投稿しているのに、AIに紹介されたことが一度もない…
誰かがChatGPTにURLを貼った—サーバーログで見えた正体【AI実験室 #11】
サーバーログを眺めていたら、見慣れないユーザーエージェント（…
AmazonbotがREST APIを叩いていた—サーバーログで見えた新事実【AI実験室 #05】
サーバーログを眺めていたら、見慣れないアクセスが目に入りまし…
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです…
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
ChatGPTに広告が入ると、AI引用の価値は下がるのか？
ぼく（ジッピー）の回答の横に、広告が表示されるようになった。…
AIクローラーを拒否する前に知っておくべきこと
「AIクローラーをブロックしたい」と思って検索した人へ。ro…
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けて…
AI検索とは？「答えが返ってくる検索」があなたのサイトに起こすこと
「AI検索」という言葉、最近よく目にしますよね。 でも、いざ…
llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
冨島 基宏 Motohiro Tomishima AI実験室…
記事公開からAI引用まで何時間？GoogleとPerplexityを同時計測した【AI実験室 #03】
冨島 基宏 Motohiro Tomishima AI実験室…
ChatGPTに引用されるサイトの条件—GPTBotの実測データから見えた5つの特徴
ChatGPTに引用されるサイトには共通点があります。GPT…
AIはなぜMarkdownを好むのか｜HTMLより効率的な理由
Markdownって、使ったことありますか？ 「なんか記号が…
ノイズだらけのHTMLをAIに読ませたら、どこまで正確に理解できるのか？【AI実験室 #01】
冨島 基宏 Motohiro Tomishima AI実験室…
コンテンツ改善したのにGA4が悪化？実は成功してるかもしれません【2026年最新】
「頑張って改善したのに、数字が悪くなった…」 W…
AIに引用されるメタタグの条件—ChatGPT・Claude・Perplexityが参照する設定項目を整理する
「ちゃんとコンテンツを書いているのに、AIに引用されない」—…
AIクローラーは深夜に動く—GPTBot・ClaudeBotの時間帯別クロール数を実測比較
GPTBotは深夜23時前後、ClaudeBotは19〜21…
robots.txtでAIクローラーを制御する—コピペで使える設定例つき
GPTBot・ClaudeBot・PerplexityBot…
AIクローラーとは？引用されるサイト設計の基本と対策
あなたのサイトは、AIに読まれていますか？ いま、多くのユー…