AIクローラー
「AIクローラー」タグの観測記録一覧です。
robots.txt完全ガイド｜AIクローラー制御—実測ログで見えた設計の正解
robots.txtに書けば本当に制御できるのか。AI観測ラ…
また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れないUser-Agentが現れました。1…
タグをnoindexにしたらGPTBotが止まった｜Yoast SEO設定の落とし穴
「タグはnoindexが正解」—と設定した直後、GPTBot…
AIクローラーが一番アクセスするのはどこか—ログで見えた3つの入口と確認方法
複数サイトのサーバーログを集計したところ、AIクローラーのア…
GPTBotはなぜ記事本文を読まないのか—「sitemap巡回型」の正体
GPTBotのアクセスの約8割は記事本文以外——robots…
ClaudeBotはどう動いてサイトを読むのか—ログで見えた5つの行動パターンと対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測…
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Clarity AI Bot Activity設定と実測データ—GA4に出ないAIクローラーを可視化する
Microsoft Clarity AI Bot Activ…
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。G…
Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き
Applebotとは何かをわかりやすく解説。Siri・Spo…
Web Bot Authとは—AIクローラーの『なりすまし』を暗号で解決する新技術
Web Bot Authは、AIクローラーが暗号署名で本物か…
AIボットは2種類じゃなかった—サーバーログで見えた3つの役割
GPTBot・ClaudeBot・ChatGPT-Userな…
IndexNowとは？Bingbotは何分で来る？実測3記事【最短3分】
記事公開からBingbot初訪問まで最短3分・平均約20分。…
Bing Webmaster ToolsのAI Performanceとは—登録手順と4つの指標の読み方
Bing Webmaster ToolsのAI Perfor…
GPTBotはサイトマップを3回確認してからクロールしていた【AI実験室 #15】
index.mdを設置したらGPTBotは来るのか？サーバー…
WebMCPとは？AIがサイトを操作する時代に何が変わるのか
WebMCPはAIがWebサイトを操作する前提を作る新しい仕…
GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来…
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されな…
AI観測ラボのツールでできること—スコア診断からAI訪問の観測まで
AI観測ラボは、サイトがAIに読まれやすい状態かをスコアで診…
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエー…
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
OAI-SearchBotとは？GPTBotと何が違うのかをまとめました
OAI-SearchBotはChatGPT Search専用…
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、2…
PerplexityBotとは—Webサイトを読む仕組みと実測でわかった巡回の特徴
Perplexityは日本国内でChatGPTに次ぐ2位のA…
XでシェアするたびにTwitterbotが大量に来ていた【AI実験室 #12】
Xに記事をシェアした直後、サーバーログに見慣れないアクセスが…
AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】
AIクローラーは、どのサイトにも同じように来ているわけではあ…
Studioで作ったサイト、AIに読まれていますか？—ノーコードツール別の確認手順と代替策
Studioで作ったサイトは、見た目が美しいです。デザインの…
AIはHTMLよりMarkdownを好む—サイトにmdファイルを置くとどうなるか
AIはHTMLよりMarkdownを読みやすいとされています…
AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】
AIクローラーはHTMLしか読まない——そう思っていた。 G…
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…
ノーコードツールで作ったサイト、AIに読まれていますか？—SPA問題とツール別の対応状況を調べた
「ノーコードツールで作ったサイトがAIに紹介されない」——そ…
GA4だけではAI流入は計測できない—サーバーログで補完する方法
GA4だけではAIクローラーの巡回やアプリ経由の流入は見えま…
AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebot…
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが運用する3種類のボット（ClaudeBo…
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAg…
タグをnoindexにしたら、GPTBotが来なくなった【AI実験室 #07】
「タグページはnoindexにするのが正解」——そう信じてあ…
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…
SNSをいくら頑張ってもAIには引用されない—86,000件の分析でわかった現実
Instagram・X・TikTok・Facebookのいず…
XもInstagramもAIに読まれていない—SNS4社のHTMLソースを比べてみた【AI実験室 #08】
「毎日Xに投稿しているのに、AIに紹介されたことが一度もない…
誰かがChatGPTにURLを貼った—サーバーログで見えた正体【AI実験室 #11】
サーバーログを眺めていたら、見慣れないユーザーエージェント（…
AmazonbotがREST APIを叩いていた—サーバーログで見えた新事実【AI実験室 #05】
サーバーログを眺めていたら、見慣れないアクセスが目に入りまし…
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです…
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
ChatGPTに広告が入ると、AI引用の価値は下がるのか？
ぼく（ジッピー）の回答の横に、広告が表示されるようになった。…
AIクローラーを拒否する前に知っておくべきこと
「AIクローラーをブロックしたい」と思って検索した人へ。ro…
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けて…
AI検索とは—1,750件来たAIクローラーがこの記事だけ読まなかった理由
AI検索の仕組みをサーバーログの実測データで解説します。直近…
llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
冨島 基宏 Motohiro Tomishima AI実験室…
記事公開からAI引用まで何時間？GoogleとPerplexityを同時計測した【AI実験室 #03】
冨島 基宏 Motohiro Tomishima AI実験室…
GPTBot実測データでわかったChatGPT引用サイトの5つの条件
ChatGPTに引用されるサイトには共通点があります。GPT…
AIはなぜMarkdownを好むのか｜HTMLより効率的な理由
Markdownって、使ったことありますか？ 「なんか記号が…
ノイズだらけのHTMLをAIに読ませたら、どこまで正確に理解できるのか？【AI実験室 #01】
冨島 基宏 Motohiro Tomishima AI実験室…
コンテンツ改善したのにGA4が悪化？実は成功してるかもしれません【2026年最新】
「頑張って改善したのに、数字が悪くなった…」 W…
AIに引用されるメタタグの条件—ChatGPT・Claude・Perplexityが参照する設定項目を整理する
「ちゃんとコンテンツを書いているのに、AIに引用されない」—…
AIクローラーは深夜に動く—GPTBot・ClaudeBotの時間帯別クロール数を実測比較
GPTBotは深夜23時前後、ClaudeBotは19〜21…
robots.txtでAIクローラーにどう見せるか—コピペで使える設定例つき
robots.txtでGPTBot・ClaudeBot・Pe…
AIクローラーとは？仕組みと種類をわかりやすく解説
AIクローラーの仕組みと検索エンジンとの違いを解説。なぜ検索…