実装・技術解説
AIクローラー検出ロジック、API設計、Vercel/Neon構成など、実装レベルで深掘りする技術記事。
タグページはAIクローラーの目次になっている？PerplexityBotのログで見えた読み方
PerplexityBotが27秒で10URLを連続取得した…
AIはサイトを「まとめて」読みに来る？タグ・画像・周辺ページまで見に来た話
AIクローラーは記事1本だけでなく、タグ・記事一覧・用語集・…
meta-webindexerとは？Meta AI検索に関係するクローラーの正体と動き
meta-webindexerとは何か。Meta AI検索に…
Apple Intelligenceはどこから情報を集めているのか｜Applebotの実測ログで見えたこと
Applebotとは何か？Apple Intelligenc…
DuckAssistBotとは？DuckDuckGoのAI回答クローラーが実際に読んでいたページを調べてみた
DuckAssistBotはDuckDuckGoのAI回答生…
OAI-SearchBotとは？ChatGPT検索専用クローラーの役割と仕組み
OAI-SearchBotはChatGPT Search専用…
Amazonbotとは—Alexaを支える3種類のクローラーと実測ログで見えた行動
AmazonbotはAlexa向けクローラーというだけではあ…
Bingbotとは？—629件の実測ログで見えた巡回パターンとMicrosoft AI検索の関係
Bingbotとは？AI観測ラボの実測ログ（8日間629件）…
ClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み
Anthropicのクローラーは3種類あり、それぞれ役割が異…
PerplexityはWebをどう読んでいるのか—1,194件のログで見えたAI巡回の仕組み
PerplexityがWebをどう巡回しているのか。3か月・…
llms.txtとは？robots.txtとの違いとAIクローラーへの影響
llms.txtとは何か。robots.txtとの違いやll…
Perplexityに引用されるサイトの条件—実測ログから見えた5つの設計
Perplexityに引用されるサイトには共通した設計があり…
YandexBotとは—Yandexのクローラーの役割と大量クロールの実測ログを解説
YandexBotはロシアの検索エンジン Yandex が運…
Googleはなぜ /.well-known/traffic-advice にアクセスするのか｜37件の404ログから見えたこと
traffic-adviceとは何か。サーバーログに記録され…
AI可視性とは何か—定義がバラバラな理由と入口・出口で見る本当の評価軸
AI可視性の定義はツールによってバラバラです。Ahrefsや…
robots.txt完全ガイド｜AIクローラー制御—実測ログで見えた設計の正解
robots.txtに書けば本当に制御できるのか。AI観測ラ…
タグをnoindexにしたらGPTBotが止まった｜Yoast SEO設定の落とし穴
「タグはnoindexが正解」—と設定した直後、GPTBot…
GPTBotはなぜ記事本文を読まないのか—「sitemap巡回型」の正体
GPTBotのアクセスの約8割は記事本文以外——robots…
ClaudeBotはどう動いてサイトを読むのか—ログで見えた5つの行動パターンと対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測…
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。G…
Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き
Applebotとは何かをわかりやすく解説。Siri・Spo…
AIボットは2種類じゃなかった—サーバーログで見えた3つの役割
GPTBot・ClaudeBot・ChatGPT-Userな…
GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来…
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されな…
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエー…
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
ChatGPT AgentはGA4に来る—でも識別できない。実測でわかったステルス挙動
ChatGPT AgentはJSを実行しGA4にイベントが届…
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、2…
PerplexityBotとは—PerplexityのAIクローラーの仕組みと役割
PerplexityBotはAI検索サービスPerplexi…
iOS 27でSiriが変わる—Applebotの動き方と今後の展開
iOS 27でSiriが対話型AIに刷新されます。Apple…
Studioで作ったサイト、AIに読まれていますか？—ノーコードツール別の確認手順と代替策
Studioで作ったサイトは、見た目が美しいです。デザインの…
AIはHTMLよりMarkdownを好む—サイトにmdファイルを置くとどうなるか
AIはHTMLよりMarkdownを読みやすいとされています…
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…
ノーコードツールで作ったサイト、AIに読まれていますか？—SPA問題とツール別の対応状況を調べた
「ノーコードツールで作ったサイトがAIに紹介されない」——そ…
GA4だけではAI流入は計測できない—サーバーログで補完する方法
GA4だけではAIクローラーの巡回やアプリ経由の流入は見えま…
AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebot…
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが運用する3種類のボット（ClaudeBo…
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAg…
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…
AIはなぜそのページを引用しないのか—RAGが嫌うサイト設計の正体
ChatGPTに「〇〇とは？」と聞いたとき、回答の末尾に他の…
WordPressのsitemapはAIクローラーに届いているか | 実測ログで見えた3つのパターン
AIクローラーは、毎日あなたのサイトに来ています。 サーバー…
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
AIクローラーを拒否する前に知っておくべきこと
「AIクローラーをブロックしたい」と思って検索した人へ。ro…
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けて…
ChatGPT検索に出たいなら、止めるBotを間違えない｜GPTBot・OAI-SearchBot・ChatGPT-Userの違い
GPTBot・OAI-SearchBot・ChatGPT-U…
AIが商品を選ぶ前に何が起きているのか—サイト運営者が見落とす盲点
AIエージェントが商品を選ぶ時代が来る前に、すでにAIクロー…
計測してわかったAI時代のページ速度の現実【Core Web Vitals入門】
自分のサイトを初めてPageSpeed Insightsで計…
「なんとなく設定した」OGPがAIの評価を左右していた
正直に言うと、かれこれ15年前SEOツールにてOGPを設定し…