実装・技術解説
AIクローラー検出ロジック、API設計、Vercel/Neon構成など、実装レベルで深掘りする技術記事。
claude-codeとは？Anthropic 4つ目のボットとrobots.txt設定、Claude-Userとの違い
AnthropicのClaude CodeがWebFetch…
Claude-SearchBotとは？ClaudeBot・Claude-Userとの違いとrobots.txt設定
Anthropicが2026年2月に公式に定義した3種類のボ…
Studioで作ったサイト、AIに読まれていますか？—ノーコードツール別の確認手順と代替策
Studio旧基盤（SPA）はAIクローラーに本文ゼロで届き…
ShapBotとは？Gemini EnterpriseのWeb検索にも関係するAIクローラーの正体
ShapBotとは元Twitter CEO創業Paralle…
llms.txtとは？設置から6週間誰も読まなかった実測ログと書き方・設置手順【2026年版】
2026年1月にllms.txtを設置して5ヶ月観測。6週間…
robots.txt完全ガイド【2026年版】156件の実測ログで分かったAIクローラーの正しい制御方法
robots.txtは書けば安心ではありません。156件の実…
NotebookLMはサイトを無断で取得する？Gemini Notebookのクローラーとrobots.txtの実態
NotebookLM（現Gemini Notebook）はサ…
WordPressを放置すると乗っ取られる？「wp2shell」脆弱性を初心者向けに解説
2026年7月、WordPress本体に重大な脆弱性「wp2…
GA4でAI流入はどこまで見える？サーバーログでChatGPT・AIクローラーを補完する方法
GA4ではAIアシスタント経由の流入を確認しやすくなりました…
OAI-AdsBotはどんなときに動く？ChatGPT広告クローラーの発動条件とログでの見分け方
ChatGPT広告をめぐる話題が、少しずつ現実味を帯びてきま…
OAI-SearchBotとは？GPTBotとの違いとrobots.txt設定を実測ログで解説
OAI-SearchBotはChatGPT Search専用…
AI向けMDファイルとは？index.md・about.md・faq.mdの設置方法まで解説
「AI向けのmdファイル」とは、AIクローラーに読ませるため…
Google-Extendedはなぜアクセスログに出ないのか
Google-Extendedを許可したのに、サーバーログに…
ClaudeBotのサーバーログ539件を解析—見えてきた4つの行動パターンと3つの対策
ClaudeBotが7日間でどう動いたかをサーバーログで実測…
GA4はAIエージェントを人間として数えている？ChatGPT Agentで見えた測定の死角
GA4でAIエージェントと人間は判別できるのか。AI Ass…
SiriはWebをどう読んでいるのか？Applebotとの関係と引用される可能性を整理
SiriはWebサイトをどう見ているのか。Apple公式情報…
Baiduspiderって何してるの？—292件のログで見えた通常版とrender版の動き
Baiduspiderの通常版82件とBaiduspider…
AIは記事だけを読んでいなかった—27秒・10URLで見えた「広く→狭く」の読み方
PerplexityBotが27秒で10URLを連続取得した…
AIはサイトを「まとめて」読みに来る？タグ・画像・周辺ページまで見に来た話
AIクローラーは記事1本だけでなく、タグ・記事一覧・用語集・…
meta-webindexerとは？Meta AI検索に関係するクローラーの正体と動き
meta-webindexerとは何か。Meta AI検索に…
Apple Intelligenceはどこから情報を集めているのか｜Applebotの実測ログで見えたこと
Applebotとは何か？Apple Intelligenc…
DuckAssistBotとは？DuckDuckGoのAI回答クローラーが実際に読んでいたページを調べてみた
DuckAssistBotはDuckDuckGoのAI回答生…
Amazonbotとは—Alexaを支える3種類のクローラーと実測ログで見えた行動
AmazonbotはAlexa向けクローラーというだけではあ…
Bingbotとは？—629件の実測ログで見えた巡回パターンとMicrosoft AI検索の関係
Bingbotとは？AI観測ラボの実測ログ（8日間629件）…
ClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み
Anthropicのクローラーは3種類あり、それぞれ役割が異…
PerplexityはWebをどう読んでいるのか—1,194件のログで見えたAI巡回の仕組み
PerplexityがWebをどう巡回しているのか。3か月・…
Perplexityに引用されるサイトの条件—実測ログから見えた5つの設計
Perplexityに引用されるサイトには共通した設計があり…
YandexBotとは—Yandexのクローラーの役割と大量クロールの実測ログを解説
YandexBotはロシアの検索エンジン Yandex が運…
Googleはなぜ /.well-known/traffic-advice にアクセスするのか｜37件の404ログから見えたこと
traffic-adviceとは何か。サーバーログに記録され…
AI可視性とは何か—定義がバラバラな理由と入口・出口で見る本当の評価軸
AI可視性の定義はツールによってバラバラです。Ahrefsや…
タグをnoindexにしたらGPTBotの巡回が止まった？Yoast SEO設定とAIクローラーの関係
「タグページはnoindexが正解」と考えてYoast SE…
GPTBotはサイトマップばかり読む？サーバーログで見えた記事本文に到達しにくい理由
GPTBotは記事本文よりも、サイトマップ・トップページ・タ…
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Googlebotとは—各Googleクローラーの役割と7日間156件の実測データ
GooglebotはGoogle検索専用のクローラーです。G…
Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き
Applebotとは何かをわかりやすく解説。Siri・Spo…
AIボットは2種類じゃなかった—サーバーログで見えた3つの役割
GPTBot・ClaudeBot・ChatGPT-Userな…
GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実
GPTBotをブロックしてもChatGPT-Userは毎日来…
AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと
SPA・llms.txt・SNSは効かない？AIに引用されな…
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエー…
Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー
GoogleのAIエージェント専用フェッチャー「Google…
ByteSpiderとは？世界最多リクエストのAIクローラーをログで調べた
TikTok親会社ByteDanceが運営するAIクローラー…
noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する
タグページをnoindexにしたらGPTBotが来なくなった…
ChatGPT AgentはGA4に来る—でも識別できない。実測でわかったステルス挙動
ChatGPT AgentはJSを実行しGA4にイベントが届…
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、2…
PerplexityBotとは—PerplexityのAIクローラーの仕組みと役割
PerplexityBotはAI検索サービスPerplexi…
iOS 27でSiriが変わる—Applebotの動き方と今後の展開
iOS 27でSiriが対話型AIに刷新されます。Apple…
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…
ノーコードツールで作ったサイト、AIに読まれていますか？—SPA問題とツール別の対応状況を調べた
「ノーコードツールで作ったサイトがAIに紹介されない」——そ…
AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較
GPTBot・PerplexityBot・Googlebot…
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAg…
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…
AIはなぜそのページを引用しないのか—RAGが嫌うサイト設計の正体
ChatGPTに「〇〇とは？」と聞いたとき、回答の末尾に他の…
WordPressのsitemapはAIクローラーに届いているか | 実測ログで見えた3つのパターン
AIクローラーは、毎日あなたのサイトに来ています。 サーバー…
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うの…
AIクローラーを拒否する前に知っておくべきこと
「AIクローラーをブロックしたい」と思って検索した人へ。ro…
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けて…
ChatGPT検索に出たいなら、止めるBotを間違えない｜GPTBot・OAI-SearchBot・ChatGPT-Userの違い
GPTBot・OAI-SearchBot・ChatGPT-U…
AIが商品を選ぶ前に何が起きているのか—サイト運営者が見落とす盲点
AIエージェントが商品を選ぶ時代が来る前に、すでにAIクロー…
計測してわかったAI時代のページ速度の現実【Core Web Vitals入門】
自分のサイトを初めてPageSpeed Insightsで計…
「なんとなく設定した」OGPがAIの評価を左右していた
正直に言うと、かれこれ15年前SEOツールにてOGPを設定し…