Observatory Log — Tag Archive
サーバーログ
「サーバーログ」タグの観測記録一覧です。
LOG-001
実装・技術解説
robots.txt完全ガイド｜AIクローラー制御—実測ログで見えた設計の正解
robots.txtに書けば本当に制御できるのか。AI観測ラ…
Read Log →
LOG-002
AI実験室
また新しいAIクローラー？—AI-Observatory/1.0の奇妙な巡回をログで追った【AI実験室 #18】
サーバーログに見慣れないUser-Agentが現れました。1…
Read Log →
LOG-003
実践ガイド・ツール活用
AIクローラーが一番アクセスするのはどこか—ログで見えた3つの入口と確認方法
複数サイトのサーバーログを集計したところ、AIクローラーのア…
Read Log →
LOG-004
実装・技術解説
GPTBotはなぜ記事本文を読まないのか—「sitemap巡回型」の正体
GPTBotのアクセスの約8割は記事本文以外——robots…
Read Log →
LOG-005
実装・技術解説
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
GPTBotはOpenAIのAI学習用クローラーです。202…
Read Log →
LOG-006
実践ガイド・ツール活用
Clarity AI Bot Activity設定と実測データ—GA4に出ないAIクローラーを可視化する
Microsoft Clarity AI Bot Activ…
Read Log →
LOG-007
実装・技術解説
AIボットは2種類じゃなかった—サーバーログで見えた3つの役割
GPTBot・ClaudeBot・ChatGPT-Userな…
Read Log →
LOG-008
実装・技術解説
AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種
Google-Agentが3/20追加。ログで拾えるAIエー…
Read Log →
LOG-009
AI実験室
XでシェアするたびにMetaのクローラーも来ていた—facebookexternalhitの正体【AI実験室 #14】
サーバーログに記録されるfacebookexternalhi…
Read Log →
LOG-010
実装・技術解説
ChatGPT AgentはGA4に来る—でも識別できない。実測でわかったステルス挙動
ChatGPT AgentはJSを実行しGA4にイベントが届…
Read Log →
LOG-011
実装・技術解説
BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、2…
Read Log →
LOG-012
AI実験室
XでシェアするたびにTwitterbotが大量に来ていた【AI実験室 #12】
Xに記事をシェアした直後、サーバーログに見慣れないアクセスが…
Read Log →
LOG-013
AI実験室
AIクローラーは全員違う動きをしていた—4社の行動パターンをサーバーログで比較した結果【AI実験室 #13】
AIクローラーは、どのサイトにも同じように来ているわけではあ…
Read Log →
LOG-014
実装・技術解説
モバイル対応はAI引用に関係するのか—サーバーログで実測した
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…
Read Log →
LOG-015
実装・技術解説
GA4だけではAI流入は計測できない—サーバーログで補完する方法
GA4だけではAIクローラーの巡回やアプリ経由の流入は見えま…
Read Log →
LOG-016
実装・技術解説
Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く
MetaのAI学習クローラー「Meta-ExternalAg…
Read Log →
LOG-017
AI実験室
タグをnoindexにしたら、GPTBotが来なくなった【AI実験室 #07】
「タグページはnoindexにするのが正解」——そう信じてあ…
Read Log →
LOG-018
実装・技術解説
AIクローラーはIPで判定するな—User-Agentを使うべき理由
AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…
Read Log →
LOG-019
AI実験室
誰かがChatGPTにURLを貼った—サーバーログで見えた正体【AI実験室 #11】
サーバーログを眺めていたら、見慣れないユーザーエージェント（…
Read Log →
LOG-020
AI実験室
AmazonbotがREST APIを叩いていた—サーバーログで見えた新事実【AI実験室 #05】
サーバーログを眺めていたら、見慣れないアクセスが目に入りまし…
Read Log →
LOG-021
実装・技術解説
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けて…
Read Log →
LOG-022
AI実験室
llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
冨島 基宏 Motohiro Tomishima AI実験室…
Read Log →