Observatory Log — Category Archive

実装・技術解説

AIクローラー検出ロジック、API設計、Vercel/Neon構成など、実装レベルで深掘りする技術記事。

36 TOTAL LOGS
CATEGORY / 実装・技術解説 — J2026.0
robots.txt完全ガイド——AIクローラーをどう制御するか、実測ログで見えた設計の正解
LOG-001
実装・技術解説
2026.04.28 43 min

robots.txt完全ガイド|AIクローラー制御—実測ログで見えた設計の正解

robots.txtに書けば本当に制御できるのか。AI観測ラ…

Read Log →
Yoast SEOのカテゴリーとタグ設定がGPTBotの巡回に影響した実測データを解説する記事のサムネイル
LOG-002
実装・技術解説
2026.04.27 9 min

タグをnoindexにしたらGPTBotが止まった|Yoast SEO設定の落とし穴

「タグはnoindexが正解」—と設定した直後、GPTBot…

Read Log →
GPTBotはなぜ記事本文を読まないのか
LOG-003
実装・技術解説
2026.04.26 12 min

GPTBotはなぜ記事本文を読まないのか—「sitemap巡回型」の正体

GPTBotのアクセスの約8割は記事本文以外——robots…

Read Log →
ClaudeBotの5つの行動パターンと対策を解説する記事のサムネイル
LOG-004
実装・技術解説
2026.04.25 16 min

ClaudeBotはどう動いてサイトを読むのか—ログで見えた5つの行動パターンと対策

ClaudeBotが7日間でどう動いたかをサーバーログで実測…

Read Log →
GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた
LOG-005
実装・技術解説
2026.04.24 16 min

GPTBotとは—仕組み・設定方法・許可すべきかをログで確かめた

GPTBotはOpenAIのAI学習用クローラーです。202…

Read Log →
Applebotとは何か—仕組みとログで見えた動きを解説
LOG-006
実装・技術解説
2026.04.22 19 min

Applebotとは—AppleのAIを支えるクローラーの仕組みと実際の動き

Applebotとは何かをわかりやすく解説。Siri・Spo…

Read Log →
AIボットは2種類じゃなかった—学習用・検索インデックス用・人間由来フェッチの3種類をサーバーログで確認したことを示すサムネイル画像
LOG-007
実装・技術解説
2026.04.21 9 min

AIボットは2種類じゃなかった—サーバーログで見えた3つの役割

GPTBot・ClaudeBot・ChatGPT-Userな…

Read Log →
GPTBotより先に、ChatGPT-Userが来ていたサムネ
LOG-008
実装・技術解説
2026.04.16 14 min

GPTBotより先に、ChatGPT-Userが来ていた—国別データとログで見えた意外な現実

GPTBotをブロックしてもChatGPT-Userは毎日来…

Read Log →
AIに引用されるサイト・されないサイトの境界線——10の実験でわかったことのサムネイル画像
LOG-009
実装・技術解説
2026.04.15 16 min

AIに引用されるサイト・されないサイトの境界線—10の実験でわかったこと

SPA・llms.txt・SNSは効かない?AIに引用されな…

Read Log →
AIエージェントの識別可否をUser-Agentで分類した図解——識別できる4種類と識別できない3種類
LOG-010
実装・技術解説
2026.04.14 13 min

AIエージェントのUser-Agentまとめ—識別できる4種・Chromeに化ける3種

Google-Agentが3/20追加。ログで拾えるAIエー…

Read Log →
Google-Agentとは?サムネ
LOG-011
実装・技術解説
2026.04.13 10 min

Google-Agentとは—Googlebotとは別の、ユーザーの代わりに動くフェッチャー

GoogleのAIエージェント専用フェッチャー「Google…

Read Log →
OAI-SearchBotとは?
LOG-012
実装・技術解説
2026.04.12 10 min

OAI-SearchBotとは?GPTBotと何が違うのかをまとめました

OAI-SearchBotはChatGPT Search専用…

Read Log →
ByteSpiderとは?
LOG-013
実装・技術解説
2026.04.11 13 min

ByteSpiderとは?世界最多リクエストのAIクローラーをログで調べた

TikTok親会社ByteDanceが運営するAIクローラー…

Read Log →
noindex・nofollow・robots.txtがAIクローラーに効くのかを実測データで整理した記事のサムネイル
LOG-014
実装・技術解説
2026.04.10 12 min

noindex・nofollowはAIクローラーに効くのか—robots.txtとの違いも含めて整理する

タグページをnoindexにしたらGPTBotが来なくなった…

Read Log →
ChatGPT AgentはGA4に来る—でも識別できない
LOG-015
実装・技術解説
2026.04.09 22 min

ChatGPT AgentはGA4に来る—でも識別できない。実測でわかったステルス挙動

ChatGPT AgentはJSを実行しGA4にイベントが届…

Read Log →
BingbotはCopilotのために毎日来ていた——7日間353件の実測データで見えた挙動のサムネイル画像
LOG-016
実装・技術解説
2026.04.09 14 min

BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動

BingbotはGPTBot・ClaudeBotと異なり、2…

Read Log →
Perplexityのクロール実測レポート——なぜ10分で130件来るのか
LOG-017
実装・技術解説
2026.04.08 16 min

PerplexityBotとは—Webサイトを読む仕組みと実測でわかった巡回の特徴

Perplexityは日本国内でChatGPTに次ぐ2位のA…

Read Log →
iOS 27でSiriが変わる—Applebotの動き方と今後の展開サムネ
LOG-018
実装・技術解説
2026.04.06 9 min

iOS 27でSiriが変わる—Applebotの動き方と今後の展開

iOS 27でSiriが対話型AIに刷新されます。Apple…

Read Log →
Studioで作ったサイト、AIに読まれていますか?_hero
LOG-019
実装・技術解説
2026.04.06 10 min

Studioで作ったサイト、AIに読まれていますか?—ノーコードツール別の確認手順と代替策

Studioで作ったサイトは、見た目が美しいです。デザインの…

Read Log →
mdファイルをサーバーに置いてAIに読まれやすくする方法
LOG-020
実装・技術解説
2026.04.05 13 min

AIはHTMLよりMarkdownを好む—サイトにmdファイルを置くとどうなるか

AIはHTMLよりMarkdownを読みやすいとされています…

Read Log →
AIクローラーのUser-Agentにモバイル文字列が含まれないことを示すサムネイル画像
LOG-021
実装・技術解説
2026.04.03 15 min

モバイル対応はAI引用に関係するのか—サーバーログで実測した

「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマ…

Read Log →
ノーコードツールで作ったサイトがAIクローラーに読まれているか
LOG-022
実装・技術解説
2026.04.02 16 min

ノーコードツールで作ったサイト、AIに読まれていますか?—SPA問題とツール別の対応状況を調べた

「ノーコードツールで作ったサイトがAIに紹介されない」——そ…

Read Log →
GA4に出ないAI流入をサーバーログで可視化する方法を解説した記事のサムネイル
LOG-023
実装・技術解説
2026.04.01 19 min

GA4だけではAI流入は計測できない—サーバーログで補完する方法

GA4だけではAIクローラーの巡回やアプリ経由の流入は見えま…

Read Log →
AIクローラー実測何階層まで潜るのか?
LOG-024
実装・技術解説
2026.03.31 10 min

AIクローラーは何階層まで潜るのか—GPTBot・PerplexityBot・Googlebot実測比較

GPTBot・PerplexityBot・Googlebot…

Read Log →
Claude-SearchBotとは何か、ClaudeBot・Claude-Userとの違いを解説する記事のサムネイル
LOG-025
実装・技術解説
2026.03.30 12 min

Claude-SearchBotとは?ClaudeBot・Claude-Userとの違いとrobots.txt設定

Anthropicが運用する3種類のボット(ClaudeBo…

Read Log →
MetaのAIクローラー「Meta-ExternalAgent」の実測データ解説記事のサムネイル
LOG-026
実装・技術解説
2026.03.29 15 min

Metaの新AIクローラーがサイトに来ていた—実測データで正体を暴く

MetaのAI学習クローラー「Meta-ExternalAg…

Read Log →
AIクローラーの判定にIPではなくUser-Agentを使うべき理由を解説する図
LOG-027
実装・技術解説
2026.03.25 9 min

AIクローラーはIPで判定するな—User-Agentを使うべき理由

AIクローラーの判定にIPアドレスを使うのは構造的に無理があ…

Read Log →
AIはなぜそのページを引用しないのか——RAGが嫌うサイト設計の正体
LOG-028
実装・技術解説
2026.03.24 12 min

AIはなぜそのページを引用しないのか—RAGが嫌うサイト設計の正体

ChatGPTに「〇〇とは?」と聞いたとき、回答の末尾に他の…

Read Log →
WordPressのサイトマップがAIクローラーに届いているかを実測ログで検証した記事のサムネイル
LOG-029
実装・技術解説
2026.03.21 12 min

WordPressのsitemapはAIクローラーに届いているか | 実測ログで見えた3つのパターン

AIクローラーは、毎日あなたのサイトに来ています。 サーバー…

Read Log →
AIに引用されるサイト、基本設定8項目チェックリスト_サムネ
LOG-030
実装・技術解説
2026.03.18 20 min

AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】

AIに引用されているサイトと、されていないサイト。何が違うの…

Read Log →
AIクローラーを拒否する前に知っておくべきこと_サムネ
LOG-031
実装・技術解説
2026.03.16 21 min

AIクローラーを拒否する前に知っておくべきこと

「AIクローラーをブロックしたい」と思って検索した人へ。ro…

Read Log →
サーバーログで見つかったクローラーの404問題と修正フロー(WordPress実践ガイド)
LOG-032
実装・技術解説
2026.03.14 14 min

サーバーログを見たら、AIクローラーが404を踏み続けていた

サーバーログを見て、驚いた。 クローラーが404を踏み続けて…

Read Log →
GPTBot・OAI-SearchBotのrobots.txt許可・拒否設定ガイド
LOG-033
実装・技術解説
2026.03.11 12 min

AIクローラーの違いとは?GPTBot・ClaudeBot・PerplexityBotを実測比較

GPTBot・ClaudeBot・OAI-SearchBot…

Read Log →
AIが商品を選ぶ前に何が起きているのか
LOG-034
実装・技術解説
2026.03.09 14 min

AIが商品を選ぶ前に何が起きているのか—サイト運営者が見落とす盲点

AIエージェントが商品を選ぶ時代が来る前に、すでにAIクロー…

Read Log →
Core Web VitalsとAI時代のページ速度改善を解説する記事のアイキャッチ画像
LOG-035
実装・技術解説
2026.02.21 17 min

計測してわかったAI時代のページ速度の現実【Core Web Vitals入門】

自分のサイトを初めてPageSpeed Insightsで計…

Read Log →
OGPタグがAIの評価に影響することを解説する記事のアイキャッチ画像
LOG-036
実装・技術解説
2026.02.20 10 min

「なんとなく設定した」OGPがAIの評価を左右していた

正直に言うと、かれこれ15年前SEOツールにてOGPを設定し…

Read Log →