AIクローラーはHTMLしか読まない—ただApplebotだけは違った【AI実験室 #10】

AI実験室#10 Applebotだけがレンダリングするクローラーだった

AIクローラーはHTMLしか読まない——そう思っていた。 GPTBotもClaudebotも、サーバーログを見るかぎりHTMLファイルを取得してすぐ帰っていきます。CSSやJavaScriptのファイルを取りに来ることは … 続きを読む

Amazonbotとは—Alexaを支える3種類のクローラーと実測ログで見えた行動

AmazobotをAIクローラーの種類ごとに解説した記事のサムネイル画像

AmazonbotはAlexa向けクローラーというだけではありません。Amazon公式では3種類のクローラーが案内されており、役割も異なります。AI観測ラボの実測ログをもとに、robots.txt未確認アクセスやREST API取得の挙動を解説します。

ClaudeBotとは—Anthropicの3つのボットと実測ログで見えた巡回の仕組み

ClaudeBotとは——AnthropicのAIクローラーの役割と巡回の仕組みを解説するサムネイル

Anthropicのクローラーは3種類あり、それぞれ役割が異なります。ClaudeBot・Claude-User・Claude-SearchBotの違いと、AI観測ラボで観測した4,072件の実測ログから見えた巡回パターンと仕組みを整理します。

AI-Observatory/1.0 続報—6日後に行動パターンが変化した【AI実験室 #19】

AI-Observatory/1.0の行動変化を観測したAI実験室#19のサムネイル画像

サーバーログに記録された謎のエージェント「AI-Observatory/1.0」が、llms.txt設置から6日後に巡回パターンを変えました。sitemap.xmlの変化・来訪頻度の増加・AWSバージニア北部IPの特徴を、実測ログベースで記録します。

ChatGPTはどうやって情報を集めているのか|実測ログで見えた裏側

ChatGPTはどのページを見に来ているのか。2026年5月上半期のサーバーログから、OAI-SearchBotとChatGPT-Userの取得プロセスを分析。robots.txt確認・内部リンク巡回・リアルタイム取得の流れを実測データで解説します。