AmazonbotがREST APIを叩いていた—サーバーログで見えた新事実【AI実験室 #05】
サーバーログを眺めていたら、見慣れないアクセスが目に入りました。 HTMLページを取得した直後に、同じコンテンツのREST APIエンドポイントを叩いているクローラーがいます。しかも毎回403（アクセス拒否）で弾かれてい … 続きを読む
月: 2026年3月
robots.txt誕生の歴史とAIクローラー時代の現実
あなたのサイトにもrobots.txtは設置してあるはずです。 でも、なぜそのファイルが存在するのか。誰がいつ作ったのか。知っている人はほとんどいません。 1994年、一人のエンジニアがメーリングリストに投稿した提案が起 … 続きを読む
WordPressのsitemapはAIクローラーに届いているか | 実測ログで見えた3つのパターン
AIクローラーは、毎日あなたのサイトに来ています。 サーバーログを開けば、ClaudeBotやGPTBotといった名前がずらりと並んでいます。「ちゃんと来ているな」と安心したくなる気持ちはわかります。でも、来ていることと … 続きを読む
広告費が溶ける理由は運用じゃない｜AI Overview時代のGoogle広告の現実
広告を改善しているのに成果が落ちるのはなぜか。AI Overview導入後、Google広告のCTRは最大68%低下。ユーザーがAIで意思決定を終える新しい構造を解説します。
AIに引用されるサイト、基本設定8項目チェックリスト【実装記事つき】
AIに引用されているサイトと、されていないサイト。何が違うのか気になりませんか。 コンテンツの質だけじゃないんです。実は「AIに読んでもらうための設定」が、そもそもできていないサイトが多い。 robots.txtの書き方 … 続きを読む
AIクローラーを拒否する前に知っておくべきこと
「AIクローラーをブロックしたい」と思って検索した人へ。robots.txtを書く前に、一度立ち止まって考えてほしいことがあります。 2026年現在、AIクローラーを拒否する方法を解説した記事はたくさんあります。でも「拒 … 続きを読む
サーバーログを見たら、AIクローラーが404を踏み続けていた
サーバーログを見て、驚いた。 クローラーが404を踏み続けていた。しかも1回や2回ではない。同じURLを何度も繰り返し叩いて、そのたびに404を返されている。 404といえば「ページが見つからない」というエラーです。人間 … 続きを読む
AI検索とは—1,750件来たAIクローラーがこの記事だけ読まなかった理由
AI検索の仕組みをサーバーログの実測データで解説します。直近7日間でAIクローラーが約1,750件訪問したブログで、なぜ「AI検索とは」のページだけ読まれなかったのか。サイト運営者・マーケターが知るべき「引用される設計」を具体的に紹介します。
llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
冨島 基宏 Motohiro Tomishima AI実験室 著者 Webデザイン・ECサイト運営を経て、AIと検索の変化に興味を持ち観測を開始。「作りながら確かめる」スタイルで、生成AIがウェブをどう読むかを記録し続け … 続きを読む
ChatGPT検索に出たいなら、止めるBotを間違えない｜GPTBot・OAI-SearchBot・ChatGPT-Userの違い
GPTBot・OAI-SearchBot・ChatGPT-Userは、同じOpenAIのBotでも役割が異なります。GPTBotを止めても、OAI-SearchBotを許可していれば検索引用候補として取得される可能性があります。AI観測ラボの実測ログをもとに、許可すべきBotと制御すべきBotを整理しました。