サーバーログを見たら、AIクローラーが404を踏み続けていた

サーバーログで見つかったクローラーの404問題と修正フロー(WordPress実践ガイド)

サーバーログを見て、驚いた。 クローラーが404を踏み続けていた。しかも1回や2回ではない。同じURLを何度も繰り返し叩いて、そのたびに404を返されている。 404といえば「ページが見つからない」というエラーです。人間 … 続きを読む

AI検索とは—1,750件来たAIクローラーがこの記事だけ読まなかった理由

AI検索とはサムネ

AI検索の仕組みをサーバーログの実測データで解説します。直近7日間でAIクローラーが約1,750件訪問したブログで、なぜ「AI検索とは」のページだけ読まれなかったのか。サイト運営者・マーケターが知るべき「引用される設計」を具体的に紹介します。

llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】

AI実験室#04サムネイル:llms.txtは誰も読んでいなかった

冨島 基宏 Motohiro Tomishima AI実験室 著者 Webデザイン・ECサイト運営を経て、AIと検索の変化に興味を持ち観測を開始。「作りながら確かめる」スタイルで、生成AIがウェブをどう読むかを記録し続け … 続きを読む

いつの時代も早く動いた人が勝った—検索30年史とAIの今

いつの時代も早く動いた人が勝った——検索30年史とAIの今

小学生のころ、家のパソコンでインターネットにつないだとき、最初に見たのは見知らぬ家族のホームページでした。 お父さんの趣味のページ、子どもの写真、好きな音楽のリスト。 「ホームページ」という言葉には、文字どおり誰かの「家 … 続きを読む

ChatGPT検索に出たいなら、止めるBotを間違えない|GPTBot・OAI-SearchBot・ChatGPT-Userの違い

GPTBot・OAI-SearchBotのrobots.txt許可・拒否設定ガイド

GPTBot・OAI-SearchBot・ChatGPT-Userは、同じOpenAIのBotでも役割が異なります。GPTBotを止めても、OAI-SearchBotを許可していれば検索引用候補として取得される可能性があります。AI観測ラボの実測ログをもとに、許可すべきBotと制御すべきBotを整理しました。

日本語コンテンツがAIに引用されにくい本当の理由|英語との差をデータで見る

日本語データが少ない業界ほどAIに引用されやすいことを示すインフォグラフィック

AI検索で英語サイトばかり引用されるのは、日本語コンテンツ量と構造の差が大きく影響しています。なぜ日本語サイトは不利なのか、逆にどんなサイトがAIに引用されやすいのかを、実測と構造の視点から整理します。

AIが商品を選ぶ前に何が起きているのか—サイト運営者が見落とす盲点

AIが商品を選ぶ前に何が起きているのか

AIエージェントが商品を選ぶ時代が来る前に、すでにAIクローラーは商品ページに来ている。GPTBot・ClaudeBotの実測データで見えた「到達できていない構造」の正体と、読まれる商品ページの条件を解説。

AGENTS.mdって何?llms.txtとどう違?を簡潔に整理してみた

Agentsっとは?アイキャッチイメージ

冨島 基宏 Motohiro Tomishima AI最適化ガイド 著者 Webデザイン・ECサイト運営を経て、AIと検索の変化に興味を持ち観測を開始。「作りながら確かめる」スタイルで、生成AIがウェブをどう読むかを記録 … 続きを読む