llms.txtを設置し7日間のサーバーログを見たが、AIクローラーは誰も読んでいなかった【AI実験室 #04】
冨島 基宏 Motohiro Tomishima AI実験室 著者 Webデザイン・ECサイト運営を経て、AIと検索の変化に興味を持ち観測を開始。「作りながら確かめる」スタイルで、生成AIがウェブをどう読むかを記録し続け … 続きを読む
GPTBot
GPTBot・OAI-SearchBotの仕組みと許可・拒否設定【robots.txt実例付き】
2026年、あなたのサイトには複数のボットが来ています。 GooglebotだけじゃなくGPTBot・OAI-SearchBot・PerplexityBot——それぞれ目的も挙動もまったく違います。 でも、ほとんどのサイ … 続きを読む
AIはどうやってあなたのサイトを比べて引用先を決めるのか｜DCTAフロー・Compareフェーズ解説
「AIに引用されるサイトと、されないサイト。」 何が違うのか、考えたことがありますか？ 「良いコンテンツを書けばいい」「被リンクを増やせばいい」——そういった話は昔からありますが、それはGoogleの話です。AIが情報を … 続きを読む
ChatGPTは何時にクロールする？｜AIクローラーの時間帯別傾向と対策
「記事を公開したのに、なかなかAIに読まれない」——そんな経験はありませんか？ 実はAIクローラーには明確な活動時間帯の偏りがあります。Googlebotが24時間均等に巡回するのとは対照的に、ChatGPTやClaud … 続きを読む
AIクローラーの許可・拒否設定【robots.txt実例付き】
robots.txtとは？なぜAI時代に重要なのか 「良い記事を書いているのに、ChatGPTやPerplexityに全然引用されない」——そう感じているなら、robots.txtの設定を見直すだけで状況が変わるかもしれ … 続きを読む
AIクローラーとは？引用されるサイト設計の基本と対策
あなたのサイトは、AIに読まれていますか？ いま、多くのユーザーは検索エンジンではなく、ChatGPTやClaudeなどの生成AIに直接質問しています。AIが答えを生成するとき、どのサイトの情報を参照するかで「引用される … 続きを読む