robots.txt アーカイブ - 観測ラボ

GPTBot・OAI-SearchBotの仕組みと許可・拒否設定【robots.txt実例付き】

2026年3月11日2026年3月11日 by AI観測ラボ

2026年、あなたのサイトには複数のボットが来ています。 GooglebotだけじゃなくGPTBot・OAI-SearchBot・PerplexityBot——それぞれ目的も挙動もまったく違います。でも、ほとんどのサイ … 続きを読む

2026年3月7日2026年3月6日 by AI観測ラボ

ChatGPTに質問すると、自分のサイトが出てくる。なのに、Claudeに同じことを聞くと、まったく出てこない。そういう体験、ありませんか。同じ内容を書いているのに、AIが違うだけで結果が変わる。挙動的な偶然では … 続きを読む

2026年3月9日2026年1月29日 by AI観測ラボ

robots.txtとは？なぜAI時代に重要なのか「良い記事を書いているのに、ChatGPTやPerplexityに全然引用されない」——そう感じているなら、robots.txtの設定を見直すだけで状況が変わるかもしれ … 続きを読む