robots.txtでAIクローラーにどう見せるか—コピペで使える設定例つき

robots.txtでGPTBot・ClaudeBot・PerplexityBotを許可・拒否する設定例をコピペでまとめました。設定を間違えるとAIに見つけてもらえない可能性も。クローラーごとの書き方の違いをわかりやすく解説します。