BingbotはCopilotのために毎日来ていた—7日間353件の実測データで見えた挙動
BingbotはGPTBot・ClaudeBotと異なり、24時間均等分散で毎日クロールし続けます。7日間353件のサーバーログ実測データから、CopilotのためのBingbotの設計と挙動を解説します。
BingbotはGPTBot・ClaudeBotと異なり、24時間均等分散で毎日クロールし続けます。7日間353件のサーバーログ実測データから、CopilotのためのBingbotの設計と挙動を解説します。
PerplexityBotはAI検索サービスPerplexityのWebクローラーです。Perplexityの仕組みから、PerplexityBotの役割、Perplexity-Userとの違い、robots.txtへの対応、実測ログで見えた巡回の特徴までわかりやすく解説します。
Xに記事をシェアした直後、サーバーログに見慣れないアクセスが記録されていました。 時刻は一致しています。シェアするたびに来ます。しかも1件ではなく、複数のIPアドレスから同時に。 正体はTwitterbotです。GPTB … 続きを読む
iOS 27でSiriが対話型AIに刷新されます。Applebotのクロールデータがどう使われるのか、Applebot-Extendedの拒否率がまだ6%にとどまる現状と、サイト運営者が今判断すべきrobots.txtの設定を整理しました。
AIクローラーは、どのサイトにも同じように来ているわけではありません。 GPTBot・ClaudeBot・OAI-SearchBot・PerplexityBot——同じ「AIクローラー」という呼び名でも、サイトをどう巡回 … 続きを読む
Studioで作ったサイトは、見た目が美しいです。デザインの自由度は高く、ノーコードで本格的なウェブサイトが作れます。 ただ、一つ確認してほしいことがあります。 AIクローラーは、ブラウザのように画面を「見て」いるわけで … 続きを読む
AIはHTMLよりMarkdownを読みやすいとされています。index.md・about.md・faq.mdをサーバーに置く方法をXserver・さくら・ロリポップ別に解説。URLを入れるだけでMarkdownに変換できるツールも紹介します。
AIクローラーはHTMLしか読まない——そう思っていた。 GPTBotもClaudebotも、サーバーログを見るかぎりHTMLファイルを取得してすぐ帰っていきます。CSSやJavaScriptのファイルを取りに来ることは … 続きを読む
「モバイル対応はSEOに必須」——昔口酸っぱく言われていたマーケターさんやデザイナーさん多いかと思います。 Googleは2019年にモバイルファーストインデックスへ完全移行し、スマートフォンでの表示を基準にサイトを評価 … 続きを読む
「ノーコードツールで作ったサイトがAIに紹介されない」——そんな声を耳にすることが増えています。デザインのきれいなサイトが、ChatGPTやPerplexityの回答に一切登場しない。原因のひとつとして、近年注目されてい … 続きを読む