AIクローラーの記事
「AIクローラー」のタグが付いた記事の一覧です。
robots.txtでAIクローラーをブロックする書き方｜GPTBotとAI検索用クローラーの違いと止めたときに起きること
robots.txtでAIクローラーをブロックするときは、各社が用途ごとに分けて公開している名前を書き分けます。GPTBotのように学習などへの利用を止める名前とOAI-SearchBotのようなAI検索用の名前の違い、Google-Extendedの拒否がGoogle検索に影響しないこと、書いた覚えが無いのに拒否になっているときの見分け方、robots.txtで止められないものを各社の公式ページとRFC 9309を根拠に示します。