robots.txtの記事
「robots.txt」のタグが付いた記事の一覧です。
robots.txtが原因でサイトが検索されないときの直し方｜サイト全体のクロールを止める Disallow: / の見つけ方と直したあとの確かめ方
サイトを公開したのに検索されないとき、robots.txtの「Disallow: /」がサイト全体のクロールを止めていることがあります。どのrobots.txtが効いているかの確かめ方、置き方ごとに直す場所、直したあとGoogleに新しい内容が届いたかの確かめ方をGoogleの公式ドキュメントとRFC 9309を根拠に示します。