本記事で学ぶ内容

・robots.txtの確認・送信が行えるようになる
・robots.txtでブロック(Disallow)したURLのチェックが出来るようになる

Google Search Console内でrobots.txtの確認・送信を簡単に行えるのが「robots.txtテスター」です。
robots.txtを正しく扱えるようになって、不要なページインデックスさせないようにし、効率的にインデックスをさせましょう。

robots.txtの記述方法に関してはこちら

robots.txtテスターの使い方

robots.txtテスターの画面はこのようになっています。
https://www.google.com/webmasters/tools/robots-testing-tool

robots.txtテスターの使い方

赤枠:robo



URLのテスト


ブロック後の表示