本記事で学ぶ内容

・robots.txtの確認・送信が行えるようになる
・robots.txtでブロック(Disallow)したURLのチェックが出来るようになる

Google Search Console内でrobots.txtの確認・送信を簡単に行えるのが「robots.txtテスター」です。
robots.txtを正しく扱えるようになって、不要なページインデックスさせないようにし、効率的にインデックスをさせましょう。

robots.txtの記述方法に関してはこちら

robots.txtテスターの使い方

robots.txtテスターの画面はこのようになっています。
https://www.google.com/webmasters/tools/robots-testing-tool

robots.txtテスターの使い方

赤枠:robots.txtを確認・送信することが出来ます。
青枠:robots.txtでブロック(Disallow)したURLが正しくブロックされているか確認することが出来ます。

赤枠に何も記載がない場合は、robots.txtが設置されていません。まずはルートディレクトリにrobots.txtを設置しましょう。

http://www.example.com/ドメインなら、http://www.example.com/robots.txtとなります。
http://www.example.com/test/robots.txtのようなルートディレクトリ以外に置いてしまうと認識してくれないので注意が必要です。

URLのテスト

指定したURLのクローリング可否状況を確認することが出来ます。

試しに、ferretでDisallow指定をしている「/mypage/」を入れてみます。
URLのテスト

指定したとおりにブロックされていると、このように表示されます。
ブロック後の表示

User-agent毎に切り替えて確認することも可能です。また、Disallowだけでなく、Allow指定したものも確認できます。

間違ってブロックしてしまうと、一切インデックスされないということが起こってしまいます。一度確認の意味も含めてチェックしてみましょう。

robots.txtテスターの注意点

robots.txtテスターにはこんな制約があります。

  1. ツールエディタでの変更内容はウェブサーバーに自動的に保存されるわけではありません。エディタから内容をコピーして、サーバーに保存されている robots.txt ファイルに貼り付ける必要があります。
  2. robots.txt テスター ツールでは、Googleユーザーエージェントやウェブクローラ(Googlebot など)に関してのみ robots.txt のテストを行います。他のウェブクローラが robots.txt ファイルをどのように解釈するかを予測することはできません。

    引用元:Google Search Consoleヘルプ robots.txt テスターで robots.txt をテストする

まとめ

robots.txtテスターは、Googleが受け取っているホームページのrobots.txtの最新版をWeb担当者に見せてくれるツールです。
ここで更新しただけでは、変更は起きないので注意が必要です。robots.txt上でテストし問題なかったファイルをサーバーにアップロードして完了になりますので、間違えないようにしましょう。

ここがポイント

・robots.txtテスターは、Googleが受け取っているrobots.txtの最新の状態を確認できるツール
・これを更新しただけでは、robots.txt自体の変更は行われないので注意