robots.txtの正しい書き方

本記事で学ぶ内容

・robots.txtの書き方がわかる
・robots.txtの設置方法がわかる
・robots.txtが正しく作成出来ているか確認する
・robots.txtをGoogleに送信する

ホームページを作成しても、Googleがそのページをクロールし検索結果に表示してくれなければ意味がありません。

robots.txtはこのクローリングを最適化し、重要なページをしっかりと検索結果に表示してもらうために使います。また、検索結果に表示したくないページを指定することも出来ます。

本記事は、robots.txtについて学んでいきましょう。

robots.txtとは

User-agent: 
Disallow:
Allow:
Sitemap: