クローラーとは、検索エンジンへのインデックス作業のために、インターネット上に存在する様々なWebページの情報を集めデータベースに登録するプログラムのことです。クローラーが動くことをクローリングといいます。クローラーがページを巡回する際、Webページに埋め込まれているリンクを辿って、ページ構造やキーワードなどに関する情報を収集します。

クローラーがページに関する情報を取得する際、テキストのみならずCSSファイルから画像ファイルまでたくさんの情報を取得します。そのため、クローラーに収集されたくない機密性の高い情報はクローラーを拒絶するように設定したり、アクセス権限を設定するなどの工夫が必要となります。

クローラーの巡回しやすさをクローラビリティと言います。Webページの検索順位の上昇させるためには、まず、クローラーにWebページを十分に巡回してもらいインデックスを増やす必要があります。そのためには、高いクローラビリティを実現するWebページを構築しなければいけません。

会話例

「クローラー対策に、パンくずリストを作った方がいいかな」
「ホームページがインデックスされた！Googleのクローラーが回ってきたんだね」
「新しいコンテンツを追加したからといって、すぐにクローラーはやってこないよ」
「クローラーがどのようにしてWebページを巡っているのか教えてよ」
「SEOを勉強したいなら、まずはクローラーのことをよく学ぶ必要があるよ」