クローラー

Profile

ferret編集メンバーが不定期で更新します。
Webマーケティング界隈の最新ニュースからすぐ使えるノウハウまで、わかりやすく紹介します!
  
>> 著者詳細はこちら

720 thumb
  動画を読み込んでいます。

クローラーとは、検索エンジンへのインデックス作業のためにインターネット上に存在する様々なWEBサイトの情報を集めデータベースに登録するプログラムのことです。通称、ロボットとも呼ばれます。クローラーがWEBサイトを巡回する際、WEBサイトに埋め込まれているリンクを辿って、WEBサイトの構造やキーワードなどに関する情報を収集します。

クローラーがWEBページに関する情報を取得する際、テキストのみならずCSSファイルから画像ファイルまでたくさんの情報を取得します。そのため、クローラーに収集されたくない機密性の高い情報はクローラーを拒絶するように設定したり、アクセス権限を設定するなどの工夫が必要となります。

クローラーの巡回しやすさをクローラビリティと言います。WEBサイトの検索順位の上昇させるためには、まず、クローラーにWEBサイトを十分に巡回してもらいインデックスを増やす必要があります。そのためには、高いクローラビリティを実現するWEBサイトを構築しなければいけません。

Original

会話例

クローラー対策に、パンくずリストを作った方がいいかな」
「ホームページインデックスされた!Googleクローラーが回ってきたんだね」
(新しく作ったホームページが、Google検索結果に表示されればクロールされたのだと考えられます)
「新しいコンテンツを追加したからといって、すぐにクローラーはやってこないよ」
クローラーがどのようにしてWEBサイトを巡っているのか教えてよ」
SEOを勉強したいなら、まずはクローラーのことをよく学ぶ必要があるよ」