Googlebot

Profile

ferret編集メンバーが不定期で更新します。
Webマーケティング界隈の最新ニュースからすぐ使えるノウハウまで、わかりやすく紹介します!
  
>> 著者詳細はこちら

Googlebotとは、インターネット上に存在する無数のホームページを巡回し(クロールし)、文書や画像などを定期的に読み取りデータベース化するGoogleのロボットのことです。「クローラー」あるいは「スパイダー」と呼ばれることもあります。

Original

Googlebotのクロールの仕組み

Googleでは、大規模なコンピュータを利用して、インターネット上にある膨大な数のページを自動的に読み取っています。これを行なっているのがGooglebotです。
これにより、新しいページや更新されたページGoogle検索結果に表示されるようになります。また、ホームページクロールされGoogleに表示されることをインデックスと呼びます。

Googlebot がクロールをはじめるときは、前回クロールしたときに生成したURL リストを使います。GooglebotURL リストにあるすべてのページにアクセスするのです。クロールするページの量やタイミングはGoogleが考案したコンピュータプログラミング(アルゴリズム)によって決まっています。

また、携帯電話用ホームページをクロールするGooglebot-Mobileもあります。以前は、スマートフォン用ホームページにもGooglebot-Mobileが使われていましたが、2014年1月にGooglebotに切り替わりました。

クロールされやすくするには

自分のホームページをGoogle検索結果に表示させるためには、Googlebotクロールされる必要があります。

多くの場合、ホームページの作成や更新から数日後には、自動的にクロールされるのですが、少しでも早く表示させたい場合には以下のような方法を試すと良いでしょう。

1、ホームページの更新回数を多くする
Googlebotは更新回数が少ないホームページよりも、多いホームページを優先してクロールすると言われています。ですから、定期的に更新することによってクロールされやすくなると考えられます。

2、新しく作ったページへのリンクを増やす
Googlebotは他のホームページやブログからのリンクをたどって巡回します。クロールさせたいページへのリンクを多く設置することによってクロールされやすくなるのです。

会話例

Googlebotが制御されているようだ」
「ホームページGoogleインデックスされたよ。Googlebotクロールしたようだね」