Googlebot

Googlebot とは、 インターネット 上に存在する無数のホームページを巡回し（ クロール し）、文書や画像などを定期的に読み取り データベース 化する Google のロボットのことです。「 クローラー 」あるいは「スパイダー」と呼ばれることもあります。

Googlebot のクロールの仕組み

Google では、大規模なコンピュータを利用して、 インターネット 上にある膨大な数のページを自動的に読み取っています。これを行なっているのが Googlebot です。
これにより、新しい ページ や更新された ページ が Google の 検索結果 に表示されるようになります。また、ホーム ページ が クロール され Google に表示されることを インデックス と呼びます。

Googlebot がクロールをはじめるときは、前回 クロール したときに生成した URL リストを使います。 Googlebot は URL リストにあるすべての ページ にアクセスするのです。 クロール する ページ の量やタイミングは Google が考案したコンピュータプログラミング（ アルゴリズム ）によって決まっています。

また、携帯電話用ホームページを クロール する Googlebot -Mobileもあります。以前は、スマートフォン用ホームページにも Googlebot -Mobileが使われていましたが、2014年1月に Googlebot に切り替わりました。

クロール されやすくするには

自分のホームページを Google の 検索結果 に表示させるためには、 Googlebot に クロール される必要があります。

多くの場合、ホームページの作成や更新から数日後には、自動的に クロール されるのですが、少しでも早く表示させたい場合には以下のような方法を試すと良いでしょう。

1、ホームページの更新回数を多くする
Googlebot は更新回数が少ないホームページよりも、多いホームページを優先して クロール すると言われています。ですから、定期的に更新することによって クロール されやすくなると考えられます。

2、新しく作った ページ へのリンクを増やす
Googlebot は他のホームページや ブログ からのリンクをたどって巡回します。 クロール させたい ページ へのリンクを多く設置することによって クロール されやすくなるのです。

会話例

「 Googlebot が制御されているようだ」
「ホーム ページ が Google に インデックス されたよ。 Googlebot が クロール したようだね」