Googlebotとは、インターネット上に存在する無数のホームページを巡回し（クロールし）、文書や画像などを定期的に読み取りデータベース化するGoogleのロボットのことです。「クローラー」あるいは「スパイダー」と呼ばれることもあります。

Googlebotのクロールの仕組み

Googleでは、大規模なコンピュータを利用して、インターネット上にある膨大な数のページを自動的に読み取っています。これを行なっているのがGooglebotです。
これにより、新しいページや更新されたページがGoogleの検索結果に表示されるようになります。また、ホームページがクロールされGoogleに表示されることをインデックスと呼びます。

Googlebot がクロールをはじめるときは、前回クロールしたときに生成したURL リストを使います。Googlebot はURL リストにあるすべてのページにアクセスするのです。クロールするページの量やタイミングはGoogleが考案したコンピュータプログラミング（アルゴリズム）によって決まっています。

また、携帯電話用ホームページをクロールするGooglebot-Mobileもあります。以前は、スマートフォン用ホームページにもGooglebot-Mobileが使われていましたが、2014年1月にGooglebotに切り替わりました。

クロールされやすくするには

自分のホームページをGoogleの検索結果に表示させるためには、Googlebotにクロールされる必要があります。

多くの場合、ホームページの作成や更新から数日後には、自動的にクロールされるのですが、少しでも早く表示させたい場合には以下のような方法を試すと良いでしょう。

1、ホームページの更新回数を多くする
Googlebotは更新回数が少ないホームページよりも、多いホームページを優先してクロールすると言われています。ですから、定期的に更新することによってクロールされやすくなると考えられます。

2、新しく作ったページへのリンクを増やす
Googlebotは他のホームページやブログからのリンクをたどって巡回します。クロールさせたいページへのリンクを多く設置することによってクロールされやすくなるのです。

会話例

「Googlebotが制御されているようだ」
「ホームページがGoogleにインデックスされたよ。Googlebotがクロールしたようだね」