SEOが重要と言っても、そもそも検索エンジンにデータが登録されていなければ意味がありません。

Googleなど多くの検索エンジンでは、自分たちの検索データベースに、世界中のWebサイトのデータを常に蓄えています。そして、検索キーワードをユーザーが打ち込んだ際に、検索結果として表示してくれます。つまり、彼らのデータベースに登録されていなければ、検索結果に出ることはありません。彼らのデータベースにWebサイトの情報を収集するロボットのことを「クローラー」と呼びます。そして、クローラーが巡回のしやすさをクローラビリティといいます。クローラビリティを向上させることは、SEOの一貫と考えられます。

今回は、クローラーの意味とそしてクローラビリティの向上方法を解説していきます。

競合調査、市場動向、消費者ニーズ・トレンドを同時に把握する方法とは？

　　

目次

  1. クローラーとは
    1. クローラーがクローリングするファイルの種類
    2. クローラビリティとは
  2. クローラーの種類
    1. Googlebot
    2. Googlebot以外のクローラー
  3. クローラビリティを向上させる方法
    1. 外部サイトからのリンクを作る
    2. Googleサーチコンソールからサイトマップを送信する
    3. GoogleサーチコンソールのFetch as Googleを活用する
    4. ディレクトリ構造を見直す
    5. リンクのないページの排除
    6. パンくずリストの設定
  4. クローラーが来てくれているか確認する方法
    1. site:検索を使う
    2. クロールの統計情報を確認する
  5. クローラーの速度の変更について
  6. クロールバジェットについて

クローラーとは

クローラーとは、検索ロボット、サーチボットとも呼ばれ、インターネットにつながっているWebサイト・画像・動画などの情報を収集し、検索データベースに保管するプログラムのことです。這う（クロール：crawl）ように収集していくことからクローリングと名付けられました。

クローラーはインターネット上につながっていれば、できるだけ収集しようとします。しかし、公開してすぐのページなどはクローラーもなかなかページを見付けられないため、こちらから見付けやすくしてあげることで、いち早く検索結果に表示されるようになります。

クローラーがページを見付けやすくすることを”クローラビリティを高める”と言います。
　　

クローリングするファイルの種類

上記でGooglebotはHTMLファイルなどの情報を読み込んで解析し、サイトの構造を理解しているとお伝えしましたが、読み込んで解析しているのはHTMLファイルだけではありません。

  • PHPファイル
  • JavaScriptで生成されるリンク
  • PDF
  • WordやPowerPointなどによって作成されたファイル

例えば上記なども、Googlebotはクローリングして取得していきます。
　　

クローラビリティとは

クローラーがサイト内を回遊しやすくするように、サイト内の構造を適切に整えることを指します。クローラーは当たり前ながら人間ではありません。画像を見て、それが何を意味するかを考えたり、テキストの行間を読んだりすることはできません。

では、Googlebotが何を持ってサイトの構造を理解しているかと言うと、サーバ内に格納されているHTMLファイルなどの情報を読み込んで解析し、サイトの構造を理解しています。よって、まずはサイト内の各種ファイルを適切に書くことが重要です。その上で、下記でご説明する「クローラビリティを向上させる方法」をもとに、サイトの改善を進めていきましょう。
　　

クローラーの種類

Googlebot

Googlebotとは、Googleが情報をクロールするために作ったbotになります。クローラー、スパイダーと呼ばれることもあります。

日本の検索エンジンのシェアは9割をGoogle（Yahooの裏側はGoogleのため）が占めているため、このクローラーを気にしておけばまず大丈夫でしょう。
　　
参考：
Googlebotとは｜ferret マーケティング用語辞典
　　

Googlebot以外のクローラー

Googlebot以外にもクローラーは存在していますので、念のため、そちらにも触れていきます。

  • Yahoo Slurp：日本以外のYahooのクローラー
  • Baiduspider：中国の検索サイトのBaiduのクローラー
  • bingbot：マイクロソフトが運営するBingのクローラー

ここらへんが有名なところでしょうか。

Yahoo Slurpは日本には関係がないサイトなので、存在していることぐらいを知っておけば問題ないでしょう。
　　

クローラビリティを向上させる方法

1. 外部サイトからのリンクを作る

クローラーはリンクからURLを発見し、クローリングを行います。そのため、外部のWebサイトからリンクを張られていると、Webサイトを認識してくれやすくなります。
　　

2. Google サーチコンソールからサイトマップを送信する

original_(26).jpeg
Googleが提供しているGoogle サーチコンソールには、WebサイトにどんなページがあるのかをGoogleに知らせる、サイトマップ送信機能があります。これを使って、Googleにページの存在を伝えクローリングしてもらうことが可能です。
　　
参考：
Google Search Consoleの登録方法｜ferret
　　

3. GoogleサーチコンソールのFetch as Googleを活用する

fetchasgoogle
GoogleサーチコンソールにあるFetch as Googleは、Googleにクロールを促すことができる機能です。これを活用することでクローラーを呼び出すことができます。

関連：
Fetch as Googleとは？｜インデックスを早め、Googleにどう読み込まれているかがわかる公式ツール｜ferret
　　
ちなみに、Fetch as Google以外にも、同様の機能を持ったページがあります。使ってみてはいかがでしょうか。

参考：
新規作成ページや更新したページのURLをGoogleに通知する方法４選 | アソビズム

4. ディレクトリ構造を見直す

Googleは階層の浅いコンテンツほど、重要なコンテンツと認識すると公式に発言をしています。検索エンジンが、重要なコンテンツを理解できるようにディレクトリ構造を見直すのも1つの手です。
　　
参考：
oogleで、URLの長さは問題にならないが階層の深さは重要 from #SMX Advanced 2015

5. リンクのないページの排除

クローリングはWebサイト上のリンクをGooglebotが発見し、アクセスすることです。リンクがどこからも張られていないページは、GooglebotがURLを発見しづらくインデックスがなかなかされにくくなります。

Googleの長山氏はURLの発見について下記のように言及されています。

内部URLがなくても、URLが全く発見できないわけではありませんが、新しくページを作ったら必ずサイト内のどこかのページからリンクを張ってリンクの発見を手助けるようにしましょう。
　　
参考：
Google 検索の仕組み - Search Console ヘルプ
　　

6.パンくずリストの設定

パンくずリストとは、Googlebotにサイトの構成をわかりやすく伝えるための道案内図です。

このページにもヘッダー帯すぐ下に

TOP > ニュース > クローラーってなに？SEOに絶対必要！サイトの情報を取得させ、検索結果に表示させよう

と表示されています。このリンクの道案内図をパンくずリストと呼びます。このパンくずリストを設置することで、GooglebotのURL発見を手助けすることができます。

参考：
パンくずリストとは？｜SEOに有効な理由と関係性を解説｜ferret
　　

クローラーがWebサイトに来てくれているか確認する方法

site:検索を使う

site:検索
実際にクローラーを呼ぶために、サイトマップなどを送信しても来てくれるかどうかはGoogle次第です。あくまでもシグナルをこちらから送るだけなので、実際にクローラーがWebサイトに来てくれてインデックスされているかは、自分で調べなければわかりません。全然アクセスが伸びない場合は、クローラーがまだ来ていない可能性もあります。

そんな時はGoogleの検索エリアで「site:検索」を行いましょう。

クローラーがインデックスしているとこのように表示になります。
　　

クロールの統計情報を確認する

gsc01.png
https://www.google.com/webmasters/tools/crawl-stats

site:検索も良いですが、Googleサーチコンソールを使うと「クロールの統計情報」を閲覧することが可能です。クロールの統計情報では、どれくらいクロールされたのかなどのデータを見ることもできます。

ここでの数値が低いとあまりクローラーがサイトにアクセスしてくれていないと言えるため、クローラーがアクセスしてくれるように前述したような方法を試すと良いでしょう。

参考：
Googleサーチコンソールの使い方白書〜今更聞けない基礎知識からアナリティクスとの連携方法を解説｜ferret
　　

クローラーの速度の変更について

gsc04.png
https://www.google.com/webmasters/tools/settings

クローラーの速度は、Googleサーチコンソールで変更することができます。

Googleサーチコンソールにログイン後、設定からサイトの設定を選択すると変更が可能です。しかし、速度を速めることはできず、基本はGoogleに任せることになります。ここで変更できるのはクローラーのクロール速度に制限をかけることになります。

参考：
https://support.google.com/webmasters/answer/48620?hl=ja
　　

クロールバジェットについて

クロールバジェットとは、各サイトに対してGoogleが設けているクローリングの上限値となります。クロールバジェットを高めることで検索順位に良い影響があると考える人が多いようです。そもそもクロールされなければ、インデックスもされないためそう考えるのも無理はありません。

しかし、クロールバジェットについてはURLが無尽蔵に増えていくような大規模サイト以外は気にしなくて良いとGoogleは言っています。

こちらについては、GoogleのJohn Mueller（ジョン・ミューラー）氏がポッドキャストで語っています。

クロールバジェットが関わってくるのは、
• たくさんのパラメータが付いた本当に複雑なURL構造で
• URLが無尽蔵にできあがり
• Googlebotがクロールを無限に繰り返す
ような場合だ。そんな状況だと、クロール能力の限界を超えてしまう。
引用元：【Web担】SEOで「クロールバジェット」という言葉を聞いたことがあるだろう。クロールバジェットとは何か、SEOにどう関係するのか、わかりやすく解説する。

よって、多くの方はクローラビリティを高めることを最優先に検討すれば良いでしょう。
　　

まとめ

せっかくWebサイトを作っても、Googleに巡回されデータ蓄積をされなければ、機会損失にもなります。

内容だけではなく、しっかりとクローリングされるようにして上位表示を目指しましょう。

競合調査、市場動向、消費者ニーズ・トレンドを同時に把握する方法とは？