Googleが「Google 検索デベロッパー ガイド」に「Googlebotのクロール頻度を下げる」ページを追加した。Googlebotのクロール頻度を下げるには2つの方法があるという。

Googlebotのクロール頻度の下げ方

  • Search Console を使用してクロール頻度を下げる（推奨）
  • Google の仕組みにより自動的にクロール頻度を下げる

Search Console を使用してクロール頻度を下げる（推奨）

1つはSearch Consoleの設定を変更する方法だ。この方法はGoogleが推奨している。

Googlebot のクロール頻度の変更

Google の仕組みにより自動的にクロール頻度を下げる

もう1つはHTTP結果コードを含む情報エラーページを返すようにする方法だ。

数時間や 1～2 日の短期間にクロール頻度を緊急に下げる必要がある場合は、コンテンツの代わりに、500・503・429HTTP結果コードを含む情報エラーページを返すようする。

Googlebotは、500・503・429を含むURLを多数検出すると、そのサイトのクロール頻度が下がるようになっている。この変更は、エラーを返すURL のみではなく、ウェブサイト全体に対するクロールにも反映される。エラーの数が減ると、クロール頻度は自動的に回復する。

短期間でない場合はURLが削除される可能性がある

この方法に対してGoogleは警告している。それは対象期間が長い（1～2 日では済まない）場合だ。Googlebotにより、同じURLで上記ステータスコード（500、503、429）が数日にわたり観測されるとGoogleのインデックスからそのURLが削除される可能性があるためとのこと。

Googlebotのクロール頻度を下げなければならない理由

Googleのクロールにより、インフラストラクチャに重大な負荷がかかったり、サービス停止中に不要な費用が発生したりすることがあるという。これを軽減する場合には、Googlebotからのリクエストの数を減らす対応を検討すべきだろう。

出典：Googlebot のクロール頻度を下げる