Googleクローラーの仕組みとは？登録方法や最適化のコツを解説

Googleクローラーとは、Web上の情報を収集してデータベースに登録し、検索結果に反映させる仕組みのことです。検索上位に表示されるほどアクセスアップにつながるため、自社サイトの認知を高めやすくなります。

SEOコンテンツを作成する上でGoogleクローラーは重要な存在ですが、「具体的にどうやって反映させるの？」「評価を高めるには？」など疑問に感じる人も多いはずです。

本記事では、Googleクローラーの概要や重要性、登録申請方法、クローラーの評価を高めるコツなどを解説します。

Googleクローラーとは

「Googleクローラー」とは、Web上の情報を収集して検索データベースに登録する仕組みを指します。サイトの情報が検索データベースに登録されることで、内容の評価が実施されて検索結果に表示されます。

Googleクローラーが読み取る情報は、サイト上の記事・画像・動画などさまざまです。新規コンテンツはもちろん、既存記事の更新も読み取って検索結果に最新情報を反映させています。

SEO施策においてクローラーは重要

SEO施策の目的は、検索経由で自社サイトの記事にたどり着いてもらうことです。

検索上位に表示されて顧客の目に留まり、記事の中身で価値を提供できれば、各企業が狙うCV（資料請求や商品購入など）へつなげられます。

検索結果に記事を表示させるには、Googleクローラーによってコンテンツが登録（インデックス）されなければなりません。インデックスされなければ、検索流入を狙ってコンテンツを作り込んでも、成果が出るまで時間がかかります。

もちろん、検索結果に上位表示される重要な要因は「記事のクオリティ」です。とはいえ、Googleクローラーによってインデックスされなければ検索結果に反映されないため、いかに「自社サイトを巡回してもらえるか」が重要といえます。

Googleクローラーの登録方法

Googleクローラーへの登録申請方法は以下の2パターンです。

時間が経てばインデックスされますが、検索結果への反映が遅れるため、自発的に登録の申請をしましょう。

URL検査（旧：Fetch as Google）への申請

URL検査（旧：Fetch as Google）とは、Googleサーチコンソール内にある項目です。以下の手順で登録します。

①トップページの左サイドバーにある「URL検査」をクリック

②検索窓にインデックスしたい記事やサイトのURLを記入

③「インデックス登録をリクエスト」をクリック

すでにURLがインデックス登録されていれば「URLはGoogleに登録されています」という文言が表示されます。

サイトマップを使った申請

サイトマップとは、サイト内の各記事リンク・更新日・優先順位などを記載したxmlファイルを指します。サイト内の記事を一覧でクローラーに示して巡回申請が可能です。

以下の手順で申請しましょう。

①自動生成ツール or WordPressのプラグイン（Google XML Sitemaps）のいずれかを使ってサイトマップを作成する

②作成したサイトマップを、Googleサーチコンソールの「サイトマップ」に入力する

詳しいサイトマップの作成方法は「Google検索セントラル」をご覧ください。

Googleクローラーが巡回しているか確認する方法

上記で登録したリンクにGoogleクローラーが巡回しているかは、以下の方法でチェックできます。

• 「URL検査」にリンクを入力してチェックする
• 実際に検索して表示されるか確認する
• 検索結果画面から「キャッシュ」を確認する
• 「クロールの統計情報」を確認する

「URL検査」にリンクを入力してチェックする

Googleサーチコンソールの「URL検査」を使うと、登録状況をチェック可能です。登録されていれば「URLはGoogleに登録されています」という文言が表示されます。

未登録であれば、下記のように「URLがGoogleに登録されていません」と表示されるため、インデックス登録をリクエストしておきましょう。

実際に検索して表示されるか確認する

インデックス登録がされていれば、ひとまず検索結果には表示されます。

検索結果に反映されているのを確認したら、しばらく様子を見て検索順位の変動をチェックしましょう。

検索結果画面から「キャッシュ」を確認する

キャッシュには閲覧したサイトの履歴が一時的に保存されており、クローラーが巡回した日時もチェックできます。

キャッシュの確認方法は以下のとおりです。

①検索で表示されたタイトルの上にある三角マークをクリックして「キャッシュ」を選択

②画面上部より取得日時を確認

キャッシュで確認した日時が、実際の記事更新よりも後ろの日付であればインデックス登録されています。

「クロールの統計情報」を確認する

クロールの統計情報をチェックすることで、Googleクローラーの巡回頻度を把握できます。クロールの統計情報は、以下の手順でGoogleサーチコンソールから確認可能です。

①Googleサーチコンソールトップページの左サイドバーから「設定」を選択

②「クロールの統計情報」から「レポートを開く」を選択

クローラーの巡回頻度を上げて最適化する方法

上記のような施策を実施しても「クローラーが来ない」と感じるケースもあるでしょう。クローラーが来ない場合は、巡回頻度を上げる施策の実施が大切です。

以下の施策を実行すると、Googleクローラーがサイトを巡回しやすくなります。

質の高いコンテンツを充実させる

Googleクローラーを呼び込むには、質の高いページの作成が最も重要です。Googleも公式で以下のように発信しています。

新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。

引用：Search　Console ヘルプ|クロールの統計情報レポート

質の高いページとは、主に以下に該当するコンテンツが当てはまります。

• 最新情報を追加する
• アップデート情報を追加する
• オリジナリティを追加する
• 網羅性を高める
• 専門家の慣習などによって信頼性を増す

サイト構造を見直す

Googleクローラーはサイト内のリンクをたどるため、カテゴリー数の多く階層が深くなるほど、チェック完了まで時間がかかります。クローラーのチェック数を減らしスムーズに巡回させるためにも、サイト内の構造がシンプルになるよう見直しましょう。

例えば、カテゴリー分けを見直してシンプルにすることも一つの手段です。一つのサイト内でカテゴリーが複雑になりすぎるのであれば、別サイトへの分割も検討しましょう。

「パンくずリスト」を設定すると、以下のようにサイト構造を明示できます。

サイト構造を明示できれば、Googleクローラーだけでなく読者に対しても「どのような階層で記事化しているか」を明確に伝えられます。読者がわかりやすいと感じる工夫も、記事のクオリティを上げる工夫の一つです。

内部リンクを最適化する

上記のサイト構造見直しに関連して、内部リンクの最適化も実施しましょう。内部リンクを設置することでGoogleクローラーの巡回経路が増えるため、インデックスされるまでの時間が早まります。

基本的にはトップページ記事を起点として、関連する別記事に誘導することが一般的です。トップ記事は情報が濃密であるためGoogleクローラーも巡回しやすく、内部リンクを設置しておくことで多くのページを効率よく登録できます。

内部リンクを設置する際は、関連するコンテンツ同士を適切につなげることが大切です。巡回数を増やすために無関係の記事をたくさん設置すると、サイトに対する評価を下げる原因にもなります。

被リンクの獲得施策を実行する

被リンクが増えれば、外部サイト経由でGoogleクローラーが巡回しやすくなるため、より効率的に自社サイトを評価してもらえます。

SNS上で記事がシェアされても、直接SEOで有利になるわけではありません。しかし閲覧される機会は増えるので、ブログなど別媒体で紹介されるきっかけにはなります。

被リンクを増やすには、紹介したくなるような質の高いコンテンツを作成することが重要です。読者のニーズを満たせる記事を執筆できれば、自然と被リンクでシェアされるようになり、クローラーも巡回しやすくなります。

リンク切れのページを削除する

リンク切れのコンテンツにGoogleクローラーが巡回してしまうと、時間が無駄になってしまいます。リンク切れのコンテンツ数が多いと「読者にとって有益ではない」と判断され、SEO上のマイナス評価にもつながりかねません。

Googleクローラーが余計なページを巡回しないためにも、定期的にリンク切れコンテンツをチェックして削除しましょう。

リンク切れについては、Googleサーチコンソール内の「インデックスカバレッジレポート」や無料ツールでチェックできます。

URLを簡素化する

URLが必要以上に複雑な場合、クローラーがスムーズに巡回できないケースもあります。とくに自動で設定されたURLは長くなる場合もあるため、文字列を短くすることが大切です。

正規化によって重複URLを統一する

URLの正規化とは「URL違いで同じ内容の記事がある」という場合に、重複ページを特定のリンクに統一させる方法です。重複ページが発生するケースとしては以下が考えられます。

重複ページが存在するとクローラーの巡回に時間がかかる上、ページへの評価が分散するおそれもあります。同じコンテンツ同士で評価を食い合ってしまうため、URLを正規化して統一しましょう。

URLを正規化する方法としては、以下の2パターンがあります。

ページの表示速度を改善する

サーバーに負荷がかかり表示速度が遅くなるとページの読み込み速度も低下するため、Googleクローラーの巡回ペースに影響を与えます。Googleも公式に「サイトの速度を上げるとクロール頻度も高くなる」と表明していることから重要だとわかるでしょう。

出典：Google 検索セントラル ブログ|Googlebot のクロールの割り当てについて

ページの表示速度を改善するには、不要なページやファイルを削除したり容量を増やしたりして対策しましょう。

クローラーの巡回を拒否したほうがよいケースもある

自社サイトを検索結果に表示させる重要性は高いため、基本的にはGoogleクローラーの巡回頻度を高めることが望ましいです。

ただし、巡回不要なページまでクロールされると、サイト全体の評価を下げられるケースもあるため注意しましょう。巡回不要なページとしては以下が挙げられます。

上記のようなページまで巡回されてしまうと、クロールに時間がかかる上、低品質なコンテンツであると誤解されるおそれもあります。Googleクローラーの巡回できる限界数（クロールバジェット）は決まっているため、重要度の高いコンテンツのみを巡回してもらうことが大切です。

Googleクローラーを拒否する方法としては以下が挙げられます。

1.robots.txtを記述する

robots.txtを記述することで、重要度の低いページや類似コンテンツなど、サイト内の特定部分への巡回を拒否できます。robots.txtを設置する場合は、以下のようなコードをサイトのルートディレクトリに設置しましょう。

コードは「Google による robots.txt の指定の解釈」より引用した一例です。

# This robots.txt file controls crawling of URLs under https://example.com.

# All crawlers are disallowed to crawl files in the “includes” directory, such

# as .css, .js, but Google needs them for rendering, so Googlebot is allowed

# to crawl them.

User-agent: *

Disallow: /includes/

User-agent: Googlebot

Allow: /includes/

Sitemap: https://example.com/sitemap.xml

引用：Google検索セントラル|Google による robots.txt の指定の解釈

コードの記述を間違えると、巡回が必要なページまでクロールを拒否してしまうため注意しましょう。

なお、robots.txtを記述してもインデックスがおこなわれる可能性はあります。robots.txtは、あくまでも「Googleクローラーを巡回させない」というコードです。robots.txtの記述前に巡回されたり被リンク経由で巡回されたりした場合は、インデックス登録されて検索結果に表示されることもあります。

2.コンテンツにnoindexを設定する

robots.txtはクロールを拒否するだけであり、インデックスには登録される可能性があります。「完全に検索結果から排除したい」という場合は、noindexを設定しましょう。

noindexは主に以下いずれかの方法で設定できます。

ただしnoindexについては、厳密には「クロールされるがインデックス登録されない」という内容です。ページの重要度は下がるためクロールバジェットの消費は防げますが、完全に巡回されないわけではないため注意しましょう。

3.コンテンツにnofollowを設定する

nofollowを設定すると、ページ内に設定している内部リンクの巡回を拒否できます。HTMLで以下のコードを記述しましょう。

最適なコンテンツ制作とクローラー対策を実施しSEOで成果を出そう

SEOコンテンツを制作する上で、Googleクローラーの存在を意識することは重要です。効率よくクローラーに巡回してもらうことで、記事の評価を改善して検索上位に表示される可能性を高められます。

Googleクローラーの巡回頻度を高めるには、質のよい記事作成はもちろん、サイト構造の見直しやコードの記述など多方面の施策が必要です。いずれも専門知識が必要なため、自社内だけで対応するのは難しいかもしれません。

もしも「クローラーに評価されるクオリティの高いサイトを作りたい」と考えているなら、ぜひプロクルコンテンツをご検討ください。プロクルコンテンツは、130種類・2,000名の多種多様な専門家によるコンテンツの制作支援をおこなうプラットフォームです。専門家による信頼性の高いコンテンツを作成できるため、Googleの求める「質の高い記事作成」にも対応できます。クローラー対策など専門性の高い分野もお任せください。