クローラという言葉はご存知ですか？クローラはWEB上の情報収集屋です。定期的にWEBページを訪れて「読み込みと実行」をし、ページの中身の情報をカタログとして纏めGoogleのデータベースに持ち帰ります。Googleはこのカタログを評価して、ユーザーには評価順に検索結果として表示しています。さて、今回の記事ではこのクローラがWEBサイトの情報を収集するのを手助けする取り組み、「クローラビリティの向上」について解説を行います。
クローラビリティの向上に取り組むメリット
クローラビリティを向上させる事はクローラへの負荷軽減に繋がります。
これを聞いて、
「Googleの負荷が増えても減っても興味ないよ」
と思われた方もいらっしゃるのではないでしょうか？
実は、クローラの負荷軽減に貢献することはSEO対策に繋がると言われています。以下にそれらの理由を紹介していきます。
クロール漏れを無くす
クローラビリティの向上に取り組むと、WEBサイト内のクロール漏れを防ぐことができます。クロール漏れが発生したページはGoogleが認識していないことになり検索結果に掲載されないので要注意です。
例えば、ページ内容の更新をして古い情報から最新の情報に差し替えたページは、クロールされないと更新したことが認識されず「古い情報を載せた更新されていないページ」と認識され続けます。また、新規に作成したページはクロールされないと、インデックス登録されないので検索結果に掲載されなくなります。
これは避けたい事態ですよね。
ページの内容把握の補助
クローラビリティの向上に取り組むと、ページの情報を正しく認識してデータベースに登録してくれます。クローラはテキストコンテンツの内容は正しく認識することができますが、画像や動画といったコンテンツは認識するのが苦手です。せっかく読み手が分かりやすい為に画像を挿入しているのに、「内容の分からない画像」としか認識されていないのは勿体ないですよね。
クローラビリティの向上の実例
この項では、実際に取り組む内容について解説していきます。
サイトマップの提出
サイトマップは、サイト内のページ情報やファイル情報（画像、動画など）をGoogleに伝える役割を持っています。
サイトマップは車にと例えると「カーナビゲーションシステム」のような役割をもっています。カーナビがルートを案内してくれるので迷うことなく、遠回りすることもなく目的地に辿り着けます。
クローラも同様でサイトマップを元に目的地へのルートを構築して、漏れなくクロールできるように最適なルートでWEBサイトをクローリングします。このようにサイトマップを提出することで、クローラへの負荷を減らすことに繋がり、クロール漏れが発生する可能性を下げることができます。
ページURLの可読性を向上させる
URLは論理的で人間が理解できる方が良いとされています。例えば「商品ページ」の場合「https://example.com/product.html」というURLにすると、一目で商品ページであることが分かります。おそらくクローラは、１つのサイトをクロールする際のリソースが（サイトの規模（ページ数）により増減はする）決まっています。不必要に長いURLやパラメータが付与されたページは、クロールのリソースを余分に使用する事になるのでクローラの能力を低下させる原因になります。結果として一番重要なページがインデックスに登録されなかったという事態を発生させる可能性があります。
URLは短く分かりやすいものにしましょう。
正規ページ、重複ページを明確にする
クローラは似通ったページを「重複しているページ」として一纏まりにする仕組みを持っています。
例えば、同じ内容のページだけど「モバイル端末用」と「デスクトップ用」のURLが異なる場合に、これらのページは重複するページとしてみなされます。
この仕様により、「重複するページ」では代表の1ページを「正規ページ」としてクロールと掲載順位の評価対象にします。そして、その他のページは「重複ページ」としてクロールを頻度は下げ評価の対象からも外します。せっかくクローラのリソースを割いてページを読み込んだのに「このページは重複ページなので評価しませんよ」では、勿体ないですよね。
この、リソースの浪費を減らす方法が「正規ページ」「重複ページ」を自分で指定する方法です。予め、「これらのページは重複しているので、この正規ページのみをクロールして下さい」と指示を出すことが可能です。この設定をしたページが「正規ページ」として登録される確証は有りませんが、やった方が良い取り組みの１つです。評価されない重複ページよりも、更新を行ったり、新規に作ったりしたページをクロールする時間を多くできるように取り組みましょう。
リンクを最適化する
クローラが効率的にサイト内を移動するには、各ページに最適にリンクが用意されている事が重要です。リンクの最適化でGoogleが提案しているのが「サイトナビゲーションシステム」です。サイトナビゲーションシステムとは、各ページの上部に設置される「会社案内」「採用情報」「製品/サービス情報」といったボタンの事で、ユーザーが目的のページへの移動がしやすくなるのは勿論の事、クローラにとってもリンクを辿ったページ移動がしやすくなり便利な機能です。ユーザビリティとクローラビリティのどちらにも効果が見込める重要な機能です。
まとめ
今回紹介した通り、クローラビリティの向上はSEO対策にも繋がると言われています。Googleにとって理解のしやすいサイト運営に取り組む事で、少しでも評価を挙げられるように取り組んでいきましょう。