クローラーとインデックスはSEO対策に欠かせない知識です。
この記事で、サイトのページがどのプロセスで検索エンジンに認識されるのか、さらにその背後の仕組みである「クローラー」と「インデックス」に関する詳細をお伝えします。
ページが検索エンジンにどう認識されるか？
ページが検索エンジンに認識されるためには、まず検索エンジンに「見つけて」もらい、次にそのデータベースに「保存」されることが必須です。
検索エンジンがページを「見つける」行為を「クロール」と言い、このクロールを行うエージェントを「クローラー」と称します。
そして、検索エンジンがページ情報をそのデータベースに「保存」することを「インデックス」と言います。
この「クロール」と「インデックス」のプロセスをきちんと把握し、それに対応した対策を進めることで、SEO対策の成果をより早く実現できます。
クローラーとは？
クローラーは、先述した通り、検索エンジンがWEBのページを探索する際のエージェントです。
このクローラーがWEBを巡りながら、テキストや画像、動画等の情報を集めていきます。
クローラーに検出されなければ、そのページは検索エンジンに評価されないため、検索結果には現れません。
よって、クローラーに速やかにページを検出してもらうことが、SEO対策の鍵となります。
クローラーのバリエーション
クローラーの代表的なものは以下のとおりです。
・Googlebot … Googleの検索エンジンのためのクローラー
・Yahoo Slurp … 海外版Yahooのクローラー
・Baiduspider … 中国の検索エンジンBaiduが使用するクローラー
・bingbot … Bingが利用するクローラー
日本のYahoo検索エンジンはGoogleをベースにしているので、日本の検索エンジンのシェアの大部分はGoogleが担っています。
そのため、日本のサイトに関しては、主にGooglebotを考慮すれば良いのです。
クローラビリティという概念
クローラビリティは、クローラーが情報を容易に取得できるようにサイトを最適化する考え方です。
クローラビリティを向上させると、ページがクローラーに「見つけられる」確率が高まるので、その改善はSEO効果に直接つながります。
インデックスとは？
クローラーが探し出したページを検索エンジンのデータベースに「記録」という形で持つのがインデックスです。
検索エンジンは、インデックスの情報を基にページのランキングを決定します。
よって、ページを検索エンジンがスムーズに読むことができるように整理しておくことがキーとなります。
内容が同じであっても、検索エンジンが適切に読み取る形式にすることで、SEOの観点からも適切に評価を受けることが期待できます。
クロールやインデックスの状態を確認する手段
検索エンジンの評価を受けるための第一歩として、クローラーにページを見つけてもらうことが大切です。
具体的に、自社のページがクロールの対象となっているかを調べる方法を紹介いたします。
Google Search Consoleの活用方法
「URL検査」という機能を利用すると、指定したページが最近クロールされたかどうかを確認することができます。
①Google Search Consoleの画面で、「今すぐ開始」をクリック。確認したいURLを入力し、「URL検査」を選択します。
②その後、「カバレッジ」を選択します。
③「前回のクロール」と表示される部分から、最新のクロール日時をチェックできます。
site:検索の利用法
Google Search Consoleを使わなくても確認可能です。
「site:」というコマンドをURLの前に入力して検索することで、ページがインデックスに含まれているかを確かめられます。
正しくインデックスされていれば、検索結果にその通り表示されます。
新規や更新されたページも、適切にインデックスされているかをこの方法で検証できます。
インデックスしやすくするためのアプローチ
ページのクローラビリティを最適化することで、新しく追加されたページやリフレッシュされたページが迅速に検索結果に表示されるようにすることが可能です。
ここからは、その最適化手法をいくつかご紹介します。
ディレクトリ構造の再検討
Googleは公式に「ディレクトリの階層がシンプルなコンテンツは価値が高い」と発表しています。
複雑な構造や深い階層は、低い評価を受ける可能性が高まります。
クローラーがサイトを完全に巡回しきれない場合、評価の低いページはクロールの機会が減少します。
シンプルでフラットな構造が、クローラーにとって扱いやすくなります。
内部リンクの見直し
クローラーはサイト内のリンクを辿ってページを読み込みます。
関連するコンテンツ間で適切に内部リンクを設置することで、クロールの頻度が上がることが期待できます。
ただし、関連性の低いリンクはGoogleからの評価が下がるため、適切な内部リンクを増やしていく必要があります。
パンくずリストの最適化
クローラビリティを高めるには、パンくずリストの設定も重要です。クローラーがサイト内の構造を理解する手助けとなります。
サイトマップの提出
Google Search Consoleを利用してサイトマップを提出することで、サイト内のコンテンツ構造をクローラーに正確に伝えられます。
クローラーを活発に動かすには
新たに追加されたページや内容をリフレッシュしたページを早急に検索エンジンに検知させるためには、速やかにクロールを受けることが欠かせません。
以下のアプローチでクローラーのクロールをさせることが可能です。
URL検査(旧Fetch as Google)の活用
Google Search Consoleの特徴の中にURL検査があり、これを利用することで、Googleのクローリングを奨励することが可能です。
過去のGoogle Search ConsoleではFetch as Googleとして知られていたこの機能が置き換えられています。
URL検査にて対象となるページのURLを入力し、「インデックス登録をリクエスト」してGoogleのクロールを促すことができます。
altタグの適正な活用
ページ内の画像にaltタグを付与することで、Googleのインデックスを受けやすくなります。
altタグは「alt特性」や「代替テキスト」とも言われ、ページの画像の内容を示すテキストとして機能します。
altタグを適切に設定することで、読者や検索エンジンに画像の内容や意味を的確に伝えられます。
逆にaltタグに画像の内容と異なる情報を記入するとその本質が伝わりづらく、インデックスの対象になりにくくなります。
altタグをつける際には、画像に見合ったキーワードを選んで、シンプルながらも明確な説明文を考えるようにしましょう。
表示速度のチューニング
表示速度を最適にすることで、クローラーのクローリングがスムーズになり、インデックスを受けやすくなります。
ページの表示速度は、URLをクリックしてからブラウザ上にコンテンツが見えるまでの時間を指します。
表示速度が遅いとユーザーの離脱率が高まります。
離脱が多いと、SEOの評価を低下させる可能性もあります。
Google検索セントラルを参照すると、「2018 年 7 月より、ページの読み込み速度をモバイル検索のランキング要素として使用することになりました。」との記載があります。
画像のサイズを調整したりして、表示速度を向上させる努力をしましょう。
MFIへの適応
MFIとは、「Mobile First Index」を略した言葉で、2018年3月から実施されたランキングの基準です。
MFI導入に伴い、これまでPC版の評価が主でしたが、モバイル版の評価が基本となりました。
自分のウェブサイトをMFIに準拠させることで、クローラーにスムーズに探し出され、インデックスの対象となりやすくなります。
大切なコンテンツがPC版とモバイル版で同じか確かめたり、PC版にあるレシピやパンくずリストをモバイル版にも反映させるなどして、MFIに対応することが大切です。
まとめ
新規のページや内容を変更したページを確実に検索エンジンに認識させるのは、SEOの施策として不可欠です。
クローラーのアクセス性を高め、クローリングを受けやすいサイト構築を心がけましょう。
