クロールとインデックスとは？それぞれの役割と検索サイトの仕組み

Google Search Console を導入した事でクロールとインデックスという言葉に出会いました。

「深く知るのは難しい・でも概要だけ知りたい」という私みたいな方に向けて要点をシンプルに纏めてみました。

検索サイトの仕組み

GoogleやYahoo!で知りたい情報がすぐ見つかる仕組み

検索エンジンとはGoogleとかYahoo!の事です。いくつかのキーワードを入力して検索すると、それに対して最も適切だと思われるページが数秒でランキング形式になって表示されます。

なぜ一瞬でそんな事が出来るかというと、検索エンジンには世界中に存在するWebサイトの情報が集まっているからです。集まった情報は細かく分類化してデータベースに登録されています。

誰が情報を集めてどうやってデータベースに登録しているのか？それらをクロールとインデックスが担当しています。

クロール(crawl)は這うですね。

クローラー(bot)という無数のプログラムが世界中のインターネットを這う様に巡回してWebサイトの情報を集めてきます。この行動をクロールと言います。

隅々までチェックしてるぜ！という事を表現したくてクロールと名付けたんじゃないですかね。

インデックスとは索引の事です。

クローラーが集めてきたサイト情報を細かくカテゴライズしてデータベースに登録します。

Googleのアルゴリズム(ルール)に従って自動的に分類化されます。これをインデックス登録と言います。

あらゆるサイトの情報がデータベースに蓄積されているので、「こんなワードで検索する人がいたら、このページをこの順番で表示させよう！」というノウハウが出来上がっています。

同じ様なものでGoogle Mapがあります。

どの住所にどんな建物があって何回建てで外観は何色で・・みたいな。カメラ付きの車を走行させて世界中のあらゆる景色を撮影してデータベースに登録しています。

その結果、住所を入力するだけであたかも現地に行ったかの様な景色を見ることが出来る訳です。

クローラーが世界中を這う様にして集めてきたWebサイト情報に、後で探しやすい様に見出しを付けてデータベースに登録し、ユーザーが検索した際に即座に最も適切な結果を表示しています。