検索エンジンの仕組み：クローリング、インデックス、ランキングの仕組みを解説

検索ボックスに質問を入力して数分の一秒で答えを取得することは即座に感じられますが、実際にはクエリが入力される前に起こる3つの別々のプロセスに依存しています。クローリング、インデックス作成、ランキングです。Googleはその開発者向けドキュメントでこの3段階モデルを説明しており、他の検索エンジンも同じ基本的なフレームワークに基づいています。

クローリング：ウェブ上のページの検索

クローリングは発見段階です。Googleの開発者ガイドによると、Googlebot という名前のGoogleのクローラーなどの自動化されたプログラムは、主に3つのルートを通じて新しいまたは更新されたページを見つけます。既に知っているページを再訪問する、あるページから別のページへのハイパーリンクをたどる、サイト所有者が検索エンジンに直接送信するサイトマップファイルを読むことです。

Googleのドキュメントでは、Googlebot にはモバイルとデスクトップのバリアントがあり、ほとんどのクロール リクエストはモバイル クローラーからのものであると述べられています。これは、Googleがページのモバイル版を主にインデックスしているためです。クローラーは最近のバージョンのChrome ブラウザを使用してページをレンダリングするため、JavaScriptを実行できます。多くのサイトは、プレーンHTMLとして配信するのではなく、動的にコンテンツをロードするためです。

クローラーはすべてを無差別に取得するわけではありません。Googleのガイドでは、Googlebot のクロールリクエストはアルゴリズム的に制限されており、ほとんどのサイトは平均して約数秒ごとに1回以下でアクセスされ、Googlebot はサイト所有者がrobots.txtファイルで設定したルールを尊重していると述べられています。取得のサイズも上限があります。ほとんどのファイルタイプでは最大2MB、PDFでは64MB です。その後、Googlebot はダウンロードを停止し、既に取得した部分で動作します。

インデックス作成：見つけたものを整理する

ページを取得した後、検索エンジンはそれが何について書かれているのか、保存する価値があるのかを決定する必要があります。Googleのドキュメントでは、これをテキスト、画像、ビデオコンテンツの分析、titleタグや画像のalt属性などのHTML要素の読み取り、正規化の適用として説明しています。正規化とは、ほぼ重複したページをグループ化し、結果に表示する代表的なバージョンを選択することです。

重要なことに、Googleはページをクローリングすることがインデックス作成を保証しないと述べています。コンテンツの品質が低い、インデックス作成をブロックするrobots メタタグ、またはサイトの技術的な問題のため、ページは除外される可能性があります。これは、サイト所有者がGoogleのツールで時々目にする「クロール済み–現在インデックス登録されていない」ステータスの技術的な基礎です。

バックグラウンドでは、検索エンジンが使用する保存構造は通常、逆引きインデックス（inverted index）です。GeeksforGeeksが発表した技術概要で説明されているように、逆引きインデックスは通常のドキュメント・単語関係を反転させます。どの単語がどのドキュメントに含まれているかをリストするのではなく、すべての単語について、それを含むドキュメントをリストします。構築には、テキストを個々の用語に分割し（トークン化）、一般的なフィラー単語を削除し、各用語が出現する場所を記録する前に単語の変種を正規化することが含まれます。この構造により、検索エンジンはクエリの関連ドキュメントに直接ジャンプできます。その代わりに、ウェブ全体を1行ずつスキャンする必要はありません。GeeksforGeeksの概要では、ドキュメントのコレクションが大きくなると、これは実用的ではなく遅いと説明されています。

ランキング：クエリの結果を順序付けする

ランキングは、誰かが検索した瞬間に起こります。Googleのドキュメントでは、クエリに一致するすべてのインデックス済みページのうち、システムはそれらを関連性によって順序付けると述べられており、関連性は「数百の要因」として説明されているもので決定されます。これには、ユーザーの場所、言語、デバイスなどの信号を含めることができます。Googleは明示的に、オーガニック検索結果をより高くランク付けするために支払いを受け入れていないこと、ランキングはプログラムで行われることを述べています。

最初で最もよく文書化されたランキング信号の1つはPageRankです。Googleの共同創業者Larry PageとSergey BrinがStanford University で1997年に作成し、1998年1月に特許として最初に出願されました。SEO分析企業Ahrefsがコンパイルした歴史によると。PageRankは、ページへの各ハイパーリンクを信頼票として扱い、各投票の値は、リンク元ページの権威によって重み付けされます。元の公式には0.85のダンピング係数が含まれており、これは、ユーザーが開始ページから遠くにあるリンクをクリックし続ける可能性の低下をモデル化することを目的としていました。

Ahrefsの概要では、PageRankはもはやスタンドアロンスコアではないと述べられています。Googleのツールバーを通じた公開アクセスは2016年に終了しました。しかし、Googleの Gary Illyes はリンクが、Googleが E-E-A-T（experience、expertise、authoritativeness、trustworthiness）の下でグループ化しているより広い権威信号に引き続き供給していると述べています。Googleはまた、ページ上のすべてのリンク全体に権威を均等に分割するのではなく、実際の訪問者がリンクをクリックする可能性に基づいて一部のリンクをより重くしている合理的サーファーモデルに移行しました。

ページがクローリングされても検索結果に表示されない理由

3つのステージは、ウェブサイト所有者にとって混乱の一般的な原因を説明しています。ページがクローリングされていることは、それがインデックス登録されていることを意味せず、インデックス登録されていることは高いランキングを保証しません。Googleのガイドはこの制限に直接言及しており、Googleの公開されたガイドラインに従っている場合でも、与えられたページがクローリング、インデックス登録、または配信される保証はできないと述べています。