Comment fonctionnent les moteurs de recherche : exploration, indexation et classement expliqués

Taper une question dans une barre de recherche et obtenir des réponses en une fraction de seconde semble instantané, mais cela repose sur trois processus distincts qui se produisent bien avant que la requête ne soit saisie : l'exploration, l'indexation et le classement. Google décrit ce modèle en trois étapes dans sa propre documentation pour les développeurs, et le même cadre de base sous-tend également les autres moteurs de recherche.

Exploration : trouver des pages sur le web

L'exploration est la phase de découverte. Selon le guide du développeur de Google, des programmes automatisés appelés robots d'exploration — celui de Google s'appelle Googlebot — trouvent des pages nouvelles ou mises à jour principalement par trois voies : revisiter les pages qu'ils connaissent déjà, suivre les hyperliens d'une page à une autre et lire les fichiers de plan du site que les propriétaires de sites soumettent directement au moteur de recherche.

La documentation de Google note que Googlebot existe en variante mobile et de bureau, et que la plupart des demandes d'exploration proviennent désormais du robot mobile car Google indexe principalement la version mobile d'une page. Les robots d'exploration rendent également les pages en utilisant une version récente du navigateur Chrome afin de pouvoir exécuter JavaScript, car de nombreux sites chargent le contenu dynamiquement plutôt que de le servir en HTML simple.

Les robots d'exploration ne récupèrent pas tout indistinctement. Le guide de Google indique que les demandes d'exploration de Googlebot sont limitées algorithmiquement, la plupart des sites étant généralement accédés au maximum environ une fois tous les quelques secondes en moyenne, et que Googlebot respecte les règles que les propriétaires de sites définissent dans un fichier robots.txt. Les téléchargements sont également limités en taille : jusqu'à 2 Mo pour la plupart des types de fichiers et 64 Mo pour les PDF, après quoi Googlebot arrête le téléchargement et travaille avec la portion qu'il a déjà récupérée.

Indexation : organiser ce qui a été trouvé

Une fois qu'une page est récupérée, le moteur de recherche doit décider de ce qu'elle concerne et si elle vaut la peine d'être stockée. La documentation de Google décrit ceci comme l'analyse du contenu texte, des images et des vidéos, la lecture des éléments HTML tels que les balises de titre et les attributs alt d'image, et l'application de la canonicalisation — regroupement des pages quasi-dupliquées et sélection d'une version représentative à afficher dans les résultats.

De manière cruciale, Google indique que l'exploration d'une page ne garantit pas qu'elle sera indexée : les pages peuvent être exclues pour une faible qualité de contenu, une balise meta robots qui bloque l'indexation, ou des problèmes techniques avec le site. C'est la base technique du statut « Exploré – actuellement non indexé » que les propriétaires de sites voient parfois dans les outils de Google.

En coulisse, la structure de stockage utilisée par les moteurs de recherche est généralement un index inversé. Comme l'explique un aperçu technique publié par GeeksforGeeks, un index inversé inverse la relation document-mot usuelle : au lieu de lister quels mots se trouvent dans quel document, il énumère, pour chaque mot, quels documents le contiennent. En construire un implique de diviser le texte en termes individuels (tokenization), de supprimer les mots de remplissage courants et de normaliser les variantes de mots avant d'enregistrer où chaque terme apparaît. Cette structure permet à un moteur de recherche d'accéder directement aux documents pertinents pour une requête au lieu de scanner l'ensemble du web ligne par ligne, ce que l'aperçu de GeeksforGeeks décrit comme impraticablement lent une fois qu'une collection de documents grandit.

Classement : ordonnancer les résultats pour une requête

Le classement se produit au moment où quelqu'un effectue une recherche. La documentation de Google indique que de toutes les pages indexées qui correspondent à une requête, le système les ordonne par pertinence, et que la pertinence est déterminée par ce qu'il décrit comme « des centaines de facteurs », qui peuvent inclure des signaux tels que l'emplacement, la langue et l'appareil de l'utilisateur. Google indique également explicitement qu'il n'accepte pas de paiement pour classer les pages organiques plus haut et que le classement se fait par programmation.

L'un des signaux de classement les plus anciens et les mieux documentés est PageRank, créé par les cofondateurs de Google Larry Page et Sergey Brin à l'Université de Stanford en 1997 et d'abord déposé en brevet en janvier 1998, selon un historique compilé par la société d'analyse SEO Ahrefs. PageRank traite chaque hyperlien vers une page comme un vote de confiance, la valeur de chaque vote étant pondérée par l'autorité de la page qui établit le lien. La formule originale incluait un facteur d'amortissement de 0,85, destiné à modéliser la probabilité décroissante qu'un utilisateur continue à cliquer via des liens plus ils sont éloignés d'une page de départ.

L'aperçu d'Ahrefs note que PageRank n'est plus un score autonome — l'accès public via la barre d'outils de Google a pris fin en 2016 — mais Gary Illyes de Google a déclaré que les liens alimentent toujours des signaux d'autorité plus larges que l'entreprise regroupe sous E-E-A-T (expérience, expertise, autorité, fiabilité). Google s'est également orienté vers un modèle navigateur raisonnable qui pèse certains liens plus lourdement que d'autres en fonction de la probabilité qu'un vrai visitant y cliquerait, plutôt que de répartir l'autorité uniformément sur chaque lien d'une page.

Pourquoi les pages peuvent être explorées mais toujours invisibles dans la recherche

Les trois étapes expliquent une source courante de confusion pour les propriétaires de sites : une page étant explorée ne signifie pas qu'elle est indexée, et être indexée ne garantit pas un classement élevé. Le guide de Google est direct à ce sujet, indiquant qu'il ne peut pas garantir qu'une page donnée sera explorée, indexée ou servie, même lorsqu'un site suit les directives publiées de Google.