Come Funzionano i Motori di Ricerca: Crawling, Indicizzazione e Ranking Spiegati

Digitare una domanda in una casella di ricerca e ottenere risposte in una frazione di secondo sembra istantaneo, ma si basa su tre processi separati che avvengono ben prima che la query venga digitata: crawling, indicizzazione e ranking. Google descrive questo modello in tre fasi nella sua stessa documentazione per sviluppatori, e lo stesso framework di base sottende anche altri motori di ricerca.

Crawling: trovare pagine sul web

Il crawling è la fase di scoperta. Secondo la guida per sviluppatori di Google, i programmi automatizzati chiamati crawler — quello di Google si chiama Googlebot — trovano pagine nuove o aggiornate principalmente attraverso tre vie: visitare di nuovo pagine che già conoscono, seguire hyperlink da una pagina all'altra, e leggere file sitemap che i proprietari dei siti inviano direttamente al motore di ricerca.

La documentazione di Google rileva che Googlebot è disponibile in una variante mobile e desktop, e che la maggior parte delle richieste di crawling ora proviene dal crawler mobile perché Google indicizza principalmente la versione mobile di una pagina. I crawler eseguono il rendering delle pagine anche utilizzando una versione recente del browser Chrome in modo da poter eseguire JavaScript, poiché molti siti caricano i contenuti dinamicamente anziché servirli come HTML semplice.

I crawler non recuperano tutto indiscriminatamente. La guida di Google afferma che le richieste di crawling di Googlebot sono limitate algoritmicamente, con la maggior parte dei siti generalmente accessibili non più di circa una volta ogni pochi secondi in media, e che Googlebot rispetta le regole che i proprietari dei siti stabiliscono in un file robots.txt. I recuperi sono anche limitati in termini di dimensione: fino a 2MB per la maggior parte dei tipi di file e 64MB per i PDF, dopo di che Googlebot smette di scaricare e lavora con la parte che ha già recuperato.

Indicizzazione: organizzare ciò che è stato trovato

Una volta recuperata una pagina, il motore di ricerca deve decidere di cosa tratta e se vale la pena memorizzarla. La documentazione di Google descrive questo come l'analisi di testo, immagini e contenuti video, la lettura di elementi HTML come tag title e attributi alt delle immagini, e l'applicazione della canonicalizzazione — raggruppamento di pagine quasi duplicate e selezione di una versione rappresentativa da mostrare nei risultati.

Crucialmente, Google afferma che il crawling di una pagina non garantisce che venga indicizzata: le pagine possono essere escluse per bassa qualità dei contenuti, un meta tag robots che blocca l'indicizzazione, o problemi tecnici del sito. Questa è la base tecnica per lo stato 'Crawled – currently not indexed' (Sottoposto a crawling - attualmente non indicizzato) che i proprietari dei siti a volte vedono negli strumenti di Google.

Dietro le quinte, la struttura di memorizzazione che i motori di ricerca utilizzano è tipicamente un indice invertito. Come spiegato in una panoramica tecnica pubblicata da GeeksforGeeks, un indice invertito inverte la solita relazione documento-parola: invece di elencare quali parole si trovano in quale documento, elenca, per ogni parola, quali documenti la contengono. La costruzione di uno implica la divisione del testo in termini individuali (tokenizzazione), la rimozione di parole filler comuni e la normalizzazione delle varianti di parole prima di registrare dove appare ogni termine. Questa struttura consente a un motore di ricerca di passare direttamente ai documenti rilevanti per una query invece di scansionare l'intero web riga per riga, che la panoramica di GeeksforGeeks descrive come impraticabilmente lenta una volta che una raccolta di documenti diventa grande.

Ranking: ordinamento dei risultati per una query

Il ranking avviene nel momento in cui qualcuno effettua una ricerca. La documentazione di Google afferma che di tutte le pagine indicizzate che corrispondono a una query, il sistema le ordina per rilevanza, e che la rilevanza è determinata da quello che descrive come 'centinaia di fattori,' che possono includere segnali come la posizione dell'utente, la lingua e il dispositivo. Google afferma anche esplicitamente che non accetta pagamenti per classificare più in alto le pagine organiche e che il ranking viene eseguito a livello programmatico.

Uno dei segnali di ranking più antichi e ben documentati è PageRank, creato dai cofondatori di Google Larry Page e Sergey Brin presso l'Università di Stanford nel 1997 e depositato per la prima volta come brevetto nel gennaio 1998, secondo una storia compilata dall'azienda di analisi SEO Ahrefs. PageRank tratta ogni hyperlink a una pagina come un voto di fiducia, con il valore di ogni voto ponderato dall'autorità della pagina di collegamento. La formula originale includeva un fattore di smorzamento di 0,85, inteso a modellare la diminuzione della probabilità che un utente continui a fare clic attraverso i link più lontani dalla pagina iniziale.

La panoramica di Ahrefs nota che PageRank non è più un punteggio autonomo — l'accesso pubblico attraverso la barra degli strumenti di Google è terminato nel 2016 — ma lo stesso Gary Illyes di Google ha detto che i link alimentano ancora segnali di autorità più ampi che l'azienda raggruppa sotto E-E-A-T (esperienza, competenza, autorevolezza, affidabilità). Google si è anche mosso verso un modello di surfer ragionevole che pesa alcuni link più pesantemente di altri in base a quanto probabilmente un visitatore reale farebbe clic su di essi, piuttosto che dividere l'autorità in modo uniforme su ogni link di una pagina.

Perché le pagine possono essere sottoposte a crawling ma rimanere invisibili nella ricerca

Le tre fasi spiegano una fonte comune di confusione per i proprietari di siti web: il fatto che una pagina sia sottoposta a crawling non significa che sia indicizzata, e essere indicizzati non garantisce una classificazione elevata. La guida di Google è diretta su questa limitazione, affermando che non può garantire che una determinata pagina verrà sottoposta a crawling, indicizzata o servita, anche quando un sito segue le linee guida pubblicate da Google.