Como os motores de busca funcionam: rastreamento, indexação e classificação explicados

Digitar uma pergunta em uma caixa de busca e obter respostas em uma fração de segundo parece instantâneo, mas se baseia em três processos separados que ocorrem muito antes da consulta ser digitada: rastreamento, indexação e classificação. O Google descreve esse modelo de três estágios em sua própria documentação para desenvolvedores, e o mesmo marco básico fundamenta também outros motores de busca.

Rastreamento: encontrando páginas na web

O rastreamento é a fase de descoberta. De acordo com o guia para desenvolvedores do Google, programas automatizados chamados rastreadores — o do Google é chamado Googlebot — encontram páginas novas ou atualizadas principalmente através de três rotas: revisitar páginas que já conhecem, seguir hiperlinks de uma página para outra e ler arquivos de mapa do site que proprietários de sites enviam diretamente para o mecanismo de busca.

A documentação do Google observa que o Googlebot vem em uma variante móvel e de desktop, e que a maioria das solicitações de rastreamento agora vêm do rastreador móvel porque o Google indexa principalmente a versão móvel de uma página. Os rastreadores também renderizam páginas usando uma versão recente do navegador Chrome para que possam executar JavaScript, pois muitos sites carregam conteúdo dinamicamente em vez de servi-lo como HTML simples.

Os rastreadores não buscam tudo indiscriminadamente. O guia do Google afirma que as solicitações de rastreamento do Googlebot são reguladas algoritmicamente, sendo que a maioria dos sites é tipicamente acessada no máximo cerca de uma vez a cada poucos segundos em média, e que o Googlebot respeita as regras que proprietários de sites definem em um arquivo robots.txt. As buscas também têm limite de tamanho: até 2 MB para a maioria dos tipos de arquivo e 64 MB para PDFs, após o que o Googlebot para de fazer download e trabalha com a porção que já recuperou.

Indexação: organizando o que foi encontrado

Uma vez que uma página é buscada, o mecanismo de busca tem que decidir do que se trata e se vale a pena armazená-la. A documentação do Google descreve isso como analisar conteúdo de texto, imagens e vídeo, ler elementos HTML como tags de título e atributos alt de imagem, e aplicar canonicalização — agrupar páginas quase duplicadas e selecionar uma versão representativa para mostrar nos resultados.

Crucialmente, o Google afirma que rastrear uma página não garante que será indexada: páginas podem ser excluídas por baixa qualidade de conteúdo, uma tag meta robots que bloqueia a indexação, ou problemas técnicos com o site. Esta é a base técnica para o status 'Rastreado – atualmente não indexado' que proprietários de sites às vezes veem nas ferramentas do Google.

Por trás das cenas, a estrutura de armazenamento que os motores de busca usam é tipicamente um índice invertido. Conforme explicado em uma visão geral técnica publicada pelo GeeksforGeeks, um índice invertido inverte a relação usual documento-palavra: em vez de listar quais palavras estão em qual documento, lista, para cada palavra, quais documentos a contêm. Construir um envolve quebrar o texto em termos individuais (tokenização), remover palavras de preenchimento comuns e normalizar variantes de palavras antes de registrar onde cada termo aparece. Essa estrutura permite que um mecanismo de busca pule direto para os documentos relevantes de uma consulta em vez de escanear a web inteira linha por linha, que a visão geral do GeeksforGeeks descreve como impraticavelmente lenta uma vez que uma coleção de documentos cresce.

Classificação: ordenando resultados para uma consulta

A classificação ocorre no momento em que alguém faz uma busca. A documentação do Google diz que de todas as páginas indexadas que correspondem a uma consulta, o sistema as ordena por relevância, e que a relevância é determinada pelo que descreve como 'centenas de fatores,' que podem incluir sinais como a localização, idioma e dispositivo do usuário. O Google também afirma explicitamente que não aceita pagamento para classificar páginas orgânicas mais alto e que a classificação é feita programaticamente.

Um dos sinais de classificação mais antigos e melhor documentados é o PageRank, criado pelos cofundadores do Google Larry Page e Sergey Brin na Universidade de Stanford em 1997 e primeiro arquivado como patente em janeiro de 1998, de acordo com um histórico compilado pela empresa de análise de SEO Ahrefs. O PageRank trata cada hiperlink para uma página como um voto de confiança, sendo o valor de cada voto ponderado pela autoridade da página de vinculação. A fórmula original incluía um fator de amortecimento de 0,85, destinado a modelar a diminuição da probabilidade de que um usuário continue clicando através de links quanto mais distante estiverem de uma página inicial.

A visão geral do Ahrefs observa que o PageRank não é mais uma pontuação independente — o acesso público através da barra de ferramentas do Google terminou em 2016 — mas Gary Illyes do Google afirmou que links ainda alimentam sinais de autoridade mais amplos que a empresa agrupa sob E-E-A-T (experiência, expertise, autoridade, confiabilidade). O Google também se moveu para um modelo navegante razoável que pesa alguns links mais pesadamente que outros com base em quão provável seria que um visitante real clicasse neles, em vez de dividir a autoridade uniformemente entre cada link em uma página.

Por que páginas podem ser rastreadas mas ainda invisíveis na busca

Os três estágios explicam uma fonte comum de confusão para proprietários de sites: uma página sendo rastreada não significa que está indexada, e estar indexada não garante uma classificação alta. O guia do Google é direto sobre essa limitação, afirmando que não pode garantir que uma página específica será rastreada, indexada ou servida, mesmo quando um site segue as diretrizes publicadas do Google.