Cómo funcionan los motores de búsqueda: rastreo, indexación y clasificación explicados

Escribir una pregunta en un cuadro de búsqueda y obtener respuestas en una fracción de segundo parece instantáneo, pero se basa en tres procesos separados que ocurren mucho antes de que se escriba la consulta: rastreo, indexación y clasificación. Google describe este modelo de tres etapas en su propia documentación para desarrolladores, y el mismo marco básico subyace en otros motores de búsqueda también.

Rastreo: encontrando páginas en la web

El rastreo es la fase de descubrimiento. Según la guía para desarrolladores de Google, programas automatizados llamados rastreadores —el de Google se llama Googlebot— encuentran páginas nuevas o actualizadas principalmente a través de tres rutas: revisitar páginas que ya conocen, seguir hipervínculos de una página a otra y leer archivos de mapa del sitio que los propietarios del sitio envían directamente al motor de búsqueda.

La documentación de Google señala que Googlebot viene en una variante móvil y de escritorio, y que la mayoría de las solicitudes de rastreo ahora provienen del rastreador móvil porque Google indexa principalmente la versión móvil de una página. Los rastreadores también representan páginas utilizando una versión reciente del navegador Chrome para poder ejecutar JavaScript, ya que muchos sitios cargan contenido dinámicamente en lugar de servirlo como HTML simple.

Los rastreadores no obtienen todo sin discriminación. La guía de Google establece que las solicitudes de rastreo de Googlebot se regulan algorítmicamente, siendo que la mayoría de los sitios se acceden típicamente no más de aproximadamente una vez cada pocos segundos en promedio, y que Googlebot respeta las reglas que los propietarios del sitio establecen en un archivo robots.txt. Las descargas también están limitadas en tamaño: hasta 2 MB para la mayoría de tipos de archivo y 64 MB para PDF, después de lo cual Googlebot deja de descargar y trabaja con la porción que ya recuperó.

Indexación: organizando lo que se encontró

Una vez que se obtiene una página, el motor de búsqueda tiene que decidir de qué se trata y si vale la pena almacenarla. La documentación de Google describe esto como analizar contenido de texto, imágenes y video, leer elementos HTML como etiquetas de título y atributos alt de imagen, y aplicar canonicalización —agrupar páginas casi duplicadas y seleccionar una versión representativa para mostrar en los resultados.

De manera crucial, Google establece que rastrear una página no garantiza que será indexada: las páginas pueden excluirse por baja calidad de contenido, una etiqueta meta robots que bloquea la indexación, o problemas técnicos con el sitio. Esta es la base técnica para el estado 'Rastreado – actualmente no indexado' que los propietarios de sitios a veces ven en las herramientas de Google.

En el fondo, la estructura de almacenamiento que utilizan los motores de búsqueda es típicamente un índice invertido. Como se explica en una descripción técnica publicada por GeeksforGeeks, un índice invertido invierte la relación documento-palabra usual: en lugar de listar qué palabras están en qué documento, lista, para cada palabra, qué documentos la contienen. Construir uno implica dividir el texto en términos individuales (tokenización), eliminar palabras relleno comunes y normalizar variantes de palabras antes de registrar dónde aparece cada término. Esta estructura permite a un motor de búsqueda saltar directamente a los documentos relevantes para una consulta en lugar de escanear la web completa línea por línea, que la descripción de GeeksforGeeks describe como impracticamente lenta una vez que una colección de documentos crece.

Clasificación: ordenando resultados para una consulta

La clasificación ocurre en el momento en que alguien busca. La documentación de Google dice que de todas las páginas indexadas que coinciden con una consulta, el sistema las ordena por relevancia, y que la relevancia se determina por lo que describe como 'cientos de factores,' que pueden incluir señales como la ubicación, idioma y dispositivo del usuario. Google también declara explícitamente que no acepta pago para clasificar páginas orgánicas más alto y que la clasificación se realiza programáticamente.

Una de las señales de clasificación más antiguas y mejor documentadas es PageRank, creado por los cofundadores de Google Larry Page y Sergey Brin en la Universidad de Stanford en 1997 y registrado por primera vez como patente en enero de 1998, según un historial compilado por la firma de análisis de SEO Ahrefs. PageRank trata cada hipervínculo a una página como un voto de confianza, siendo el valor de cada voto ponderado por la autoridad de la página que enlaza. La fórmula original incluía un factor de amortiguación de 0,85, destinado a modelar la disminución de probabilidad de que un usuario siga haciendo clic a través de enlaces cuanto más lejos estén de una página inicial.

La descripción de Ahrefs señala que PageRank ya no es una puntuación independiente —el acceso público a través de la barra de herramientas de Google terminó en 2016— pero Gary Illyes de Google ha dicho que los enlaces todavía alimentan señales de autoridad más amplias que la empresa agrupa bajo E-E-A-T (experiencia, experiencia, autoridad, confiabilidad). Google también se ha movido hacia un modelo de navegante razonable que pesa algunos enlaces más pesadamente que otros en función de cuán probable sería que un visitante real hiciera clic en ellos, en lugar de dividir la autoridad uniformemente entre cada enlace en una página.

Por qué las páginas pueden ser rastreadas pero aún ser invisibles en búsqueda

Las tres etapas explican una fuente común de confusión para los propietarios de sitios web: una página siendo rastreada no significa que esté indexada, e indexada no garantiza una clasificación alta. La guía de Google es directa sobre esta limitación, estableciendo que no puede garantizar que una página determinada será rastreada, indexada o servida, incluso cuando un sitio sigue las directrices publicadas de Google.