搜索引擎如何工作：抓取、索引和排名解释

在搜索框中输入问题并在短短几分之一秒内获得答案感觉是瞬间的，但这取决于在输入查询之前很早就开始的三个独立过程：抓取、索引和排名。谷歌在其开发者文档中说明了这个三阶段模型，其他搜索引擎也采用相同的基本框架。

抓取：在网络上查找页面

抓取是发现阶段。根据谷歌的开发者指南，称为爬虫的自动化程序——谷歌的爬虫叫Googlebot——主要通过三条路线查找新页面或更新的页面：重新访问它们已经了解的页面、跟随从一个页面到另一个页面的超链接，以及读取网站所有者直接提交给搜索引擎的网站地图文件。

谷歌的文档指出Googlebot有移动版和桌面版两种，大多数抓取请求现在来自移动爬虫，因为谷歌主要索引页面的移动版本。爬虫还使用最新版本的Chrome浏览器呈现页面，以便执行JavaScript，因为许多网站动态加载内容而不是以纯HTML的形式提供。

爬虫不会无差别地抓取所有内容。谷歌的指南指出Googlebot的抓取请求被算法限制，大多数网站平均大约每几秒访问一次，而且Googlebot尊重网站所有者在robots.txt文件中设置的规则。获取的大小也有上限：大多数文件类型最多2MB，PDF最多64MB，之后Googlebot停止下载并处理已经检索的部分。

索引：组织发现的内容

一旦页面被获取，搜索引擎必须决定它是关于什么的以及是否值得存储。谷歌的文档将其描述为分析文本、图像和视频内容、读取HTML元素（如标题标签和图像替代属性）以及应用规范化——将近重复页面分组并选择一个代表性版本以在结果中显示。

关键是，谷歌声明抓取页面不保证它会被索引：页面可能因内容质量低、阻止索引的robots元标签或网站技术问题而被排除。这是网站所有者有时在谷歌工具中看到的"已抓取——当前未索引"状态的技术基础。

在幕后，搜索引擎使用的存储结构通常是倒排索引。正如GeeksforGeeks发布的技术概述所解释的，倒排索引翻转了通常的文档到单词的关系：它不是列出哪些单词在哪个文档中，而是列出每个单词在哪些文档中。构建倒排索引涉及将文本分解为单个术语（分词）、删除常见填充词和规范化单词变体，然后记录每个术语出现的位置。这种结构使搜索引擎能够直接跳转到与查询相关的文档，而不是逐行扫描整个网络，GeeksforGeeks概述描述这在文档集合变大后是不切实际的缓慢。

排名：为查询排序结果

排名发生在有人搜索的时刻。谷歌的文档指出，在所有与查询匹配的已索引页面中，系统按相关性对它们进行排序，相关性由它描述的"数百个因素"决定，其中可以包括用户位置、语言和设备等信号。谷歌还明确指出它不接受付款来提高有机页面的排名，排名是以编程方式完成的。

最早且文档最充分的排名信号之一是PageRank，由谷歌联合创始人Larry Page和Sergey Brin在1997年在斯坦福大学创建，并在1998年1月首次申请专利，根据SEO分析公司Ahrefs编制的历史记录。PageRank将每个指向页面的超链接视为信心投票，每票的价值由链接页面的权威性加权。原始公式包含0.85的衰减因子，旨在模拟用户点击链接的可能性随着离起始页面距离增加而降低的情况。

Ahrefs的概述指出PageRank不再是独立分数——通过谷歌工具栏的公众访问在2016年结束——但谷歌自己的Gary Illyes表示链接仍然流入到该公司在E-E-A-T（经验、专业知识、权威性、可信度）下分组的更广泛的权威信号。谷歌还转向了合理冲浪者模型，根据真实访客点击链接的可能性对某些链接的权重更高，而不是在页面上的每个链接之间平均分配权威。

为什么页面可以被抓取但在搜索中仍然不可见

这三个阶段解释了网站所有者常见的困惑来源：页面被抓取并不意味着它被索引，被索引也不保证高排名。谷歌的指南对此限制直言不讳，指出即使网站遵循谷歌发布的指南，它也无法保证给定的页面会被抓取、索引或提供。