Как работают поисковые системы: краулинг, индексирование и ранжирование, объяснено

Ввод вопроса в поисковую строку и получение ответов за доли секунды кажется мгновенным, но это зависит от трех отдельных процессов, которые происходят задолго до того, как запрос введен: краулинг, индексирование и ранжирование. Google описывает эту трехэтапную модель в своей документации для разработчиков, и та же основная структура лежит в основе других поисковых систем.

Краулинг: поиск страниц в интернете

Краулинг — это этап обнаружения. Согласно руководству разработчика Google, автоматизированные программы, называемые краулерами, — краулер Google называется Googlebot — находят новые или обновленные страницы в основном тремя способами: посещают уже известные страницы, переходят по гиперссылкам с одной страницы на другую и читают файлы карты сайта, которые владельцы сайтов отправляют непосредственно в поисковую систему.

В документации Google отмечается, что Googlebot доступен в мобильном и настольном вариантах, и что большинство запросов на краулинг поступают от мобильного краулера, потому что Google в основном индексирует мобильную версию страницы. Краулеры также отображают страницы, используя последнюю версию браузера Chrome, чтобы они могли выполнять JavaScript, поскольку многие сайты загружают контент динамически, а не подают его как простой HTML.

Краулеры не загружают все подряд. Согласно руководству Google, запросы краулинга Googlebot регулируются алгоритмически, при этом большинство сайтов обычно посещаются не более одного раза в несколько секунд в среднем, и Googlebot соблюдает правила, установленные владельцами сайтов в файле robots.txt. Размер загрузок также ограничен: до 2 МБ для большинства типов файлов и 64 МБ для PDF, после чего Googlebot прекращает загрузку и работает с уже полученной частью.

Индексирование: организация найденного

После загрузки страницы поисковая система должна решить, о чем она и стоит ли ее сохранять. В документации Google это описывается как анализ текста, изображений и видеоконтента, чтение HTML-элементов, таких как теги заголовков и альтернативные атрибуты изображений, и применение канонизации — группировка почти дублирующихся страниц и выбор одной репрезентативной версии для показа в результатах.

Важно отметить, что Google заявляет, что краулинг страницы не гарантирует, что она будет проиндексирована: страницы могут быть исключены из-за низкого качества контента, метатега robots, блокирующего индексирование, или технических проблем с сайтом. Это техническая основа статуса «Просканировано — в настоящее время не индексируется», который владельцы сайтов иногда видят в инструментах Google.

Под капотом структура хранилища, которую используют поисковые системы, обычно является перевернутым индексом. Как объясняется в техническом обзоре, опубликованном на GeeksforGeeks, перевернутый индекс переворачивает обычное отношение документ-слово: вместо того, чтобы перечислять, какие слова находятся в каком документе, он перечисляет для каждого слова, какие документы его содержат. Построение индекса включает разделение текста на отдельные термины (токенизация), удаление обычных вспомогательных слов и нормализацию вариантов слов перед записью местоположения каждого термина. Эта структура позволяет поисковой системе перейти непосредственно к релевантным документам для запроса, а не сканировать весь веб построчно, что обзор GeeksforGeeks описывает как практически невозможно медленное, когда коллекция документов растет в размере.

Ранжирование: упорядочение результатов по запросу

Ранжирование происходит в момент поиска. В документации Google сказано, что из всех индексированных страниц, соответствующих запросу, система упорядочивает их по релевантности, и что релевантность определяется тем, что Google называет «сотнями факторов», которые могут включать сигналы, такие как местоположение, язык и устройство пользователя. Google также явно заявляет, что не принимает платежи за повышение рейтинга органических страниц и что ранжирование выполняется программно.

Один из самых ранних и хорошо задокументированных сигналов ранжирования — это PageRank, созданный соучредителями Google Ларри Пейджем и Сергеем Бриным в Стэнфордском университете в 1997 году и впервые подан как патент в январе 1998 года, согласно истории, составленной аналитической фирмой Ahrefs. PageRank рассматривает каждую гиперссылку на страницу как голос доверия, при этом значение каждого голоса взвешивается по авторитету ссылающейся страницы. Исходная формула включала коэффициент затухания 0,85, предназначенный для моделирования снижения вероятности того, что пользователь продолжит кликать по ссылкам, чем дальше он от исходной страницы.

В обзоре Ahrefs отмечается, что PageRank больше не является отдельной оценкой — общедоступный доступ через панель инструментов Google закончился в 2016 году, — но сам Гэри Иллес из Google сказал, что ссылки по-прежнему питают более широкие сигналы авторитета, которые компания объединяет под E-E-A-T (опыт, экспертиза, авторитетность, надежность). Google также перешел к модели разумного серфера, которая взвешивает некоторые ссылки более тяжело, чем другие, на основе того, насколько вероятно, что реальный посетитель будет по ним кликать, а не равномерно распределяет авторитет по всем ссылкам на странице.

Почему страницы могут быть просканированы, но остаться невидимыми в поиске

Три этапа объясняют распространенный источник путаницы для владельцев сайтов: просканирование страницы не означает, что она индексируется, и индексирование не гарантирует высокий рейтинг. Руководство Google прямо говорит об этом ограничении, заявляя, что оно не может гарантировать, что данная страница будет просканирована, проиндексирована или подана, даже если сайт следует опубликованным руководствам Google.