Jak działają wyszukiwarki: przeszukiwanie, indeksowanie i ranking wyjaśnione

Wpisanie pytania w pole wyszukiwania i otrzymanie odpowiedzi w ułamku sekundy wydaje się natychmiastowe, ale opiera się na trzech oddzielnych procesach, które zachodzą znacznie wcześniej, zanim zapytanie zostanie wpisane: przeszukiwanie, indeksowanie i ranking. Google opisuje ten trzyetapowy model w swojej dokumentacji dla deweloperów, a ten sam podstawowy schemat stanowi podstawę innych wyszukiwarek.

Przeszukiwanie: znajdowanie stron w internecie

Przeszukiwanie to faza odkrywania. Według przewodnika dla deweloperów Google, zautomatyzowane programy zwane crawlerami — crawler Google'a nosi nazwę Googlebot — znajdują nowe lub zaktualizowane strony głównie na trzy sposoby: powracając do już znanych stron, podążając za hiperłączami z jednej strony na drugą oraz odczytując pliki map witryny, które właściciele witryn przesyłają bezpośrednio do wyszukiwarki.

Dokumentacja Google odnotowuje, że Googlebot dostępny jest w wersji mobilnej i desktopowej, a większość żądań przeszukiwania pochodzi teraz z mobilnego crawlera, ponieważ Google przede wszystkim indeksuje mobilną wersję strony. Crawlery renderują również strony przy użyciu najnowszej wersji przeglądarki Chrome, aby móc wykonywać JavaScript, ponieważ wiele witryn ładuje zawartość dynamicznie zamiast podawać ją jako zwykły kod HTML.

Crawlery nie pobierają wszystkiego bez dyskryminacji. Przewodnik Google stwierdza, że żądania przeszukiwania Googlebot są ograniczane algorytmicznie, przy czym większość witryn jest zwykle dostępna nie częściej niż mniej więcej raz na kilka sekund średnio, a Googlebot przestrzega zasad ustawionych przez właścicieli witryn w pliku robots.txt. Pobieranie jest również ograniczone rozmiarem: do 2 MB dla większości typów plików i 64 MB dla plików PDF, po czym Googlebot zatrzymuje pobieranie i pracuje z już pobraną częścią.

Indeksowanie: porządkowanie tego, co zostało znalezione

Po pobraniu strony wyszukiwarka musi zdecydować, o czym jest i czy warto ją przechowywać. Dokumentacja Google opisuje to jako analizę tekstu, obrazów i zawartości wideo, odczytywanie elementów HTML, takich jak tagi tytułów i atrybuty alt obrazów, oraz zastosowanie kanonikalizacji — grupowanie bliźniaczych stron i wybór jednej reprezentacyjnej wersji do pokazania w wynikach.

Co ważne, Google stwierdza, że przeszukiwanie strony nie gwarantuje, że będzie ona zindeksowana: strony mogą być wykluczone ze względu na niską jakość zawartości, tag meta robots blokujący indeksowanie lub problemy techniczne witryny. Jest to podstawa techniczna statusu "Przeszukane – aktualnie nie zindeksowane", który właściciele witryn czasami widzą w narzędziach Google.

Pod spodem strukturą przechowywania używaną przez wyszukiwarki jest zazwyczaj indeks odwrotny. Jak wyjaśniono w przeglądzie technicznym opublikowanym przez GeeksforGeeks, indeks odwrotny odwraca zwykłą relację dokument-słowo: zamiast wymieniać, które słowa są w którym dokumencie, wymienia, dla każdego słowa, które dokumenty go zawierają. Budowanie jednego wiąże się z rozbiciem tekstu na poszczególne terminy (tokenizacja), usunięciem powszechnych słów wypełniających i normalizacją wariantów słów przed zarejestrowaniem, gdzie każdy termin się pojawia. Ta struktura pozwala wyszukiwarce przeskoczyć bezpośrednio do odpowiednich dokumentów dla zapytania zamiast skanować całą sieć linia po linii, którą przegląd GeeksforGeeks opisuje jako niepraktycznie wolną, gdy kolekcja dokumentów rośnie.

Ranking: porządkowanie wyników dla zapytania

Ranking następuje w momencie, gdy ktoś wyszukuje. Dokumentacja Google stwierdza, że z wszystkich zindeksowanych stron pasujących do zapytania, system porządkuje je według istotności, a istotność jest określana przez to, co Google opisuje jako "setki czynników", które mogą obejmować sygnały takie jak lokalizacja użytkownika, język i urządzenie. Google również wyraźnie stwierdza, że nie przyjmuje płatności za wyższą klasyfikację organicznych stron i że ranking odbywa się programowo.

Jednym z najwcześniejszych i najlepiej udokumentowanych sygnałów rankingowych jest PageRank, stworzony przez współzałożycieli Google Larry'ego Page'a i Sergey'a Brina na Uniwersytecie Stanforda w 1997 roku i po raz pierwszy złożony jako patent w stycznia 1998 roku, zgodnie z historią opracowaną przez firmę analityczną SEO Ahrefs. PageRank traktuje każde hiperłącze do strony jako głos zaufania, przy czym wartość każdego głosu jest ważona autorytetem strony, z której pochodzi łącze. Oryginalna formuła zawierała współczynnik tłumienia 0,85, mający na celu modelowanie malejącego prawdopodobieństwa, że użytkownik będzie klikać linki im dalej od strony początkowej.

Przegląd Ahrefs odnotowuje, że PageRank nie jest już samodzielnym wynikiem — publiczny dostęp przez pasek narzędzi Google'a zakończył się w 2016 roku — ale Gary Illyes z Google stwierdził, że linki nadal zasilają szersze sygnały autorytatywne, które firma grupuje pod E-E-A-T (doświadczenie, wiedza fachowa, autorytet, godność zaufania). Google przesunęło się również w kierunku rozsądnego modelu surfowania, który waży niektóre łącza bardziej niż inne na podstawie tego, jak prawdopodobne jest, że rzeczywisty odwiedzający kliknie je, zamiast dzielić autorytet równomiernie na każde łącze na stronie.

Dlaczego strony mogą być przeszukiwane, ale nadal niewidoczne w wynikach wyszukiwania

Te trzy etapy wyjaśniają powszechne źródło zamieszania dla właścicieli witryn: przeszukiwanie strony nie oznacza, że jest ona zindeksowana, a zindeksowanie nie gwarantuje wysokiej klasyfikacji. Przewodnik Google jest bezpośredni w kwestii tego ograniczenia, stwierdzając, że nie może gwarantować, że dana strona będzie przeszukiwana, indeksowana lub serwowana, nawet gdy witryna przestrzega opublikowanych wytycznych Google.