So funktionieren Suchmaschinen: Crawling, Indexierung und Ranking erklärt

Eine Frage in die Suchleiste einzugeben und Antworten in Bruchteilen einer Sekunde zu erhalten, wirkt augenblicklich, beruht aber auf drei separaten Prozessen, die lange vor der Abfrage stattfinden: Crawling, Indexierung und Ranking. Google erläutert dieses dreistufige Modell in seiner eigenen Entwicklerdokumentation, und dasselbe grundlegende Framework liegt auch anderen Suchmaschinen zugrunde.

Crawling: Seiten im Web finden

Crawling ist die Entdeckungsphase. Laut Googles Entwicklerleitfaden finden automatisierte Programme, sogenannte Crawler – Googles heißt Googlebot – neue oder aktualisierte Seiten hauptsächlich auf drei Wegen: durch Wiederbesuch bereits bekannter Seiten, durch Verfolgung von Hyperlinks von einer Seite zur anderen und durch Lesen von Sitemap-Dateien, die Website-Besitzer direkt an die Suchmaschine übermitteln.

Googles Dokumentation vermerkt, dass Googlebot in einer mobilen und einer Desktop-Variante verfügbar ist, und dass die meisten Crawl-Anfragen nun vom mobilen Crawler stammen, da Google hauptsächlich die mobile Version einer Seite indexiert. Crawler rendern Seiten auch mit einer aktuellen Version des Chrome-Browsers, damit sie JavaScript ausführen können, da viele Websites Inhalte dynamisch laden, anstatt sie als einfaches HTML bereitzustellen.

Crawler rufen nicht willkürlich alles auf. Googles Leitfaden besagt, dass Googlebots Crawl-Anfragen algorithmisch gedrosselt werden, wobei die meisten Websites typischerweise durchschnittlich nicht öfter als etwa alle paar Sekunden aufgerufen werden, und dass Googlebot die Regeln respektiert, die Website-Besitzer in einer robots.txt-Datei setzen. Abrufe sind auch in der Größe begrenzt: bis zu 2 MB für die meisten Dateitypen und 64 MB für PDFs, wonach Googlebot den Download stoppt und mit dem bereits abgerufenen Teil arbeitet.

Indexierung: Organisieren des Gefundenen

Sobald eine Seite abgerufen wird, muss die Suchmaschine entscheiden, worum es geht und ob sie speichernswert ist. Googles Dokumentation beschreibt dies als Analyse von Text-, Bild- und Videoinhalten, das Lesen von HTML-Elementen wie Title-Tags und Image-Alt-Attributen sowie die Anwendung von Kanonisierung – das Gruppieren von nahezu doppelten Seiten und die Auswahl einer repräsentativen Version für die Suchergebnisse.

Wichtig ist, dass Google erklärt, dass das Crawlen einer Seite nicht garantiert, dass sie indexiert wird: Seiten können wegen niedriger Inhaltsqualität, eines Meta-Tags für Robots, das die Indexierung blockiert, oder technischer Probleme mit der Website ausgeschlossen werden. Dies ist die technische Grundlage für den Status 'Gecrawlt – derzeit nicht indexiert', den Website-Besitzer manchmal in Googles Tools sehen.

Unter der Haube verwenden Suchmaschinen typischerweise einen invertierten Index als Speicherstruktur. Wie in einer von GeeksforGeeks veröffentlichten technischen Übersicht erläutert, kehrt ein invertierter Index die übliche Dokument-zu-Wort-Beziehung um: Anstatt aufzulisten, welche Wörter in welchen Dokumenten sind, listet er für jedes Wort auf, welche Dokumente es enthalten. Der Aufbau beinhaltet das Aufteilen von Text in einzelne Begriffe (Tokenisierung), das Entfernen häufiger Füllwörter und das Normalisieren von Wortvarianten, bevor aufgezeichnet wird, wo jeder Begriff auftritt. Diese Struktur ermöglicht es einer Suchmaschine, direkt zu den relevanten Dokumenten für eine Abfrage zu springen, anstatt das gesamte Web Zeile für Zeile zu scannen, was die GeeksforGeeks-Übersicht als unpraktisch langsam beschreibt, sobald eine Sammlung von Dokumenten groß wird.

Ranking: Sortieren von Ergebnissen für eine Abfrage

Ranking findet in dem Moment statt, in dem jemand sucht. Googles Dokumentation besagt, dass das System alle indexierten Seiten, die einer Abfrage entsprechen, nach Relevanz sortiert, und dass die Relevanz durch das bestimmt wird, was es als 'hunderte von Faktoren' beschreibt, die Signale wie den Standort des Benutzers, die Sprache und das Gerät enthalten können. Google erklärt auch ausdrücklich, dass es keine Zahlungen akzeptiert, um organische Seiten höher zu bewerten, und dass das Ranking programmgesteuert erfolgt.

Eines der frühesten und am besten dokumentierten Ranking-Signale ist PageRank, das von Google-Mitbegründern Larry Page und Sergey Brin an der Stanford University 1997 entwickelt wurde und erstmals im Januar 1998 als Patent angemeldet wurde, laut einer von der SEO-Analyse-Firma Ahrefs erstellten Geschichte. PageRank behandelt jeden Hyperlink zu einer Seite als Vertrauensvotum, wobei der Wert jedes Votums durch die Autorität der verlinkenden Seite gewichtet wird. Die ursprüngliche Formel enthielt einen Dämpfungsfaktor von 0,85, der die abnehmende Wahrscheinlichkeit modellieren sollte, dass ein Benutzer weiterhin Links anklickt, je weiter er von einer Startseite entfernt ist.

Ahrefs' Übersicht merkt an, dass PageRank nicht mehr ein eigenständiger Score ist – der öffentliche Zugang über Googles Toolbar endete 2016 – aber Googles eigener Gary Illyes hat gesagt, dass Links immer noch in breitere Autoritätssignale einfließen, die das Unternehmen unter E-E-A-T (Experience, Expertise, Authoritativeness, Trustworthiness) gruppiert. Google ist auch zu einem 'reasonable-surfer'-Modell übergegangen, das einige Links auf der Grundlage der Wahrscheinlichkeit, dass ein echter Besucher darauf klicken würde, stärker gewichtet als andere, anstatt die Autorität gleichmäßig auf jeden Link auf einer Seite zu verteilen.

Warum Seiten gecrawlt, aber immer noch unsichtbar in der Suche sein können

Die drei Phasen erklären eine häufige Quelle der Verwirrung für Website-Besitzer: Eine gecrawlte Seite bedeutet nicht, dass sie indexiert ist, und das Indexieren garantiert kein hohes Ranking. Googles Leitfaden ist direkt zu dieser Einschränkung und erklärt, dass es nicht garantieren kann, dass eine bestimmte Seite gecrawlt, indexiert oder bereitgestellt wird, auch wenn eine Website Googles veröffentlichte Richtlinien befolgt.