Hoe zoekmachines werken: crawlen, indexeren en ranking uitgelegd

Het typen van een vraag in een zoekvak en het ontvangen van antwoorden in een fractie van een seconde voelt onmiddellijk, maar het is gebaseerd op drie afzonderlijke processen die plaatsvinden voordat de zoekopdracht wordt getypt: crawlen, indexeren en ranking. Google beschrijft dit drietrapsmodel in zijn eigen ontwikkelaardocumentatie, en hetzelfde basisraamwerk ligt ten grondslag aan andere zoekmachines.

Crawlen: pagina's vinden op het web

Crawlen is de ontdekkingsfase. Volgens Google's ontwikkelaargids vinden geautomatiseerde programma's die crawlers worden genoemd — Google's heet Googlebot — nieuwe of bijgewerkte pagina's voornamelijk via drie routes: het opnieuw bezoeken van pagina's die ze al kennen, het volgen van hyperlinks van de ene pagina naar de andere, en het lezen van sitemapbestanden die site-eigenaren rechtstreeks bij de zoekmachine indienen.

Google's documentatie geeft aan dat Googlebot in een mobiele en een desktopvariant beschikbaar is, en dat de meeste crawlverzoeken nu afkomstig zijn van de mobiele crawler omdat Google primair de mobiele versie van een pagina indexeert. Crawlers geven ook pagina's weer met behulp van een recente versie van de Chrome-browser, zodat zij JavaScript kunnen uitvoeren, aangezien veel sites inhoud dynamisch laden in plaats van het als gewone HTML aan te bieden.

Crawlers halen niet alles willekeurig op. Google's gids stelt dat de crawlverzoeken van Googlebot algoritmisch worden beperkt, waarbij de meeste sites gemiddeld niet vaker dan ongeveer om de paar seconden worden bezocht, en dat Googlebot de regels respecteert die site-eigenaren in een robots.txt-bestand instellen. Ophaalactiviteiten zijn ook in grootte beperkt: tot 2MB voor de meeste bestandstypen en 64MB voor PDF's, waarna Googlebot het downloaden stopt en werkt met het gedeelte dat het al heeft opgehaald.

Indexeren: organiseren van wat is gevonden

Wanneer een pagina is opgehaald, moet de zoekmachine bepalen waar het over gaat en of het de moeite waard is om op te slaan. Google's documentatie beschrijft dit als het analyseren van tekst-, afbeeldings- en video-inhoud, het lezen van HTML-elementen zoals titeltags en alt-attributen van afbeeldingen, en het toepassen van canonicalisatie — het groeperen van bijna-dubbele pagina's en het selecteren van één representatieve versie om in resultaten weer te geven.

Cruciaal is dat Google stelt dat het crawlen van een pagina niet garandeert dat deze wordt geïndexeerd: pagina's kunnen worden uitgesloten vanwege lage inhoudskwaliteit, een meta-tag voor robots die indexering blokkeert, of technische problemen met de site. Dit is de technische basis voor de status 'Crawled – currently not indexed' (Gecrawld – momenteel niet geïndexeerd) die site-eigenaren soms in Google's hulpmiddelen zien.

Onder de motorkap is de opslagstructuur die zoekmachines gebruiken meestal een omgekeerde index. Zoals uitgelegd in een technisch overzicht dat door GeeksforGeeks is gepubliceerd, keert een omgekeerde index de gebruikelijke document-naar-woord-relatie om: in plaats van op te sommen welke woorden in welk document staan, geeft het voor elk woord aan in welke documenten het voorkomt. Het bouwen ervan omvat het opsplitsen van tekst in individuele termen (tokenisering), het verwijderen van algemene vulwoorden en het normaliseren van woordvarianten voordat wordt vastgelegd waar elke term verschijnt. Deze structuur stelt een zoekmachine in staat om rechtstreeks naar de relevante documenten voor een zoekopdracht te springen in plaats van het gehele web regel voor regel te scannen, wat het GeeksforGeeks-overzicht beschrijft als onpraktisch langzaam zodra een verzameling documenten groot wordt.

Ranking: resultaten ordenen voor een zoekopdracht

Ranking gebeurt op het moment dat iemand zoekt. Google's documentatie stelt dat het systeem van alle geïndexeerde pagina's die met een zoekopdracht overeenkomen, deze ordent op basis van relevantie, en dat relevantie wordt bepaald door wat het beschrijft als 'honderden factoren', die signalen kunnen omvatten zoals de locatie, taal en apparaat van de gebruiker. Google stelt ook expliciet dat het geen betaling accepteert om organische pagina's hoger in de ranglijst te zetten en dat ranking programmatisch wordt uitgevoerd.

Een van de vroegste en best gedocumenteerde rankingeinen is PageRank, gemaakt door Google-medeoprichters Larry Page en Sergey Brin aan Stanford University in 1997 en voor het eerst als patent ingediend in januari 1998, volgens een geschiedenis samengesteld door SEO-analyticabedrijf Ahrefs. PageRank behandelt elke hyperlink naar een pagina als een vertrouwensstem, waarbij de waarde van elke stem wordt gewogen door de autoriteit van de verwijzende pagina. De originele formule omvatte een dempingsfactor van 0,85, bedoeld om de afnemende waarschijnlijkheid te modelleren dat een gebruiker doorgaat met klikken door links naarmate zij verder van een startpagina verwijderd zijn.

Het overzicht van Ahrefs stelt vast dat PageRank niet langer een zelfstandige score is — openbare toegang via Google's werkbalk eindigde in 2016 — maar Google's eigen Gary Illyes heeft gezegd dat links nog steeds voeding geven aan bredere autoriteitseinen die het bedrijf groepeert onder E-E-A-T (ervaring, expertise, gezag, betrouwbaarheid). Google is ook overgegaan op een redelijk-surfermodel dat enkele links zwaarder weegt dan andere op basis van hoe waarschijnlijk het is dat een echte bezoeker erop klikt, in plaats van de autoriteit gelijk over elke link op een pagina te verdelen.

Waarom pagina's kunnen worden gecrawld maar nog steeds onzichtbaar zijn in zoekresultaten

De drie fasen verklaren een veel voorkomende bron van verwarring voor site-eigenaren: het crawlen van een pagina betekent niet dat deze wordt geïndexeerd, en indexering garandeert geen hoge rangorde. Google's gids is direct over deze beperking en stelt dat het niet kan garanderen dat een bepaalde pagina wordt gecrawld, geïndexeerd of verzonden, zelfs wanneer een site Google's gepubliceerde richtlijnen volgt.