Arama Motorları Nasıl Çalışır: Tarama, Dizinleme ve Sıralama Açıklandı

Bir arama kutusuna soru yazmak ve saniyenin çok küçük bir kesrinde yanıt almak anlık gibi hissettirir, ancak bu süreç sorgu yazılmadan çok önce gerçekleşen üç ayrı işleme dayanır: tarama, dizinleme ve sıralama. Google, bu üç aşamalı modeli kendi geliştirici belgelerinde ortaya koyar ve aynı temel çerçeve diğer arama motorlarının da altında yer alır.

Tarama: web üzerinde sayfaları bulma

Tarama, keşif aşamasıdır. Google'ın geliştirici kılavuzuna göre, tarayıcı (crawler) adı verilen otomatik programlar — Google'ınki Googlebot olarak adlandırılır — yeni veya güncellenmiş sayfaları esas olarak üç yol üzerinden bulur: zaten bildikleri sayfaları yeniden ziyaret etme, bir sayfadan diğerine giden köprü bağlantılarını (hyperlink) takip etme ve site sahiplerinin doğrudan arama motoruna gönderdiği site haritası (sitemap) dosyalarını okuma.

Google'ın belgeleri, Googlebot'un mobil ve masaüstü olmak üzere iki sürümü olduğunu ve Google'ın bir sayfanın öncelikle mobil sürümünü dizine eklediği için tarama taleplerinin çoğunun artık mobil tarayıcıdan geldiğini belirtiyor. Tarayıcılar ayrıca sayfaları güncel bir Chrome tarayıcı sürümü kullanarak oluşturur (render eder), böylece JavaScript'i çalıştırabilirler; çünkü birçok site içeriği düz HTML olarak sunmak yerine dinamik olarak yükler.

Tarayıcılar her şeyi ayrım yapmadan çekmez. Google'ın kılavuzu, Googlebot'un tarama taleplerinin algoritmik olarak kısıtlandığını, çoğu sitenin ortalama olarak genellikle birkaç saniyede bir defadan fazla erişilmediğini ve Googlebot'un web sitesi sahiplerinin bir robots.txt dosyasında belirlediği kurallara uyduğunu belirtiyor. Çekimler boyut açısından da sınırlıdır: çoğu dosya türü için en fazla 2MB ve PDF'ler için 64MB; bu sınırın ardından Googlebot indirmeyi durdurur ve zaten getirdiği kısımla çalışır.

Dizinleme: bulunanları düzenleme

Bir sayfa getirildikten sonra, arama motorunun bu sayfanın ne hakkında olduğuna ve saklanmaya değer olup olmadığına karar vermesi gerekir. Google'ın belgeleri bunu; metin, görsel ve video içeriğini analiz etmek, başlık etiketleri ve görsel alt özellikleri gibi HTML öğelerini okumak ve kanonikleştirme uygulamak — yani birbirine çok yakın kopya sayfaları gruplandırıp sonuçlarda gösterilecek tek bir temsilci sürüm seçmek — olarak tanımlıyor.

Önemli bir nokta olarak Google, bir sayfanın taranmasının onun dizine ekleneceğini garanti etmediğini belirtiyor: sayfalar düşük içerik kalitesi, dizinlemeyi engelleyen bir robots meta etiketi veya siteyle ilgili teknik sorunlar nedeniyle hariç tutulabilir. Bu, site sahiplerinin Google'ın araçlarında bazen gördüğü 'Tarandı – şu anda dizine eklenmedi' durumunun teknik temelidir.

Perde arkasında, arama motorlarının kullandığı saklama yapısı genellikle ters dizin (inverted index) adı verilen yapıdır. GeeksforGeeks tarafından yayınlanan teknik bir genel bakışta açıklandığı üzere, ters bir dizin olağan belge-kelime ilişkisini tersine çevirir: hangi kelimelerin hangi belgede bulunduğunu listelemek yerine, her kelime için o kelimeyi içeren belgeleri listeler. Bir ters dizin oluşturmak; metni tek tek terimlere ayırmayı (tokenizasyon), yaygın dolgu kelimelerini çıkarmayı ve her terimin nerede geçtiğini kaydetmeden önce kelime varyantlarını normalleştirmeyi içerir. Bu yapı, bir arama motorunun bir sorgu için ilgili belgelere doğrudan atlamasını sağlar; GeeksforGeeks genel bakışının belirttiği üzere, bir belge koleksiyonu büyüdüğünde pratik olmayacak kadar yavaş olan satır satır tüm web'i taramak yerine.

Sıralama: bir sorgu için sonuçları dizme

Sıralama, birisi arama yaptığı anda gerçekleşir. Google'ın belgeleri, bir sorguyla eşleşen tüm dizine eklenmiş sayfalar arasında, sistemin bunları ilgililiğe (relevance) göre sıraladığını ve ilgililiğin, kullanıcının konumu, dili ve cihazı gibi sinyalleri de içerebilen 'yüzlerce faktör' olarak tanımladığı şeyler tarafından belirlendiğini söylüyor. Google ayrıca, organik sayfaları daha yüksekte sıralamak için ödeme kabul etmediğini ve sıralamanın programatik olarak yapıldığını açıkça belirtiyor.

En eski ve en iyi belgelenen sıralama sinyallerinden biri, SEO analitik firması Ahrefs tarafından derlenen bir tarihe göre, Google'ın kurucu ortakları Larry Page ve Sergey Brin tarafından 1997'de Stanford Üniversitesi'nde yaratılan ve ilk olarak Ocak 1998'de patent başvurusu yapılan PageRank'tir. PageRank, bir sayfaya verilen her köprü bağlantısını bir güven oyu olarak ele alır ve her oyun değeri, bağlantıyı veren sayfanın otoritesine göre ağırlıklandırılır. Orijinal formül, bir kullanıcının başlangıç sayfasından ne kadar uzaklaşırsa bağlantıları takip etmeye devam etme olasılığının azaldığını modellemek amacıyla 0,85 değerinde bir sönümleme (damping) faktörü içeriyordu.

Ahrefs'in genel bakışı, PageRank'in artık bağımsız bir puan olmadığını — Google'ın araç çubuğu üzerinden kamuya açık erişim 2016'da sona ermişti — belirtiyor; ancak Google'ın kendi çalışanı Gary Illyes, bağlantıların hâlâ şirketin E-E-A-T (deneyim, uzmanlık, otorite, güvenilirlik) altında gruplandırdığı daha geniş otorite sinyallerine beslendiğini söylemiştir. Google ayrıca, otoriteyi bir sayfadaki her bağlantı arasında eşit şekilde bölmek yerine, gerçek bir ziyaretçinin bir bağlantıya tıklama olasılığına göre bazı bağlantıları diğerlerinden daha ağırlıklı değerlendiren 'makul gezgin' (reasonable surfer) modeline yönelmiştir.

Sayfaların neden taranabildiği ama aramada görünmez olabildiği

Bu üç aşama, web sitesi sahipleri için yaygın bir kafa karışıklığı kaynağını açıklıyor: bir sayfanın taranması onun dizine eklendiği anlamına gelmez ve dizine eklenmesi de yüksek bir sıralama elde edeceğini garanti etmez. Google'ın kılavuzu bu sınırlama konusunda açıktır ve bir site Google'ın yayınladığı yönergelere uysa bile, belirli bir sayfanın taranacağını, dizine ekleneceğini veya sunulacağını garanti edemeyeceğini belirtir.