Cara Mesin Pencari Bekerja: Crawling, Indexing, dan Ranking Dijelaskan

Mengetik pertanyaan ke dalam kotak pencarian dan mendapatkan jawaban dalam sepersekian detik terasa instan, tetapi bergantung pada tiga proses terpisah yang terjadi jauh sebelum kueri diketik: crawling, indexing, dan ranking. Google menjelaskan model tiga tahap ini dalam dokumentasi pengembang mereka sendiri, dan kerangka kerja dasar yang sama mendasari mesin pencari lain juga.

Crawling: menemukan halaman di web

Crawling adalah fase penemuan. Menurut panduan pengembang Google, program otomatis yang disebut crawler — yang Google-nya bernama Googlebot — menemukan halaman baru atau diperbarui terutama melalui tiga rute: mengunjungi kembali halaman yang sudah mereka kenal, mengikuti hyperlink dari satu halaman ke halaman lain, dan membaca file peta situs yang pemilik situs kirimkan langsung ke mesin pencari.

Dokumentasi Google mencatat bahwa Googlebot hadir dalam varian mobile dan desktop, dan bahwa sebagian besar permintaan crawl sekarang berasal dari crawler mobile karena Google terutama mengindeks versi mobile halaman. Crawler juga merender halaman menggunakan versi browser Chrome terbaru sehingga mereka dapat menjalankan JavaScript, karena banyak situs memuat konten secara dinamis daripada menyajikannya sebagai HTML biasa.

Crawler tidak mengambil semua hal secara sembarangan. Panduan Google menyatakan bahwa permintaan crawl Googlebot dibatasi secara algoritmik, dengan sebagian besar situs biasanya diakses tidak lebih dari sekitar sekali setiap beberapa detik rata-rata, dan Googlebot menghormati aturan yang ditetapkan pemilik situs dalam file robots.txt. Pengambilan juga dibatasi dalam ukuran: hingga 2MB untuk sebagian besar tipe file dan 64MB untuk PDF, setelah itu Googlebot berhenti mengunduh dan bekerja dengan bagian apa pun yang sudah diambilnya.

Indexing: mengorganisir apa yang ditemukan

Setelah halaman diambil, mesin pencari harus memutuskan apa itu dan apakah layak disimpan. Dokumentasi Google menjelaskan ini sebagai menganalisis teks, gambar, dan konten video, membaca elemen HTML seperti tag judul dan atribut alt gambar, dan menerapkan canonicalization — mengelompokkan halaman yang hampir duplikat dan memilih satu versi perwakilan untuk ditampilkan dalam hasil.

Secara krusial, Google menyatakan bahwa crawling halaman tidak menjamin akan diindeks: halaman dapat dikecualikan karena kualitas konten rendah, tag meta robot yang memblokir indexing, atau masalah teknis dengan situs. Ini adalah dasar teknis untuk status 'Crawled – currently not indexed' yang kadang-kadang dilihat pemilik situs di alat Google.

Di balik layar, struktur penyimpanan yang digunakan mesin pencari biasanya adalah indeks terbalik. Seperti dijelaskan dalam tinjauan teknis yang diterbitkan oleh GeeksforGeeks, indeks terbalik membalikkan hubungan dokumen-ke-kata yang biasa: alih-alih mencantumkan kata mana yang ada di dokumen mana, ia mencantumkan, untuk setiap kata, dokumen mana yang memuatnya. Membangunnya melibatkan memecah teks menjadi istilah individual (tokenizing), menghapus kata-kata pengisi umum, dan menormalkan varian kata sebelum mencatat di mana setiap istilah muncul. Struktur ini memungkinkan mesin pencari melompat langsung ke dokumen yang relevan untuk kueri daripada memindai seluruh web baris demi baris, yang dievaluasi GeeksforGeeks menggambarkan sebagai sangat lambat setelah koleksi dokumen menjadi besar.

Ranking: mengurutkan hasil untuk kueri

Ranking terjadi pada saat seseorang mencari. Dokumentasi Google mengatakan bahwa dari semua halaman yang diindeks yang cocok dengan kueri, sistem mengurutkannya berdasarkan relevansi, dan relevansi ditentukan oleh apa yang disebut 'ratusan faktor,' yang dapat mencakup sinyal seperti lokasi, bahasa, dan perangkat pengguna. Google juga menyatakan secara eksplisit bahwa itu tidak menerima pembayaran untuk memberi peringkat halaman organik lebih tinggi dan bahwa ranking dilakukan secara programatik.

Salah satu sinyal ranking paling awal dan paling terdokumentasi dengan baik adalah PageRank, yang dibuat oleh para pendiri Google bersama Larry Page dan Sergey Brin di Stanford University pada tahun 1997 dan pertama kali diajukan sebagai paten pada Januari 1998, menurut sejarah yang dikompilasi oleh firma analitik SEO Ahrefs. PageRank memperlakukan setiap hyperlink ke halaman sebagai suara kepercayaan diri, dengan nilai setiap suara tertimbang oleh otoritas halaman yang menghubungkan. Formula asli menyertakan faktor redaman 0.85, yang dimaksudkan untuk memodelkan penurunan kemungkinan bahwa pengguna terus mengklik tautan semakin jauh mereka dari halaman awal.

Tinjauan Ahrefs mencatat bahwa PageRank tidak lagi menjadi skor mandiri — akses publik melalui toolbar Google berakhir pada tahun 2016 — tetapi Gary Illyes sendiri dari Google telah mengatakan tautan masih memberi makan ke dalam sinyal otoritas yang lebih luas yang dikelompokkan perusahaan di bawah E-E-A-T (pengalaman, keahlian, otoritas, kepercayaan). Google juga telah beralih ke model reasonable-surfer yang mempertimbangkan beberapa tautan lebih berat daripada yang lain berdasarkan seberapa besar kemungkinan pengunjung nyata akan mengkliknya, daripada membagi otoritas secara merata di setiap tautan pada halaman.

Mengapa halaman dapat dicrawl tetapi masih tidak terlihat dalam pencarian

Ketiga tahap menjelaskan sumber kebingungan umum bagi pemilik situs: halaman yang dicrawl tidak berarti diindeks, dan diindeks tidak menjamin peringkat tinggi. Panduan Google sangat jelas tentang keterbatasan ini, menyatakan bahwa itu tidak dapat menjamin halaman tertentu akan dicrawl, diindeks, atau disajikan, bahkan ketika situs mengikuti panduan yang diterbitkan Google.