כיצד מנועי חיפוש עובדים: סריקה, אינדקסציה וגיבוש דירוג מוסברים

הקלדת שאלה לתיבת חיפוש וקבלת תשובות בשבריר של שנייה נראית מיידית, אך היא מסתמכת על שלוש תהליכים נפרדים המתרחשים הרבה לפני הקלדת השאילתה: סריקה, אינדקסציה וגיבוש דירוג. Google מתארת מודל תלת שלבי זה בתיעוד המפתחים שלה, והמסגרת הבסיסית זהה גם למנועי חיפוש אחרים.

סריקה: מציאת דפים באינטרנט

סריקה היא שלב הגילוי. על פי מדריך המפתחים של Google, תוכניות אוטומטיות הנקראות crawlers — של Google קוראים לה Googlebot — מוצאות דפים חדשים או מעודכנים בעיקר דרך שלוש נתיבים: ביקור חוזר בדפים שהם כבר מכירים, מעקב אחר היפרקישורים מעמוד אחד לשני וקריאת קבצי sitemap שבעלי אתרים שולחים ישירות למנוע החיפוש.

התיעוד של Google מציין כי ל-Googlebot יש וריאנט לנייד ולשולחן עבודה, ורוב בקשות הסריקה כעת מגיעות מה-crawler הנייד מכיוון ש-Google מיטיבה להצמיד את הגרסה הנייד של עמוד. Crawlers גם עורכים דף דרך גרסה עדכנית של דפדפן Chrome כדי שיוכלו להריץ JavaScript, מכיוון שאתרים רבים טוענים תוכן בצורה דינמית במקום להגיש אותו כ-HTML רגיל.

Crawlers אינם משיגים הכל ללא הבחנה. מדריך Google קובע כי בקשות הסריקה של Googlebot מוגבלות בצורה אלגוריתמית, כאשר רוב האתרים בדרך כלל נגישים לא יותר מפעם אחת כל כמה שניות בממוצע, וכי Googlebot מכבדת את הכללים שבעלי אתרים קבעו בקובץ robots.txt. הטיפולים מוגבלים גם בגודל: עד 2MB עבור רוב סוגי הקבצים ו-64MB לקבצי PDF, לאחר מכן Googlebot מפסיקה הו��דה ועובדת עם כל חלק שכבר אחזרה.

אינדקסציה: ארגון מה שנמצא

ברגע שדף מופק, מנוע החיפוש צריך להחליט מה הוא עוסק בו ואם זה שווה אחסון. התיעוד של Google מתאר זאת כניתוח תוכן טקסט, תמונות וסרטון, קריאת אלמנטים HTML כמו תגי כותרת ותכונות alt תמונה והחלת ייעול - קיבוץ דפים כמעט משוכפלים ובחירת גרסה נציגתית אחת להצגה בתוצאות.

בעיקר, Google קובעת כי סריקת דף אינה מבטיחה שהוא יהיה אינדקס: דפים עלולים להיות לא כלולים בגלל איכות תוכן נמוכה, תג meta robots המחסום האינדקסציה, או בעיות טכניות עם האתר. זו הבסיס הטכני למצב 'Crawled – currently not indexed' שבעלי אתרים רואים לעתים בכלים של Google.

מתחת למכסה המנוע, מבנה האחסון שמנועי חיפוש בדרך כלל משתמשים בו הוא אינדקס הפוך. כפי שהוסבר בסקירה טכנית שפרסמה GeeksforGeeks, אינדקס הפוך הופך את היחס המקובל בין מסמך לטקסט: במקום לרשום אילו מילים נמצאות באיזה מסמך, היא רושמת, לכל מילה, אילו מסמכים מכילים אותה. בניה שלה כוללת שבירת טקסט לתנאים ספציפיים (tokenizing), הסרת מילות מילוי נפוצות ותקינות של משתנות מילים לפני הקלטת איפה כל מונח מופיע. מבנה זה מאפשר למנוע חיפוש לקפוץ ישירות למסמכים הרלוונטיים לשאילתה במקום סריקת כל האינטרנט שורה אחר שורה, שהסקירה של GeeksforGeeks מתארת כלא פרקטי איטי ברגע שאוסף המסמכים גדל.

דיווח דירוג: סדרת תוצאות לשאילתה

דיווח דירוג קורה ברגע שמישהו מחפש. התיעוד של Google קובע כי מבין כל הדפים המאודדים התואמים שאילתה, המערכת מסדרת אותם לפי רלוונטיות, וזה הרלוונטיות שנקבעת על ידי מה שהיא מתארת כ'מאות גורמים,' שיכולים לכלול אותות כמו מיקום המשתמש, שפה והתקן. Google גם קובעת בבירור כי היא לא מקבלת תשלום לדירוג אורגני גבוה יותר וכי דיווח דירוג נעשה בתוכנית.

אחד הדירוגים המוקדמים ביותר והמתועדים ביותר הם PageRank, שנוצר על ידי מייסדי Google Larry Page ו-Sergey Brin בקנפרד סטנפורד בשנת 1997 ותאום פטנט לראשונה בינואר 1998, לפי היסטוריה שהוכנה על ידי חברת בדיקות SEO Ahrefs. PageRank מטפל בכל היפרקישור לעמוד כהצבעה של ביטחון, כשערכה של כל הצבעה משוקלל על ידי הסמכות של העמוד המקושר. הנוסחה המקורית כללה גורם השיכחון של 0.85, שנועד למודל של ירידת ההסתברות כי משתמש ממשיך ללחוץ דרך קישורים ככל שהם רחוקים יותר מעמוד ההתחלה.

הסקירה של Ahrefs מציינת כי PageRank אינו עוד ניקוד עצמאי — הגישה הציבורית דרך סרגל הכלים של Google הסתיימה בשנת 2016 — אך Gary Illyes של Google אמר כי קישורים עדיין מוזנים לאותות סמכות רחבים יותר שהחברה מקבצת תחת E-E-A-T (ניסיון, expertise, סמכות, אמינות). Google גם עברה לכיוון מודל surfer סביר שמשקלל כמה קישורים כבדים יותר מאחרים על בסיס כמה עשוי מבקר אמיתי ללחוץ עליהם, במקום פיצול סמכות בשווה על כל קישור בדף.

מדוע דפים יכולים להיסרק אך עדיין בלתי נראים בחיפוש

שלוש השלבים מסבירים מקור נפוץ של התבנות בעלי אתרים: סריקת דף לא אומר שהוא יוצה, ואינדקס לא מבטיח דיווח גבוה. מדריך Google ברור בנושא מגבלה זו, וקובע כי היא לא יכולה להבטיח שדף מסוים יסרק, יוצה או יוגש, אפילו כאשר אתר עוקב אחרי הנחיות Google פרסום.