فناوری · مقاله
چگونه موتورهای جستجو کار میکنند: خزش، نمایهسازی و رتبهبندی توضیح داده شده
انتشار:
بهطور خلاصه
موتورهای جستجو صفحات وب را از طریق سه مرحله متمایز پیدا، ذخیره و رتبهبندی میکنند: خزش (کشف صفحات)، نمایهسازی (تجزیه و ذخیره آنها) و رتبهبندی (ترتیب آنها برای یک پرسوجو خاص). Google این فرایند را در اسناد توسعهدهنده خود شرح میدهد، در حالی که ساختارهای داده اساسی و روش‌های رتبهبندی مبتنی بر پیوند، مانند فرمول PageRank اصلی، برای بیش از دو دهه توسط محققان و تحلیلگران صنعت مستند شده‌اند.
این نسخه ترجمهٔ ماشینی متن اصلی (English) است. خواندن متن اصلی
تایپ کردن یک سؤال در جعبه جستجو و دریافت پاسخ در کسری از ثانیه فوری به نظر می‌رسد، اما بر سه فرایند جداگانه تکیه دارد که بسیار قبل از تایپ کردن پرسوجو اتفاق می‌افتند: خزش، نمایهسازی و رتبهبندی. Google این مدل سه مرحله را در اسناد توسعهدهنده خود ارائه میدهد، و چارچوب پایه یکسان برای موتورهای جستجوی دیگر نیز اساسی است.
خزش: یافتن صفحات روی وب
خزش مرحله کشف است. طبق راهنمای توسعهدهنده Google، برنامه‌های خودکاری به نام خزش‌کننده‌ها — خزش‌کننده Google به نام Googlebot — صفحات جدید یا بروز‌شده را عمدتاً از طریق سه مسیر پیدا میکنند: مجدداً دیدار از صفحاتی که قبلاً می‌شناسند، دنبال کردن ابرپیوندها از صفحهای به دیگری، و خواندن فایل‌های sitemap که صاحبان سایت مستقیماً به موتور جستجو ارائه می‌دهند.
اسناد Google توجه میدهد که Googlebot در نسخه موبایل و دسکتاپ وجود دارد، و اکثر درخواست‌های خزش اکنون از خزش‌کننده موبایل می‌آیند زیرا Google عمدتاً نسخه موبایل یک صفحه را نمایهسازی میکند. خزش‌کننده‌ها همچنین صفحات را با استفاده از نسخه اخیر مرورگر Chrome تصیری میکنند تا بتوانند JavaScript را اجرا کنند، زیرا بسیاری از سایتها محتوا را بهطور پویا بارگذاری میکنند تا اینکه آن را بهعنوان HTML ساده ارائه دهند.
خزش‌کننده‌ها همه چیز را بهطور بی‌تمایز واکشی نمی‌کنند. راهنمای Google بیان میکند که درخواست‌های خزش Googlebot بهطور الگوریتمی کنترل می‌شوند، با اکثر سایتها معمولاً هر چند ثانیه یکبار با میانگین دسترسی پیدا میکنند، و Googlebot قوانینی را که صاحبان سایت در فایل robots.txt تعیین میکنند احترام می‌گذارد. واکشی‌ها نیز در اندازه محدود هستند: تا 2 مگابایت برای بیشتر انواع فایل و 64 مگابایت برای PDF، پس از آن Googlebot دانلود را متوقف میکند و با هر قسمتی که قبلاً بازیافت کرده کار میکند.
نمایهسازی: سازماندهی آنچه پیدا شد
پس از واکشی صفحه، موتور جستجو باید تصمیم بگیرد که درباره چه است و آیا ارزش ذخیره کردن دارد. اسناد Google این را توصیف میکند بهعنوان تجزیه متن، تصاویر و محتوای ویدیو، خواندن عناصر HTML مانند برچسب‌های عنوان و ویژگی‌های alt تصویر، و اعمال متعارفی‌سازی — گروه‌بندی صفحات تقریباً تکراری و انتخاب یک نسخه نمایندگی برای نمایش در نتایج.
بهطور حتم، Google بیان میکند که خزش صفحه تضمین نمایهسازی آن نیست: صفحات می‌توانند به دلیل کیفیت محتوای پایین، برچسب متا robots که نمایهسازی را مسدود میکند، یا مشکلات فنی سایت حذف شوند. این پایه فنی برای وضعیت 'Crawled – currently not indexed' است که صاحبان سایت گاهی در ابزارهای Google می‌بینند.
در زیرپوشش، ساختار ذخیره‌سازی که موتورهای جستجو معمولاً از آن استفاده میکنند فهرس معکوس است. همان‌طور که در یک بررسی فنی توسط GeeksforGeeks منتشر شده توضیح داده شده، فهرس معکوس رابطه معمول سند-به-کلمه را برعکس میکند: بهجای فهرستکردن کدام کلمات در کدام سند هستند، برای هر کلمه، اسناد را که آن را شامل می‌شوند فهرست میکند. ساخت یکی شامل شکستن متن به عبارات منفرد (tokenizing)، حذف کلمات حشو رایج و نرمال‌سازی متغیرهای کلمه قبل از ثبت جایی که هر عبارت ظاهر میشود. این ساختار اجازه میدهد به موتور جستجو برای رفتن مستقیم به اسناد مرتبط برای یک پرسوجو بهجای اسکن کل وب خط به خط، که بررسی GeeksforGeeks آن را بهعنوان غیرعملی آهسته توصیف میکند پس از بزرگ‌شدن مجموعه اسناد.
رتبهبندی: ترتیب نتایج برای یک پرسوجو
رتبهبندی در لحظه‌ای است که کسی جستجو میکند. اسناد Google می‌گوید که از تمام صفحات نمایهسازی شده‌ای که با یک پرسوجو مطابقت دارند، سیستم آنها را بر اساس ربط ترتیب میدهد، و ربط توسط آنچه آن را 'صدها عامل' توصیف میکند تعیین میشود، که می‌تواند شامل سیگنالهایی مانند موقعیت کاربر، زبان و دستگاه باشد. Google همچنین بهطور صریح بیان میکند که برای رتبهبندی بالاتر صفحات ارگانیک پرداختی قبول نمی‌کند و رتبهبندی به‌صورت برنامه‌ای انجام میشود.
یکی از اولین و بهترین‌اسناد‌شده سیگنال‌های رتبهبندی PageRank است، توسط بنیانگذاران Google Larry Page و Sergey Brin در دانشگاه Stanford در 1997 ایجاد شد و اولین بار بهعنوان پتنت در ژانویه 1998 ثبت شد، طبق تاریخی که توسط شرکت تجزیه SEO Ahrefs تهیه شده. PageRank هر ابرپیوند به صفحهای را بهعنوان یک رای اعتماد تعامل میکند، با ارزش هر رای توسط اقتدار صفحه پیوند‌دهنده وزن‌دار میشود. فرمول اصلی شامل عامل میرایی 0.85 بود، که برای مدل‌سازی احتمالات کاهش‌یافته منظور شده بود که کاربر کلیک را ادامه میدهد از هر چه دورتر از صفحه شروع می‌شوند.
بررسی Ahrefs توجه میدهد که PageRank دیگر یک نمره مستقل نیست — دسترسی عمومی از طریق نوار ابزار Google در 2016 خاتمه یافت — اما Gary Illyes از Google گفته که پیوندها هنوز در سیگنال‌های اقتدار گسترده‌تری که شرکت زیر E-E-A-T گروه‌بندی میکند (تجربه، تخصص، اقتدار، قابل‌اعتماد‌بودن) تغذیه میکنند. Google همچنین به سمت مدل surfer منطقی حرکت کرده است که برخی پیوندها را بیشتر از دیگری بر اساس احتمال کلیک بازدیدکننده واقعی بر آنها وزن میدهد، بهجای تقسیم اقتدار بهطور یکسان در تمام پیوندها روی یک صفحه.
چرا صفحات می‌توانند خزش شوند اما هنوز هم در جستجو نامرئی باقی‌اند
سه مرحله یک منبع اشتباه‌فهمی رایج را برای صاحبان سایت توضیح می‌دهند: خزش صفحه به معنای نمایهسازی آن نیست، و نمایهسازی تضمین رتبهبندی بالا نیست. راهنمای Google درباره این محدودیت صریح است، بیان میکند که نمی‌تواند تضمین بدهد که صفحه معینی خزش شود، نمایهسازی شود یا ارائه داده شود، حتی زمانی که سایتی از راهنمایی‌های منتشر‌شده Google پیروی کند.
| مرحله | آنچه اتفاق می‌افتد | جزئیات کلیدی منبع‌شده |
|---|---|---|
| خزش | بات‌ها صفحات را کشف و واکشی میکنند از طریق پیوندها، نقشه‌ها و بازدید‌های قبلی | Googlebot درخواست‌ها را تا تقریباً هر چند ثانیه برای هر سایت کنترل میکند و robots.txt را می‌پذیرد (Google Search Central) |
| نمایهسازی | محتوا تجزیه‌شده، صفحات تقریباً تکراری گروه‌بندی و صفحات در پایگاه داده ذخیره می‌شوند | ذخیره‌سازی معمولاً از فهرس معکوس استفاده میکند که کلمات را به اسناد حاوی آنها نقشه میکند (GeeksforGeeks) |
| رتبهبندی | صفحات نمایهسازیشده برای یک پرسوجو خاص ترتیب داده می‌شوند | Google می‌گوید ربط بستگی به 'صدها عامل' دارد; PageRank (1997) یکی از اولین سیگنال‌های مبتنیبر پیوند بود (Ahrefs) |
پرسش‌ها
- سه مرحله اصلی که موتورهای جستجو استفاده میکنند چیست؟
- خزش (کشف صفحات)، نمایهسازی (تجزیه و ذخیره آنها) و رتبهبندی (ترتیب صفحات نمایهسازیشده برای یک پرسوجو خاص)، طبق اسناد توسعهدهنده Google.
- آیا خزش صفحه به معنای آن است که در نتایج جستجو ظاهر میشود؟
- نه. اسناد Google بیان میکند که خزش تضمین نمایهسازی نیست، و نمایهسازی تضمین نمیدهد که صفحهای برای هر پرسوجوی خاصی ارائه داده شود.
- PageRank چیست و آیا هنوز استفاده میشود؟
- PageRank یک روش رتبهبندی مبتنیبر پیوند است که توسط Larry Page و Sergey Brin در 1997 ایجاد شد که پیوندها را بهعنوان رایهای اقتدار تعامل میکند؛ طبق Ahrefs، هنوز بهعنوان یکی از بسیاری سیگنالهایی که Google استفاده میکند عمل میکند، هرچند نمره نوار ابزار عمومی آن در 2016 بازنشسته شد.
- فهرس معکوس چیست؟
- این یک ساختار داده است که هر کلمه را به لیست اسناد حاوی آن نقشه میکند، بهجای فهرستکردن کدام کلمات در کدام سند هستند، که اجازه میدهد به موتور جستجو برای بازیافت صفحات منطبق بهسرعت بهجای اسکن هر سند، طبق بررسی فنی GeeksforGeeks.
- چگونه Googlebot تصمیم میگیرد چند بار سایت را خزش کند؟
- اسناد Google بیان میکند که فرکانس خزش بهطور الگوریتمی تنظیم میشود و برای اکثر سایتها، Googlebot معمولاً سایت را تا حدود هر چند ثانیه یکبار بازدید میکند، در حالی که قوانین robots.txt را نیز رعایت میکند.
منابع
این مطلب با هوش مصنوعی آماده شده و پیش از انتشار از بررسی خودکار منابع گذشته است. اگر خطایی دیدید، درخواست اصلاح کنید. درخواست اصلاح یا حق پاسخ · چگونه کار می‌کنیم
مطالب مرتبط
فناوریخبر
فیلم مستند NAZA درباره هدفگیری با هوش مصنوعی در غزه واکنش سیاسی در اسرائیل برانگیزاند و در 500 سالن سینما فرانسه نمایش می‌یابد
NAZA، فیلم مستند ساخته سینماگران اسرائیلی یوفال ابراهام و ریچل سزور درباره استفاده از هوش مصنوعی در هدفگیری نظامی اسرائیل در غزه، جایزهٔ ویژهٔ هیئتِ داوران جشنوارهٔ فیلم ونیز ۲۰۲۶ را به دست آورد و واکنش خصمانهٔ دولت اسرائیل را برانگیخت، از جمله تهدیدهایی برای سلب تابعیت کارگردانان. این فیلم ۸۰ دقیقه‌ای در ۵۰۰ سالن سینمای فرانسه در ۱۲-۱۳ اکتبر ۲۰۲۶ نمایش یافت و قرار است در نوامبر از طریق The Guardian بهطور رایگان پخش شود.
فناوریمقاله
تمدید جو روگان با اسپاتیفای نشان‌دهندۀ تغییر قدرت پادکست به سوی خالقین است
اسپاتیفای و جو روگان در ۸ اکتبر ۲۰۲۶ یک توافق مجوزدهی چند‌سال‌مدت جدید را اعلام کردند، شش سال پس از توافق اصلی‌شان در سال ۲۰۲۰ — اما این‌بار بدون انحصار، که به «تجربۀ جو روگان» اجازه میدهد در چندین پلتفرم بهطور هم‌زمان پخش شود. تمدید، که توسط وال‌استریت‌ژورنال تقریباً ۲۵۰ میلیون دلار گزارش شده، تحول گسترده‌تری در صنعت را نشان‌می‌دهد: پلتفرم‌ها بهطور فزاینده برنامه‌های متعلق به خالقین را مجوزدهی و توزیع میکنند تا اینکه آنها را در قراردادهای انحصاری قفل کنند.
فناوریخبر
ASOS تصدیق میکند نقض داده‌ها را پس از اینکه هکرها برنامه را کنترل کردند تا هشدار "ASOS هک شد" را فرستادند
شرکت خردفروشی آنلاین پوشاک بریتانیایی ASOS تصدیق کرد که هکرها به پلتفرمی از طرف سوم مرتبط با برنامهٔ موبایلی‌اش دسترسی پیدا کردند و اطلاعات شخصیِ مشتریان از جمله نام‌ها، آدرس‌ها، شماره‌های تلفن و آدرس‌های الکترونیکی را به دست آوردند. شرکت می‌گوید که رمزهای عبور و اطلاعات کامل کارت‌های پرداخت تحت تأثیر قرار نگرفتند، اما گروهی که خود را Xuanye Group می‌نامند بعداً نمونهٔ بزرگتری از داده‌ها را با خبرنگاران به اشتراک گذاشتند.
فناوریمقاله
نحوهٔ کار Muse ایجنت هوش مصنوعی Meta: معماری، امنیت و راه‌اندازی توضیح‌داده‌شده
Muse از Meta یک سیستم هوش مصنوعی "عاملانه" است که به نام کاربر عمل میکند — رزرو سفر، پرکردن فرم‌ها و ارسال ایمیل‌ها — نه تنها پاسخ‌دادن به سؤالات. این سیستم عامل هر کاربر را درون یک ماشین مجازی منزوی اجرا میکند و هر اقدام خارجی را از طریق سیستم اجازه جدای به‌نام Sentinel هدایت میکند، بر‌اساس وبلاگ فنی خود Meta. این سیستم به‌صورت عمومی در 8 سپتامبر 2026 راه‌اندازی شد، پس‌ازآن‌که نگرانی‌های امنیتی داخلی در‌طول آزمایش مطرح شده بود، بر‌اساس گزارش‌های نیویورک تایمز همان‌طور که توسط دیگر رسانه‌ها پوشش‌داده شد.