खोज इंजन कैसे काम करते हैं: क्रॉलिंग, इंडेक्सिंग और रैंकिंग की व्याख्या

खोज बॉक्स में कोई प्रश्न टाइप करना और एक सेकंड के अंश में उत्तर प्राप्त करना तुरंत प्रतीत होता है, लेकिन यह तीन अलग-अलग प्रक्रियाओं पर निर्भर करता है जो प्रश्न टाइप करने से बहुत पहले होती हैं: क्रॉलिंग, इंडेक्सिंग और रैंकिंग। गूगल अपने डेवलपर दस्तावेज में इस तीन-चरणीय मॉडल को रेखांकित करता है, और समान बुनियादी ढांचा अन्य खोज इंजनों को भी अंतर्निहित है।

क्रॉलिंग: वेब पर पृष्ठ खोजना

क्रॉलिंग खोज चरण है। गूगल के डेवलपर गाइड के अनुसार, क्रॉलर नामक स्वचालित प्रोग्राम — गूगल का नाम Googlebot है — मुख्य रूप से तीन मार्गों से नए या अपडेट किए गए पृष्ठ खोजते हैं: जिन पृष्ठों को वे पहले से जानते हैं उन्हें फिर से देखना, एक पृष्ठ से दूसरे पृष्ठ तक हाइपरलिंक का पालन करना, और साइटमैप फ़ाइलों को पढ़ना जो साइट के मालिक सीधे खोज इंजन को जमा करते हैं।

गूगल के दस्तावेज़ों में ध्यान दिया गया है कि Googlebot एक मोबाइल और एक डेस्कटॉप संस्करण आता है, और यह कि क्रॉल अनुरोध अब मुख्य रूप से मोबाइल क्रॉलर से आते हैं क्योंकि गूगल मुख्य रूप से किसी पृष्ठ के मोबाइल संस्करण को इंडेक्स करता है। क्रॉलर Chrome ब्राउज़र के हाल के संस्करण का उपयोग करके पृष्ठों को भी प्रस्तुत करते हैं ताकि वे JavaScript को निष्पादित कर सकें, क्योंकि कई साइटें सामान्य HTML के रूप में कंटेंट की सेवा देने के बजाय इसे गतिशील रूप से लोड करती हैं।

क्रॉलर सब कुछ अंधाधुंध नहीं लाते हैं। गूगल के गाइड में कहा गया है कि Googlebot के क्रॉल अनुरोध एल्गोरिदम रूप से थ्रॉटल किए जाते हैं, अधिकांश साइटों को आमतौर पर औसतन हर कुछ सेकंड में लगभग एक बार एक्सेस किया जाता है, और Googlebot साइट मालिकों द्वारा robots.txt फ़ाइल में सेट किए गए नियमों का सम्मान करता है। फेच सीमा सेट भी हैं: अधिकांश फ़ाइल प्रकारों के लिए 2MB तक और PDF के लिए 64MB तक, जिसके बाद Googlebot डाउनलोड बंद कर देता है और जो कुछ पहले से ही प्राप्त कर चुका है उसके साथ काम करता है।

इंडेक्सिंग: जो पाया गया उसे व्यवस्थित करना

एक बार पृष्ठ प्राप्त हो जाने के बाद, खोज इंजन को यह तय करना होता है कि यह क्या है और क्या यह संग्रहीत करने योग्य है। गूगल के दस्तावेज़ इसे पाठ, छवियों और वीडियो सामग्री का विश्लेषण करने, HTML तत्वों जैसे शीर्षक टैग और छवि alt विशेषताओं को पढ़ने, और canonicalization लागू करने के रूप में वर्णित करते हैं — समान पृष्ठों को समूहीकृत करना और परिणामों में दिखाने के लिए एक प्रतिनिधि संस्करण का चयन करना।

महत्वपूर्ण रूप से, गूगल कहता है कि किसी पृष्ठ को क्रॉल करना इंडेक्स किए जाने की गारंटी नहीं देता है: पृष्ठों को कम सामग्री गुणवत्ता, इंडेक्सिंग को अवरुद्ध करने वाली robots meta tag, या साइट की तकनीकी समस्याओं के कारण बाहर रखा जा सकता है। यह तकनीकी आधार है 'Crawled – currently not indexed' स्थिति के लिए जो साइट मालिक कभी-कभी गूगल के उपकरणों में देखते हैं।

पर्दे के पीछे, खोज इंजन जो भंडारण संरचना का उपयोग करते हैं वह आमतौर पर एक inverted index है। जैसा कि GeeksforGeeks द्वारा प्रकाशित एक तकनीकी सारांश में समझाया गया है, एक inverted index सामान्य दस्तावेज़-से-शब्द संबंध को उलट देता है: यह कहता है कि प्रत्येक दस्तावेज़ में कौन से शब्द हैं, यह दर्ज करता है कि प्रत्येक शब्द के लिए कौन सी दस्तावेजें इसे शामिल करती हैं। एक बनाने में पाठ को व्यक्तिगत शब्दों में तोड़ना (tokenizing), सामान्य फ़िलर शब्दों को हटाना, और शब्द वेरिएंट को सामान्य करना शामिल है इससे पहले कि प्रत्येक शब्द दिखाई दे। यह संरचना एक खोज इंजन को सीधे किसी क्वेरी के लिए प्रासंगिक दस्तावेज़ों को कूद करने देती है बजाय पूरे वेब को लाइन दर लाइन स्कैन करने के, जिसे GeeksforGeeks सारांश अव्यावहारिक रूप से धीमा बताता है एक बार दस्तावेज़ों का संग्रह बड़ा हो जाता है।

रैंकिंग: एक क्वेरी के लिए परिणाम क्रम में व्यवस्थित करना

रैंकिंग तब होती है जब कोई खोज करता है। गूगल के दस्तावेज़ कहते हैं कि सभी अनुक्रमित पृष्ठ जो एक क्वेरी से मेल खाते हैं, सिस्टम उन्हें प्रासंगिकता के अनुसार क्रम में व्यवस्थित करता है, और प्रासंगिकता को इसके द्वारा निर्धारित किया जाता है जिसे यह 'सैकड़ों कारक' कहता है, जिसमें उपयोगकर्ता के स्थान, भाषा और डिवाइस जैसे संकेत शामिल हो सकते हैं। गूगल यह भी स्पष्ट रूप से कहता है कि यह जैविक पृष्ठों को उच्च रैंक देने के लिए भुगतान नहीं करता है और रैंकिंग प्रोग्रामेटिक रूप से की जाती है।

सबसे पहले और सबसे अच्छी तरह से दस्तावेज़ की गई रैंकिंग सिग्नल में से एक PageRank है, जिसे गूगल के सह-संस्थापकों Larry Page और Sergey Brin द्वारा Stanford University में 1997 में बनाया गया था और पहली बार जनवरी 1998 में पेटेंट के रूप में दाखिल किया गया था, SEO विश्लेषण फर्म Ahrefs द्वारा संकलित एक इतिहास के अनुसार। PageRank किसी पृष्ठ पर प्रत्येक हाइपरलिंक को विश्वास वोट के रूप में मानता है, प्रत्येक वोट की मूल्य को लिंकिंग पृष्ठ के प्राधिकार द्वारा भारित किया जाता है। मूल सूत्र में 0.85 का damping factor शामिल था, जिसका मतलब एक उपयोगकर्ता द्वारा लिंक पर क्लिक करते रहने की घटती संभावना को मॉडल करना था जो वे एक शुरुआती पृष्ठ से हैं।

Ahrefs के सारांश में ध्यान दिया गया है कि PageRank अब एक अलग स्कोर नहीं है — गूगल के टूलबार के माध्यम से सार्वजनिक पहुंच 2016 में समाप्त हुई — लेकिन गूगल के स्वयं के Gary Illyes ने कहा है कि लिंक अभी भी व्यापक प्राधिकार संकेतों में खिलाते हैं जिन्हें कंपनी E-E-A-T (अनुभव, विशेषज्ञता, प्राधिकार, विश्वसनीयता) के तहत समूहीकृत करती है। गूगल ने एक reasonable-surfer मॉडल की ओर भी रुख किया है जो कुछ लिंकों को दूसरों की तुलना में अधिक वजन देता है जो यह कहता है कि एक वास्तविक आगंतुक उन पर क्लिक करने की कितनी संभावना रखते हैं, बजाय एक पृष्ठ पर हर लिंक में प्राधिकार को समान रूप से विभाजित करना।

पृष्ठ क्रॉल किए जा सकते हैं लेकिन फिर भी खोज में अदृश्य क्यों हैं

ये तीनों चरण साइट मालिकों के लिए भ्रम के एक सामान्य स्रोत की व्याख्या करते हैं: क्रॉल किए जाने का मतलब यह नहीं है कि यह अनुक्रमित है, और अनुक्रमित होने का मतलब उच्च रैंकिंग की गारंटी नहीं है। गूगल का गाइड इस सीमा के बारे में सीधा है, यह बताते हुए कि यह गारंटी नहीं दे सकता है कि एक पृष्ठ क्रॉल किया जाए, अनुक्रमित किया जाए, या प्रदान किया जाए, भले ही कोई साइट गूगल के प्रकाशित दिशानिर्देशों का पालन करता है।