تلاش کے انجن کیسے کام کرتے ہیں: کریولنگ، انڈیکسنگ اور رینکنگ کی تشریح

تلاش کے ڈبے میں کوئی سوال ٹائپ کرنا اور سیکنڈ کے ایک حصے میں جوابات حاصل کرنا فوری محسوس ہوتا ہے، لیکن یہ تین الگ الگ عمل پر منحصر ہے جو سوال ٹائپ کیے جانے سے بہت پہلے ہوتے ہیں: کریولنگ، انڈیکسنگ اور رینکنگ۔ گوگل اپنی ڈویلپر دستاویزات میں اس تین مرحلہ ماڈل کی تفصیل دیتا ہے، اور یہی بنیادی ڈھانچہ دوسرے تلاش کے انجنوں کی بنیاد ہے۔

کریولنگ: ویب پر صفحات کی تلاش

کریولنگ دریافت کا مرحلہ ہے۔ گوگل کی ڈویلپر گائیڈ کے مطابق، خودکار پروگرام جنہیں کریولرز کہا جاتا ہے — گوگل کا نام Googlebot ہے — نئے یا اپڈیٹ شدہ صفحات کو بنیادی طور پر تین طریقوں سے تلاش کرتے ہیں: جو صفحات وہ پہلے سے جانتے ہیں انہیں دوبارہ دیکھنا، ایک صفحے سے دوسرے صفحے تک ہائپر لنکس کی پیروی کرنا، اور سائٹ مپ فائلوں کو پڑھنا جو سائٹ کے مالکین براہ راست تلاش کے انجن کو جمع کرتے ہیں۔

گوگل کی دستاویزات میں نوٹ کیا گیا ہے کہ Googlebot کا ایک موبائل اور ڈیسک ٹاپ ورژن ہے، اور یہ کہ اب کریول درخواستوں کی اکثریت موبائل کریولر سے آتی ہے کیونکہ گوگل بنیادی طور پر صفحے کے موبائل ورژن کو انڈیکس کرتا ہے۔ کریولرز صفحات کو Chrome براؤزر کے حالیہ ورژن کے ذریعے بھی رینڈر کرتے ہیں تاکہ وہ JavaScript کو چلا سکیں، کیونکہ بہت سی سائٹس سادہ HTML کے طور پر محتوی فراہم کرنے کی بجائے اسے متحرک طریقے سے لوڈ کرتی ہیں۔

کریولرز سب کچھ بے تفریق حاصل نہیں کرتے۔ گوگل کی گائیڈ بتاتی ہے کہ Googlebot کی کریول درخواستیں الگورتھمی طریقے سے تھروٹل ہوتی ہیں، اکثر سائٹس کو اوسطاً ہر کچھ سیکنڈ میں صرف ایک بار رسائی ملتی ہے، اور Googlebot سائٹ کے مالکین کے ذریعے robots.txt فائل میں مقرر کردہ اصول کی پیروی کرتا ہے۔ فیچز سائز میں بھی محدود ہیں: زیادہ تر فائل اقسام کے لیے 2MB تک اور PDFs کے لیے 64MB تک، جس کے بعد Googlebot ڈاؤن لوڈ بند کر دیتا ہے اور اس حصے کے ساتھ کام کرتا ہے جو وہ پہلے سے حاصل کر چکا ہے۔

انڈیکسنگ: جو تلاش میں آیا اسے ترتیب دینا

ایک بار صفحہ حاصل ہونے کے بعد، تلاش کے انجن کو یہ فیصلہ کرنا ہوتا ہے کہ یہ کیا ہے اور آیا یہ محفوظ کرنے کے قابل ہے۔ گوگل کی دستاویزات اسے متن، تصاویر اور ویڈیو کے مواد کا تجزیہ کرنے، عنوان ٹیگز اور تصویر کی alt صفات جیسے HTML عناصر کو پڑھنے، اور canonicalization لاگو کرنے کے طور پر بیان کرتی ہے — قریب قریب نقل شدہ صفحات کو گروپ کرنا اور نتائج میں دکھانے کے لیے ایک نمائندہ ورژن منتخب کرنا۔

اہم بات یہ ہے کہ گوگل کہتا ہے کہ صفحے کو کریول کرنا انڈیکس کیے جانے کی ضمانت نہیں دیتا: صفحات کم مواد کی کوالٹی، انڈیکسنگ کو روکنے والی robots meta tag، یا سائٹ کے تکنیکی مسائل کی وجہ سے استثنیٰ ہو سکتے ہیں۔ یہ تکنیکی بنیاد ہے 'Crawled – currently not indexed' کی حالت کے لیے جو سائٹ کے مالکین کبھی کبھی گوگل کے ٹولز میں دیکھتے ہیں۔

پردے کے پیچھے، تلاش کے انجن جو ڈیٹا بیس کا ڈھانچہ استعمال کرتے ہیں وہ عام طور پر ایک الٹا انڈیکس ہے۔ جیسا کہ GeeksforGeeks کے ذریعے شائع کردہ تکنیکی جائزے میں وضاحت کی گئی ہے، ایک الٹا انڈیکس معمول کے دستاویز سے لفظ کے رشتے کو الٹا دیتا ہے: ہر لفظ میں کون سی دستاویزات موجود ہیں اس کی فہرست دینے کی بجائے، یہ ہر لفظ کے لیے درج کرتا ہے کہ کون سی دستاویزات اس میں موجود ہیں۔ ایک بنانے میں متن کو انفرادی شرائط میں توڑنا (tokenizing)، عام فلر الفاظ کو ہٹانا، اور ہر شرط کہاں ظاہر ہوتی ہے اس سے پہلے لفظ کی قسمیں معمول بنانا شامل ہے۔ یہ ڈھانچہ تلاش کے انجن کو سوال کے لیے متعلقہ دستاویزات میں سیدھے جانے دیتا ہے بجائے اس کے پورے ویب کو لائن سے لائن سکیننگ کریں، جسے GeeksforGeeks کا جائزہ ناقابل عمل طریقے سے سست بیان کرتا ہے ایک بار دستاویزات کا مجموعہ بڑا ہو جائے۔

رینکنگ: کسی سوال کے نتائج کو ترتیب دینا

رینکنگ اس وقت ہوتی ہے جب کوئی تلاش کرتا ہے۔ گوگل کی دستاویزات کہتی ہے کہ تمام انڈیکس شدہ صفحات جو سوال سے ملتے ہیں، سسٹم انہیں متعلقہ کے حساب سے ترتیب دیتا ہے، اور متعلقہ ہونا اس سے طے ہوتا ہے جسے یہ 'سیکڑوں عوامل' کہتا ہے، جس میں صارف کی جگہ، زبان اور ڈیوائس جیسی علامات شامل ہو سکتی ہیں۔ گوگل یہ بھی واضح طور پر بتاتا ہے کہ یہ نامیاتی صفحات کو اعلیٰ درجہ دینے کے لیے ادائیگی قبول نہیں کرتا اور درجہ بندی پروگرام کے ذریعے کی جاتی ہے۔

سب سے پہلی اور بہترین دستاویز شدہ درجہ بندی کی علامات میں سے ایک PageRank ہے، جس کو گوگل کے بانیوں Larry Page اور Sergey Brin نے Stanford University میں 1997 میں بنایا تھا اور پہلی بار جنوری 1998 میں پیٹنٹ کے لیے درخواست دی تھی، جیسا کہ SEO analytics فرم Ahrefs کے ذریعے مرتب کردہ تاریخ سے ہے۔ PageRank ہر ہائپر لنک کو صفحے کے ایک ووٹ کے طور پر سلوک کرتا ہے، ہر ووٹ کی قدر لنک کرنے والے صفحے کے اختیار سے وزنی ہے۔ اصل فارمولہ میں 0.85 کا damping factor شامل تھا، جس کا مقصد صارف کے ایک شروعات والے صفحے سے جتنے آگے لنکس پر کلک کرتا رہتا ہے اس کی کم ہوتی ہوئی امکال کو ماڈل کرنا تھا۔

Ahrefs کے جائزے میں نوٹ کیا گیا ہے کہ PageRank اب ایک الگ اسکور نہیں ہے — Google کے ٹول بار کے ذریعے عوامی رسائی 2016 میں ختم ہو گئی — لیکن گوگل کے اپنے Gary Illyes نے کہا ہے کہ لنکس ابھی بھی وسیع تر اختیار کی علامات میں کھانا ہیں جو کمپنی E-E-A-T (تجربہ، مہارت، اختیار، قابلِ اعتماد) کے نام سے گروپ کرتا ہے۔ گوگل نے reasonable-surfer ماڈل کی طرف بھی پیش قدمی کی ہے جو کچھ لنکس کو دوسروں سے زیادہ وزن دیتا ہے اس کی بنیاد پر کہ حقیقی زائر انہیں کلک کرنے کا کتنا امکال رکھتے ہیں، بجائے صفحے پر ہر لنک میں اختیار برابری سے تقسیم کریں۔

صفحات کریول کیے جا سکتے ہیں لیکن پھر بھی تلاش میں غیر نظر آنے والے کیوں ہیں

یہ تین مراحل سائٹ کے مالکین کے لیے الجھن کے ایک عام ذریعے کی وضاحت کرتے ہیں: کریول کیا جانا اس کا مطلب یہ نہیں ہے کہ یہ انڈیکس ہے، اور انڈیکس کیا جانا اعلیٰ درجہ بندی کی ضمانت نہیں دیتا۔ گوگل کی گائیڈ اس حدود کے بارے میں براہ راست ہے، یہ بتاتے ہوئے کہ یہ ضمانت نہیں دے سکتا کہ کسی صفحے کو کریول کیا جائے، انڈیکس کیا جائے، یا اسے پیش کیا جائے، یہاں تک کہ جب کوئی سائٹ گوگل کی شائع کردہ گائیڈ لائنز پر عمل کرے۔