क्रॉलिंग क्या है और इसका इंडेक्सिंग से क्या संबंध है?

क्रॉलिंग एक ऐसी प्रक्रिया है जिसमें सर्च इंजन रोबोट (क्रॉलर), जैसे कि गूगलबॉट और अन्य सर्च इंजनों द्वारा उपयोग किए जाने वाले समान बॉट, वेब पेजों को स्वचालित रूप से क्रॉल करते हैं। क्रॉलिंग के दौरान, रोबोट वेबसाइट के पेजों पर जाता है, उनकी सामग्री डाउनलोड करता है और उनकी संरचना और लिंक का विश्लेषण करता है।

रेंगना कैसे काम करता है?

खोज रोबोट ज्ञात पृष्ठों से शुरू होता है और आंतरिक और बाहरी लिंक का अनुसरण करते हुए धीरे-धीरे नए यूआरएल खोजता है। इस प्रक्रिया के दौरान, यह पृष्ठों की सामग्री, उनकी तकनीकी स्थिति और उनके बीच के संबंधों के बारे में जानकारी एकत्र करता है।

क्रॉलिंग के मुख्य कार्य नए पेज खोजना, मौजूदा पेजों के बारे में जानकारी अपडेट करना और साइट पर होने वाले परिवर्तनों की पहचान करना है।

क्रॉलिंग और इंडेक्सिंग के बीच संबंध

क्रॉलिंग और इंडेक्सिंग, सर्च इंजन द्वारा पेज प्रोसेसिंग के दो क्रमिक लेकिन अलग-अलग चरण हैं।

क्रॉलिंग किसी पृष्ठ को खोजने और स्कैन करने की प्रक्रिया है।

इंडेक्सिंग वह प्रक्रिया है जिसके द्वारा किसी पेज को सर्च इंजन के डेटाबेस में जोड़ा जाता है ताकि वह खोज परिणामों में दिखाई दे सके।

रोबोट द्वारा पेज को स्कैन करने के बाद, सर्च इंजन यह तय करता है कि उसे इंडेक्स में शामिल किया जाए या नहीं। यदि पेज गुणवत्ता संबंधी आवश्यकताओं को पूरा करता है, तो उसे इंडेक्स किया जाता है और वह खोज के लिए उपलब्ध हो जाता है।

कोई पेज क्रॉल तो हो सकता है लेकिन इंडेक्स क्यों नहीं होता?

क्रॉल किए गए सभी पेज इंडेक्स नहीं किए जाते हैं। इसके कारणों में निम्न-गुणवत्ता वाली सामग्री, डुप्लिकेट सामग्री, तकनीकी सीमाएँ, robots.txt या मेटा टैग में प्रतिबंध, या उपयोगकर्ताओं के लिए पेज का अपर्याप्त महत्व शामिल हो सकता है।

परिणाम

क्रॉलिंग वेब पेजों को खोजने और उनका विश्लेषण करने की प्रक्रिया है, जबकि इंडेक्सिंग उन्हें खोज परिणामों में शामिल करने की प्रक्रिया है। ये दोनों प्रक्रियाएं आपस में closely related हैं, लेकिन एक जैसी नहीं हैं: पहले, एक रोबोट पेज को खोजता और स्कैन करता है, और उसके बाद ही सर्च इंजन यह तय करता है कि उसे खोज परिणामों में दिखाया जाएगा या नहीं।