आपको कौन से यूआरएल नहीं भेजने चाहिए?

सभी पेज इंडेक्स करने लायक नहीं होते। यदि कोई यूआरएल तकनीकी रूप से समस्याग्रस्त है, सर्च इंजन द्वारा अवरुद्ध है, या उपयोगकर्ता के लिए कोई मूल्य प्रदान नहीं करता है, तो सर्च इंजन क्रॉलर इसे अनदेखा कर सकता है, और कुछ मामलों में, यह सर्च इंजन की नज़र में साइट की समग्र गुणवत्ता पर नकारात्मक प्रभाव डाल सकता है।

इसलिए, बड़ी संख्या में यूआरएल भेजने से पहले, यह सुनिश्चित करना उचित है कि पृष्ठ वास्तव में इंडेक्सिंग के लिए तैयार हैं और खोज में उपयोगी हो सकते हैं।

निम्नलिखित चीजें भेजना उचित नहीं है:

• robots.txt में बंद किए गए पृष्ठ;

• नोइंडेक्स मेटा टैग वाला यूआरएल;

• ऐसे पृष्ठ जिनमें 4xx या 5xx त्रुटियां हों;

• टूटे हुए या मौजूद न होने वाले यूआरएल;

• बिना सामग्री वाले खाली पृष्ठ;

• डुप्लिकेट और लगभग एक जैसे पृष्ठ;

• स्वचालित रूप से उत्पन्न अपशिष्ट पृष्ठ;

• अस्थायी, परीक्षण या तकनीकी यूआरएल;

• प्राधिकरण पृष्ठ, शॉपिंग कार्ट, व्यक्तिगत खाते;

• निजी या गोपनीय जानकारी वाले यूआरएल;

• वे पृष्ठ जो खोज परिणामों में नहीं दिखने चाहिए।

कम गुणवत्ता वाले एसईओ पेज, प्रवेश द्वार पेज और उपयोगकर्ताओं के लिए वास्तविक मूल्य के बिना स्वचालित रूप से उत्पन्न सामग्री को बड़े पैमाने पर सबमिट करने से बचना भी उचित है। खोज इंजन ऐसे पेजों की पहचान करने में तेजी से निपुण होते जा रहे हैं और वे उन्हें अनदेखा कर सकते हैं या उनकी साइट इंडेक्सिंग को सीमित कर सकते हैं।

यूआरएल की तकनीकी स्थिति पर विशेष ध्यान दें। बड़ी सूचियाँ अपलोड करने से पहले, निम्नलिखित की जाँच करने की सलाह दी जाती है:

• HTTP स्टेटस की शुद्धता;

• चक्रीय पुनर्निर्देशन का अभाव;

• सर्च बॉट्स के लिए पेज की पहुंच;

• प्रामाणिक की उपस्थिति;

• आकस्मिक नोइंडेक्स की अनुपस्थिति;

• सर्वर की प्रतिक्रिया गति;

• विषयवस्तु की विशिष्टता;

• सही आंतरिक लिंकिंग।

यूआरएल की सूची जितनी साफ-सुथरी और बेहतर होगी, सफल और तेजी से इंडेक्सिंग की संभावना उतनी ही अधिक होगी।

सीधे शब्दों में कहें तो, इंडेक्सिंग सेवाओं का उपयोग वास्तव में उपयोगी, सुलभ और खोज के लिए तैयार पेजों के लिए ही सबसे अच्छा होता है। तकनीकी जानकारी, डुप्लिकेट और बंद यूआरएल सबमिट करने से आमतौर पर कोई लाभ नहीं होता और इससे केवल सर्च इंजनों का क्रॉल बजट ही बर्बाद होता है।