साइटमैप URL एक्सट्रैक्टर
साइटमैप URL एक्सट्रैक्टर का उपयोग कैसे करें
- 1
अपना sitemap दें
अपने sitemap का कच्चा XML, XML बॉक्स में पेस्ट करें, या इसे अपने आप फ़ेच करने के लिए एक sitemap URL दर्ज करें।
- 2
URL निकालें
पेस्ट किए XML के लिए 'Extract URLs' पर क्लिक करें, या किसी URL से sitemap डाउनलोड व पार्स करने के लिए 'Fetch and Extract' पर।
- 3
नतीजों की समीक्षा करें
<loc> टैग के अंदर मिला हर लिंक कुल गिनती के साथ नतीजों के क्षेत्र में सूचीबद्ध होता है।
- 4
कॉपी करें या डाउनलोड करें
निकाली गई URL सूची सहेजने के लिए 'Copy to Clipboard' या 'Download as Text File' का इस्तेमाल करें।
XML साइटमैप के साथ काम करना: निष्कर्षण और ऑडिटिंग
XML साइटमैप क्या होता है
XML साइटमैप एक संरचित फ़ाइल है जो उन URL को सूचीबद्ध करती है जिनके बारे में आप चाहते हैं कि सर्च इंजन को पता हो; ये सब एक urlset एलिमेंट में लिपटे होते हैं, जहाँ हर पेज एक url प्रविष्टि होती है। हर प्रविष्टि का एकमात्र अनिवार्य चाइल्ड loc टैग है, जिसमें पेज का पूर्ण (absolute) URL रहता है; lastmod, changefreq और priority जैसे वैकल्पिक टैग ताज़गी और महत्व के बारे में संकेत देते हैं। सर्च इंजन साइटमैप को एक खोज-सहायक और सुझावों के समूह की तरह मानते हैं, आदेशों की तरह नहीं, इसलिए किसी URL को सूचीबद्ध करना उसे क्रॉल या इंडेक्स होने के लिए बाध्य नहीं करता, लेकिन इससे वह URL ढूँढना ज़रूर बहुत आसान हो जाता है।
चूँकि हर असली URL loc टैग के अंदर ही रहता है, सभी loc टैग की सामग्री निकालने से आपको उन पेजों की एक साफ़, पूरी सूची मिल जाती है जिन्हें कोई साइट सर्च इंजन के सामने पेश कर रही है। यही सूची तरह-तरह के SEO और माइग्रेशन कामों का शुरुआती बिंदु होती है, और बिलकुल यही चीज़ यह एक्सट्रैक्टर बनाकर देता है।
साइटमैप इंडेक्स फ़ाइलें और नेस्टेड साइटमैप
बड़ी साइटें शायद ही कभी एक अकेली सपाट साइटमैप का इस्तेमाल करती हैं। इसके बजाय वे एक साइटमैप इंडेक्स फ़ाइल का इस्तेमाल करती हैं — एक sitemapindex एलिमेंट जिसकी हर प्रविष्टि किसी पेज की नहीं, बल्कि किसी दूसरी साइटमैप फ़ाइल की ओर इशारा करती है। एक आम व्यवस्था में एक इंडेक्स हो सकता है जो पोस्ट, पेज, प्रोडक्ट और इमेज के लिए अलग-अलग साइटमैप का संदर्भ देता है। जब आप किसी इंडेक्स फ़ाइल से URL निकालते हैं, तो जो loc टैग आपको वापस मिलते हैं वे चाइल्ड साइटमैप के URL होते हैं, अलग-अलग पेजों के नहीं, इसलिए असली पेज URL तक पहुँचने के लिए आपको बारी-बारी से हर चाइल्ड साइटमैप से निकालना पड़ सकता है।
यह पहचानना कि आप किसी इंडेक्स को देख रहे हैं या किसी लीफ़ साइटमैप को, आधी लड़ाई जीत लेने जैसा है। अगर निकाले गए सारे URL .xml या .xml.gz पर खत्म होते हैं, तो आपके हाथ में एक इंडेक्स है और आपको एक स्तर और नीचे जाना चाहिए। अगर वे सामान्य HTML पेजों की ओर इशारा करते हैं, तो आप असली सामग्री तक पहुँच चुके हैं।
50,000 URL और 50 MB की सीमाएँ
साइटमैप प्रोटोकॉल एक अकेली साइटमैप फ़ाइल को 50,000 URL और 50 MB (बिना कंप्रेस किए) तक सीमित रखता है। जो साइटें इनमें से किसी भी सीमा को पार करती हैं उन्हें अपने URL को कई साइटमैप फ़ाइलों में बाँटना होता है और उन्हें एक साइटमैप इंडेक्स के ज़रिए आपस में जोड़ना होता है — असल में यही मुख्य वजह है कि बड़ी साइटें इंडेक्स फ़ाइलों का इस्तेमाल करती हैं। इन सीमाओं को जानना आपको यह जाँचने में मदद करता है कि आपने जो निकाला वह सही है या नहीं: अगर कोई अकेली साइटमैप 50,000 से कहीं ज़्यादा URL लौटा रही है तो वह त्रुटिपूर्ण है, और अगर कोई बड़ी साइट सिर्फ़ एक छोटी साइटमैप दिखाती है तो वह शायद अधूरी है और उसमें कुछ पेज छूटे हुए हैं।
ये अधिकतम सीमाएँ यह भी तय करती हैं कि आप ऑडिट कैसे करें। जब आप पूरी URL सूची खींचते हैं और गिनती संदेहास्पद रूप से 50,000 जैसी किसी गोल संख्या के पास आकर रुकती है, तो यह इस बात का पुख्ता संकेत है कि साइट सीमा तक पहुँच चुकी है और बाकी URL ऐसी साइटमैप में फँसे पड़े हैं जिन्हें आपने अभी तक नहीं निकाला।
Gzip से कंप्रेस की गई साइटमैप
साइज़ की सीमा के अंदर रहने और बैंडविड्थ बचाने के लिए, कई साइटमैप को .xml.gz एक्सटेंशन के साथ gzip-कंप्रेस्ड रूप में परोसा जाता है। gzip की गई साइटमैप दरअसल एक सामान्य XML साइटमैप ही है जिसे कंप्रेस कर दिया गया है; सर्च इंजन इसे पर्दे के पीछे ही डीकंप्रेस कर लेते हैं। जब आप इस टूल के ज़रिए ऐसी कोई फ़ाइल फ़ेच करते हैं तो डाउनलोड का काम सर्वर संभाल लेता है, लेकिन अगर आप किसी .gz फ़ाइल को खुद हाथ से देख रहे हैं तो डीकंप्रेस होने तक आपको पढ़ने लायक XML के बजाय बाइनरी कूड़ा-कचरा ही दिखेगा। अगर सामग्री सीधे पेस्ट कर रहे हैं, तो डीकंप्रेस किया हुआ XML पेस्ट करें, न कि कच्चे कंप्रेस्ड बाइट्स।
कंप्रेशन पूरी तरह एक ट्रांसपोर्ट संबंधी अनुकूलन है और अंदर की संरचना में कुछ नहीं बदलता। एक बार डीकंप्रेस होने पर, gzip की गई साइटमैप में किसी भी दूसरी साइटमैप जैसे ही urlset, url और loc एलिमेंट होते हैं, और वही निष्कर्षण तर्क लागू होता है।
साइटमैप URL निकालना इतना उपयोगी क्यों है
किसी साइट द्वारा प्रकाशित हर URL की एक सपाट सूची व्यावहारिक SEO काम की रीढ़ होती है। साइट माइग्रेशन के दौरान, आप पुरानी साइट की साइटमैप निकालकर एक पूरा रीडायरेक्ट मैप बनाते हैं ताकि कोई URL 404 बनकर न रह जाए। कंटेंट ऑडिट के लिए, यह सूची किसी क्रॉलर या स्प्रेडशीट में जाती है जहाँ आप पेज-दर-पेज स्टेटस कोड, टाइटल और शब्द-गिनती जाँच सकते हैं। इंडेक्सिंग जाँच के लिए, आप जो URL सबमिट करते हैं उनकी तुलना उससे कर सकते हैं जिन्हें Search Console इंडेक्स्ड बताता है, और यह अंतर आपको बता देता है कि Google किन पेजों को नज़रअंदाज़ कर रहा है।
यह सूची बल्क टूलिंग के लिए इनपुट भी होती है। आप निकाले गए URL को Screaming Frog जैसे किसी क्रॉलर में, किसी लिंक चेकर में, किसी परफ़ॉर्मेंस ऑडिटर में, या ऐसी किसी स्क्रिप्ट में डाल सकते हैं जो हर URL के HTTP हेडर जाँचती हो। आँख मूँदकर क्रॉल करने के बजाय आधिकारिक साइटमैप सूची से शुरुआत करना यह सुनिश्चित करता है कि आप ठीक वही पेज ऑडिट कर रहे हैं जिन्हें साइट दिखाना चाहती है।
निकालते समय होने वाली आम भूलें
सबसे आम झटका तब लगता है जब आप कोई इंडेक्स फ़ाइल निकालते हैं और सोचते हैं कि साइट पर बस गिनती के कुछ ही पेज हैं, जबकि असल में वे चंद URL चाइल्ड साइटमैप होते हैं और हर एक में हज़ारों पेज होते हैं। कोई नतीजा निकालने से पहले हमेशा जाँच लें कि आपके परिणाम साइटमैप हैं या असली पेज। दूसरी भूल यह मान लेना है कि साइटमैप पूरी की पूरी है: कई कंटेंट मैनेजमेंट सिस्टम ऐसी साइटमैप बनाते हैं जो कुछ खास तरह के पेज, पेजिनेटेड आर्काइव या हाल में प्रकाशित सामग्री को छोड़ देती हैं, इसलिए साइटमैप किसी साइट के URL की न्यूनतम सीमा होती है, पूरी जनगणना नहीं।
दूसरी अड़चनों में शामिल हैं: बासी lastmod तारीख़ें जो असली बदलावों को नहीं दर्शातीं, साइटमैप में मौजूद ऐसे URL जो अब 200 नहीं लौटाते (अनाथ या मिटाए गए पेज जिन्हें कभी हटाया ही नहीं गया), और प्रोटोकॉल या होस्ट का बेमेल होना जहाँ साइटमैप तो http URL सूचीबद्ध करती है जबकि साइट https पर जा चुकी होती है। URL निकालना आसान हिस्सा है; असली कीमत तब मिलती है जब आप उस सूची की तुलना उससे करते हैं जो सर्वर वास्तव में परोसता है।
निष्कर्षण को SEO वर्कफ़्लो में ढालना
एक साफ़, बार-बार दोहराए जा सकने वाला वर्कफ़्लो कुछ ऐसा दिखता है: साइटमैप ढूँढें, जो आम तौर पर robots.txt से लिंक की होती है या पारंपरिक /sitemap.xml पथ पर रखी होती है; URL निकालें, और किसी भी इंडेक्स फ़ाइल में तब तक गहराई में जाते रहें जब तक आप असली पेजों तक न पहुँच जाएँ; सूची को एक टेक्स्ट फ़ाइल में एक्सपोर्ट करें; फिर इसे जिस भी ऑडिट या माइग्रेशन टूल का आप इस्तेमाल कर रहे हैं उसमें डालें। चूँकि यह एक्सट्रैक्टर पेस्ट किए XML को पार्स भी कर सकता है और URL से साइटमैप फ़ेच भी कर सकता है, आप बिना कोई कोड लिखे चंद सेकंडों में एक कच्ची साइटमैप से एक काम लायक URL सूची तक पहुँच सकते हैं।
निष्कर्षण को एक बार करने के बजाय समय-समय पर चलाएँ। आज की URL सूची की तुलना पिछले महीने की सूची से करने पर नए प्रकाशित पेज, चुपचाप हटाए गए पेज, और साइट में हुए ढाँचागत बदलाव सामने आ जाते हैं — ये सभी SEO सेहत और कंटेंट गवर्नेंस, दोनों के लिए उपयोगी शुरुआती संकेत होते हैं।
अक्सर पूछे जाने वाले प्रश्न
sitemap URL एक्सट्रैक्टर लिंक कैसे ढूँढता है?
क्या मैं XML पेस्ट कर सकता हूँ या किसी URL से sitemap लोड कर सकता हूँ?
अगर मेरा XML अमान्य हो या उसमें कोई URL न हो तो क्या?
क्या मैं निकाले गए URL एक्सपोर्ट कर सकता हूँ?
क्या यह टूल मुफ़्त है और क्या मेरा डेटा निजी है?
संबंधित टूल्स
इन उपयोगी टूल्स के साथ आगे बढ़ें