रोबोट्स.टेक्स्ट जनरेटर
वेबसाइट URL (वैकल्पिक)
नियम
1
यूजर-एजेंट
निर्देश
पाथ
साइटमैप URLs (प्रति लाइन एक)
क्रॉल विलंब (सेकंड)
रोबोट्स.टेक्स्ट जनरेटर का उपयोग कैसे करें
- 1
क्रॉल नियम जोड़ें
Add Rule पर क्लिक करें और User-agent सेट करें, Allow या Disallow चुनें, और वह पाथ दर्ज करें जिस पर हर नियम लागू होना चाहिए।
- 2
वैकल्पिक डायरेक्टिव सेट करें
अपने sitemap URL (प्रति लाइन एक) और एक वैकल्पिक crawl-delay (सेकंड में) जोड़ें ताकि सर्च इंजन आपकी साइट को कैसे क्रॉल करें यह नियंत्रित हो सके।
- 3
फ़ाइल जनरेट करें
अपने नियमों और डायरेक्टिव से एक सही फ़ॉर्मैट वाली फ़ाइल बनाने के लिए Generate robots.txt पर क्लिक करें।
- 4
कॉपी करें या डाउनलोड करें
Copy to Clipboard या Download robots.txt का इस्तेमाल करें, फिर फ़ाइल को अपने डोमेन की रूट (yoursite.com/robots.txt) पर अपलोड करें।
अक्सर पूछे जाने वाले प्रश्न
robots.txt फ़ाइल किसलिए होती है?
robots.txt फ़ाइल सर्च इंजन क्रॉलर को बताती है कि वे आपकी साइट के किन हिस्सों तक पहुँच सकते हैं या नहीं। यह User-agent, Allow, और Disallow डायरेक्टिव का इस्तेमाल करती है और आपके डोमेन की रूट पर रखी जाती है ताकि बॉट क्रॉल करने से पहले इसे पढ़ें।
Allow और Disallow नियम कैसे काम करते हैं?
Disallow क्रॉलर को किसी पाथ से रोकता है, जबकि Allow किसी एक को स्पष्ट रूप से अनुमति देता है, जो किसी अन्यथा ब्लॉक की गई डायरेक्टरी के अंदर एक सबफ़ोल्डर खोलने के लिए उपयोगी है। आप सभी बॉट को सभी robots के लिए User-agent से लक्षित कर सकते हैं, या Googlebot जैसे विशिष्ट क्रॉलर के लिए अलग नियम लिख सकते हैं।
crawl-delay क्या करता है?
crawl-delay सुझाव देता है कि किसी क्रॉलर को अनुरोधों के बीच कितने सेकंड रुकना चाहिए, जो सर्वर लोड घटा सकता है। ध्यान दें कि सभी सर्च इंजन इसका पालन नहीं करते; उदाहरण के लिए, Google crawl-delay को नज़रअंदाज़ करता है और Search Console में crawl-rate सेटिंग्स को तरजीह देता है।
sitemap लाइन क्यों जोड़ें?
एक Sitemap डायरेक्टिव शामिल करना क्रॉलर को आपके XML sitemap की ओर इशारा करता है ताकि वे आपके पेज अधिक कुशलता से खोज सकें। टूल आपको कई sitemap URL, प्रति लाइन एक, सूचीबद्ध करने देता है और उन्हें आपके लिए फ़ाइल में लिख देता है।
क्या robots.txt इस बात की गारंटी देता है कि कोई पेज Google से बाहर रहेगा?
नहीं। Disallow क्रॉलिंग रोकता है पर एक ब्लॉक किया URL तब भी इंडेक्स हो सकता है अगर अन्य पेज उससे लिंक करते हों। किसी पेज को सर्च नतीजों से बाहर रखने के लिए, केवल robots.txt पर निर्भर रहने के बजाय एक क्रॉल करने योग्य पेज पर noindex मेटा टैग या हेडर का इस्तेमाल करें।
संबंधित टूल्स
इन उपयोगी टूल्स के साथ आगे बढ़ें