Robots.txt जेनरेटर
वैध robots.txt बनाएं: क्रॉलर को अनुमति दें या रोकें, wildcard के साथ पाथ disallow करें, Allow अपवाद, Crawl-delay, sitemap URL जोड़ें और AI ट्रेनिंग बॉट ब्लॉक करें।
पाथ / से शुरू होते हैं। * कोई भी अक्षर मिलाता है और $ URL का अंत दर्शाता है।
ब्लॉक किए गए फ़ोल्डरों के भीतर अपवाद; सबसे विशिष्ट नियम लागू होता है।
Bing और Yandex इसे मानते हैं; Google अनदे खा करता है।
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Robots.txt जेनरेटर क्या है?
यह जेनरेटर RFC 9309 के अनुसार robots.txt फ़ाइल बनाता है। चुनें कि क्रॉलर साइट तक पहुँच सकते हैं या नहीं, disallow करने के पाथ (* और $ wildcard के साथ) और Allow अपवाद सूचीबद्ध करें, वैकल्पिक Crawl-delay और अपने sitemap URL जोड़ें, और चाहें तो ऐसा समूह जोड़ें जो GPTBot, ClaudeBot, Google-Extended, CCBot और PerplexityBot जैसे AI ट्रेनिंग और AI सर्च क्रॉलर को ब्लॉक करे।
Robots.txt जेनरेटर का उपयोग कैसे करें
- डिफ़ॉल्ट नियम चुनें: सूचीबद्ध पाथ को छोड़कर क्रॉलिंग की अनुमति, या पूरी साइट ब्लॉक।
- Disallow पाथ और Allow अपवाद डालें, हर लाइन में एक, हर एक / से शुरू।
- ज़रूरत हो तो Crawl-delay और अपने sitemap URL जोड़ें।
- AI ट्रेनिंग और AI सर्च से बाहर रहना हो तो "Also block AI … crawlers" टिक करें।
- robots.txt कॉपी या डाउनलोड करें और अपनी साइट के रूट पर अपलोड करें।
उदाहरण
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Robots.txt जेनरेटर का उपयोग कब करें
इसे क्रॉलर को admin, cart, search या पैरामीटर URL पर समय बर्बाद करने से रोकने, उन्हें अपने sitemap की ओर इशारा करने, या AI क्रॉलर से बाहर रहने के लिए इस्तेमाल करें। robots.txt सलाहकारी है: यह पेज छिपाता नहीं और इंडेक्स हुए URL नहीं हटाता – उसके लिए noindex या ऑथेंटिकेशन इस्तेमाल करें – और दुर्भावनापूर्ण बॉट इसे अनदेखा करते हैं।
Robots.txt जेनरेटर कैसे काम करता है
टूल आपकी Allow और Disallow लाइनों के साथ User-agent: * समूह लिखता है (कुछ ब्लॉक न हो तो ख़ाली Disallow:, जो समूह को वैध रखता है), फिर Disallow: / के साथ AI user agent सूचीबद्ध करने वाला वैकल्पिक समूह, फिर Sitemap लाइनें। जो लाइनें / या * से शुरू नहीं होतीं उन्हें चिह्नित किया जाता है क्योंकि क्रॉलर उन्हें अनदेखा करते हैं। Crawl-delay तभी जुड़ता है जब वह संख्या हो।
सामान्य उपयोग मामले
- शॉप के बाक़ी हिस्से को अनुमति देते हुए /admin/ और /cart/ ब्लॉक करना।
- पूरी स्टेजिंग साइट को क्रॉलर से ब्लॉक करना।
- GPTBot, ClaudeBot और Google-Extended से बाहर रहना।
- कई sitemap फ़ाइलें घोषित करना।
अक्सर पूछे जाने वाले प्रश्न
क्या Disallow से पेज Google से हट जाता है?
नहीं। ब्लॉक किया URL लिंक की वजह से बिना कंटेंट के भी इंडेक्स हो सकता है। नतीजों से बाहर रखने के लिए noindex meta टैग इस्तेमाल करें (और क्रॉलिंग की अनुमति दें)।
क्या Google Crawl-delay मानता है?
नहीं। Google इसे अनदेखा करता है; Bing और Yandex इसे मानते हैं।
क्या Google-Extended ब्लॉक करने से मैं Google Search से हट जाऊंगा?
नहीं। Google-Extended सिर्फ़ Gemini और Vertex AI ट्रेनिंग के लिए आपके कंटेंट के इस्तेमाल को नियंत्रित करता है; Googlebot सर्च के लिए क्रॉल करता रहता है।