लॉग इन करें मुफ़्त शुरू करें

Robots.txt जनरेटर
तय करें कि क्रॉलर क्या फ़ेच करें

सिंटैक्स याद किए बिना robots.txt फ़ाइल बनाएँ: किसी प्रीसेट से शुरू करें, वे फ़ोल्डर जोड़ें जिनसे क्रॉलर को दूर रखना है, अपना साइटमैप लिखें और तय करें कि AI क्रॉलर के साथ क्या करना है।

  • Free
  • कोई साइन-अप नहीं
  • शुरू करने के लिए प्रीसेट
  • साइटमैप लाइनें
  • वैकल्पिक AI क्रॉलर ब्लॉकिंग

यहाँ से शुरू करें

पूरी तरह आपके ब्राउज़र में चलता है — आप जो भी डालते हैं, वह हमें नहीं भेजा जाता।

यह कैसे काम करता है

Robots.txt जनरेटर कैसे इस्तेमाल करें

  1. शुरुआती बिंदु चुनें

    सब कुछ अनुमति दें, सब कुछ ब्लॉक करें, या एक सामान्य वेबसाइट सेटअप से शुरू करें।

  2. अपने नियम जोड़ें

    disallow करने वाले पाथ, allow करने वाले अपवाद और अपना साइटमैप URL लिखें।

  3. फ़ाइल अपलोड करें

    robots.txt डाउनलोड करें और उसे अपने डोमेन के रूट पर रखें, जैसे example.com/robots.txt।

FAQ

Robots.txt जनरेटर: सवाल और जवाब

कुछ और? हमसे पूछें.

robots.txt कहाँ रखी जाती है?

जिस होस्ट पर वह लागू होती है उसके रूट पर: https://example.com/robots.txt। हर सबडोमेन को अपनी अलग फ़ाइल चाहिए, और क्रॉलर सबफ़ोल्डर में रखी robots.txt फ़ाइलों को नज़रअंदाज़ करते हैं।

क्या Disallow किसी पेज को Google से बाहर रखता है?

नहीं। Disallow क्रॉलिंग रोकता है, इंडेक्सिंग नहीं: अगर दूसरी साइटें किसी ब्लॉक किए गए URL से लिंक करती हैं तो वह फिर भी नतीजों में दिख सकता है। किसी पेज को सर्च से बाहर रखने के लिए, क्रॉलिंग की अनुमति दें और noindex robots मेटा टैग जोड़ें।

क्या robots.txt AI क्रॉलर को ब्लॉक कर सकती है?

ज़्यादातर AI कंपनियाँ कहती हैं कि उनके क्रॉलर robots.txt का पालन करते हैं, इसलिए आप GPTBot, ClaudeBot, CCBot, Google-Extended और PerplexityBot जैसे यूज़र एजेंट को disallow कर सकते हैं। यह एक अनुरोध है, कोई पाबंदी नहीं: जो क्रॉलर फ़ाइल को नज़रअंदाज़ करते हैं, उन्हें यह नहीं रोकती।

और फ़्री टूल

आपके काम के दूसरे टूल

सभी फ़्री टूल
Open Graph प्रीव्यू देखें कि Facebook, LinkedIn, X और WhatsApp पर शेयर करने पर कोई URL कैसा दिखता है। सोशल कार्ड प्रीव्यू टाइटल, डिस्क्रिप्शन और इमेज डालें और शेयर कार्ड का प्रीव्यू देखें। मेटा टैग जनरेटर टाइटल, डिस्क्रिप्शन, robots, कैनोनिकल, Open Graph और Twitter टैग बनाएँ। UTM जनरेटर किसी भी URL में utm_source, utm_medium और utm_campaign जोड़ें। रीडायरेक्ट चेकर किसी URL की रीडायरेक्ट चेन फ़ॉलो करें: हर हॉप, स्टेटस कोड और समय। QR कोड जनरेटर आपके लोगो, रंगों और फ़्रेम वाले QR कोड। कोई साइन-अप नहीं, कोई वॉटरमार्क नहीं, कभी एक्सपायर नहीं होते।

इसे शॉर्ट लिंक के साथ शेयर करें

जिस पेज को आपने अभी जाँचा, उस पर Letlink शॉर्ट लिंक लगाएँ और देखें कि कौन उस पर क्लिक करता है, वे कहाँ से आते हैं और किस डिवाइस पर।

Letlink मुफ़्त आज़माएँ टूल पर वापस जाएँ

आखिरी अपडेट Letlink टीम की ओर से।