लॉग इन करा मोफत सुरू करा

Robots.txt जनरेटर
क्रॉलर काय आणतात ते नियंत्रित करा

सिंटॅक्स पाठ न करता robots.txt फाइल तयार करा: प्रीसेटपासून सुरुवात करा, क्रॉलरना ज्या फोल्डरपासून दूर ठेवायचे ते जोडा, तुमचा साइटमॅप द्या आणि AI क्रॉलरबद्दल काय करायचे ते ठरवा.

  • मोफत
  • साइन-अप नाही
  • सुरुवातीसाठी प्रीसेट
  • साइटमॅप ओळी
  • पर्यायी AI क्रॉलर ब्लॉकिंग

येथून सुरुवात

पूर्णपणे तुमच्या ब्राउझरमध्ये चालते — तुम्ही टाकलेले काहीही आम्हाला पाठवले जात नाही.

हे कसे काम करते

Robots.txt जनरेटर कसा वापरायचा

  1. सुरुवातीचा पर्याय निवडा

    सर्वांना परवानगी द्या, सर्व ब्लॉक करा, किंवा नेहमीच्या वेबसाइट सेटअपपासून सुरुवात करा.

  2. तुमचे नियम जोडा

    disallow करायचे पाथ, allow करायचे अपवाद आणि तुमचा साइटमॅप URL नोंदवा.

  3. फाइल अपलोड करा

    robots.txt डाउनलोड करा आणि तुमच्या डोमेनच्या रूटवर ठेवा, उदा. example.com/robots.txt.

FAQ

Robots.txt जनरेटर: प्रश्न आणि उत्तरे

आणखी काही? आम्हाला विचारा.

robots.txt कुठे ठेवायची?

ती ज्या होस्टला लागू होते त्याच्या रूटवर: https://example.com/robots.txt. प्रत्येक सबडोमेनला स्वतःची फाइल लागते, आणि सबफोल्डरमधील robots.txt फाइलकडे क्रॉलर दुर्लक्ष करतात.

Disallow मुळे पेज Google पासून दूर राहते का?

नाही. Disallow क्रॉलिंग थांबवते, इंडेक्सिंग नाही: इतर साइट्सनी लिंक केल्यास ब्लॉक केलेला URL ही निकालांत दिसू शकतो. पेज सर्चपासून दूर ठेवण्यासाठी क्रॉलिंगला परवानगी द्या आणि noindex robots meta टॅग जोडा.

robots.txt AI क्रॉलर ब्लॉक करू शकते का?

बहुतेक AI कंपन्या सांगतात की त्यांचे क्रॉलर robots.txt पाळतात, त्यामुळे तुम्ही GPTBot, ClaudeBot, CCBot, Google-Extended आणि PerplexityBot सारखे युजर एजंट disallow करू शकता. ही एक विनंती आहे, सक्ती नाही: फाइलकडे दुर्लक्ष करणारे क्रॉलर तिच्यामुळे थांबत नाहीत.

आणखी मोफत टूल्स

तुम्हाला लागू शकणारी इतर टूल्स

सर्व मोफत टूल्स
Open Graph प्रिव्ह्यू Facebook, LinkedIn, X आणि WhatsApp वर शेअर केल्यावर URL कसा दिसतो ते पाहा. सोशल कार्ड प्रिव्ह्यू शीर्षक, वर्णन आणि इमेज टाका आणि शेअर कार्डचा प्रिव्ह्यू पाहा. मेटा टॅग जनरेटर शीर्षक, वर्णन, robots, कॅनॉनिकल, Open Graph आणि Twitter टॅग तयार करा. UTM जनरेटर कोणत्याही URL मध्ये utm_source, utm_medium आणि utm_campaign जोडा. रीडायरेक्ट चेकर URL ची रीडायरेक्ट साखळी तपासा: प्रत्येक हॉप, स्टेटस कोड आणि वेळ. QR कोड जनरेटर तुमचा लोगो, रंग आणि फ्रेमसह QR कोड. साइन-अप नाही, वॉटरमार्क नाही, कधीच कालबाह्य होत नाहीत.

शॉर्ट लिंकने शेअर करा

तुम्ही आत्ताच तपासलेल्या पेजवर Letlink शॉर्ट लिंक लावा आणि कोण क्लिक करते, ते कुठून येतात आणि कोणत्या डिव्हाइसवर ते पाहा.

Letlink मोफत वापरून पहा टूलकडे परत जा

शेवटचे अपडेट Letlink टीमकडून.