உள்நுழை இலவசமாகத் தொடங்கு

Robots.txt உருவாக்கி
crawler-கள் எதைப் பெறுகின்றன என்பதைக் கட்டுப்படுத்துங்கள்

தொடரியலை மனப்பாடம் செய்யாமலேயே robots.txt கோப்பை உருவாக்குங்கள்: ஒரு முன்னமைவிலிருந்து தொடங்கி, crawler-களைத் தடுக்க வேண்டிய கோப்புறைகளைச் சேர்த்து, உங்கள் sitemap-ஐப் பட்டியலிட்டு, AI crawler-களை என்ன செய்வது என முடிவு செய்யுங்கள்.

  • Free
  • பதிவு தேவையில்லை
  • தொடங்குவதற்கான முன்னமைவுகள்
  • Sitemap வரிகள்
  • விருப்பமான AI crawler தடுப்பு

இதிலிருந்து தொடங்கு

முழுவதும் உங்கள் உலாவியிலேயே இயங்குகிறது — நீங்கள் உள்ளிடும் எதுவும் எங்களுக்கு அனுப்பப்படுவதில்லை.

இது எப்படிச் செயல்படுகிறது

Robots.txt உருவாக்கி-ஐ எப்படிப் பயன்படுத்துவது

  1. தொடக்கப் புள்ளியைத் தேர்ந்தெடுங்கள்

    அனைத்தையும் அனுமதியுங்கள், அனைத்தையும் தடுங்கள், அல்லது வழக்கமான இணையதள அமைப்பிலிருந்து தொடங்குங்கள்.

  2. உங்கள் விதிகளைச் சேருங்கள்

    disallow செய்ய வேண்டிய பாதைகள், allow செய்ய வேண்டிய விதிவிலக்குகள், உங்கள் sitemap URL ஆகியவற்றைப் பட்டியலிடுங்கள்.

  3. கோப்பைப் பதிவேற்றுங்கள்

    robots.txt-ஐப் பதிவிறக்கி உங்கள் டொமைனின் root-இல் வையுங்கள், எ.கா. example.com/robots.txt.

FAQ

Robots.txt உருவாக்கி: கேள்விகளும் பதில்களும்

வேறு ஏதாவது? எங்களிடம் கேளுங்கள்.

robots.txt எங்கே இருக்க வேண்டும்?

அது பொருந்தும் host-இன் root-இல்: https://example.com/robots.txt. ஒவ்வொரு subdomain-க்கும் தனிக் கோப்பு தேவை; துணைக் கோப்புறைகளில் உள்ள robots.txt கோப்புகளை crawler-கள் புறக்கணிக்கின்றன.

Disallow ஒரு பக்கத்தை Google-இலிருந்து விலக்கி வைக்குமா?

இல்லை. Disallow crawl செய்வதை நிறுத்துகிறது, அட்டவணைப்படுத்தலை அல்ல: பிற தளங்கள் இணைப்பு கொடுத்தால், தடுக்கப்பட்ட URL இன்னும் முடிவுகளில் தோன்றலாம். ஒரு பக்கத்தைத் தேடலிலிருந்து விலக்க, crawl செய்ய அனுமதித்து noindex robots meta குறிச்சொல்லைச் சேருங்கள்.

robots.txt AI crawler-களைத் தடுக்குமா?

பெரும்பாலான AI நிறுவனங்கள் தங்கள் crawler-கள் robots.txt-க்குக் கீழ்ப்படிவதாகச் சொல்கின்றன, எனவே GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot போன்ற user agent-களை disallow செய்யலாம். இது ஒரு வேண்டுகோள், கட்டாய அமலாக்கம் அல்ல: கோப்பைப் புறக்கணிக்கும் crawler-கள் அதனால் நிறுத்தப்படுவதில்லை.

மேலும் இலவசக் கருவிகள்

உங்களுக்குத் தேவைப்படக்கூடிய பிற கருவிகள்

அனைத்து இலவசக் கருவிகளும்
Open Graph முன்னோட்டம் Facebook, LinkedIn, X மற்றும் WhatsApp-இல் பகிரும்போது ஒரு URL எப்படித் தெரிகிறது எனப் பாருங்கள். சமூக அட்டை முன்னோட்டம் தலைப்பு, விளக்கம், படத்தை உள்ளிட்டு, பகிர்வு அட்டையை முன்னோட்டம் பாருங்கள். Meta குறிச்சொல் உருவாக்கி தலைப்பு, விளக்கம், robots, canonical, Open Graph மற்றும் Twitter குறிச்சொற்களை உருவாக்குங்கள். UTM உருவாக்கி எந்த URL-இலும் utm_source, utm_medium மற்றும் utm_campaign-ஐச் சேர்க்கவும். திசைதிருப்பல் சரிபார்ப்பி ஒரு URL-இன் திசைதிருப்பல் சங்கிலியைப் பின்தொடருங்கள்: ஒவ்வொரு படி, நிலைக் குறியீடு, நேரம். QR குறியீடு உருவாக்கி உங்கள் லோகோ, நிறங்கள், சட்டகத்துடன் QR குறியீடுகள். பதிவு தேவையில்லை, வாட்டர்மார்க் இல்லை, ஒருபோதும் காலாவதியாகாது.

சுருக்க இணைப்புடன் பகிருங்கள்

நீங்கள் இப்போது சரிபார்த்த பக்கத்தில் ஒரு Letlink சுருக்க இணைப்பை வைத்து, யார் கிளிக் செய்கிறார்கள், எங்கிருந்து வருகிறார்கள், எந்தச் சாதனத்தில் என்பதைப் பாருங்கள்.

Letlink-ஐ இலவசமாக முயற்சிக்கவும் கருவிக்குத் திரும்பு

கடைசியாகப் புதுப்பிக்கப்பட்டது Letlink குழுவால்.