Robots.txt জেনারেটর
ক্রলাররা কী আনবে তা নিয়ন্ত্রণ করুন
সিনট্যাক্স মুখস্থ না করেই একটি robots.txt ফাইল তৈরি করুন: একটি প্রিসেট থেকে শুরু করুন, যে ফোল্ডারগুলো থেকে ক্রলারদের দূরে রাখতে চান তা যোগ করুন, আপনার সাইটম্যাপ দিন এবং AI ক্রলার নিয়ে কী করবেন ঠিক করুন।
- Free
- সাইন-আপ নেই
- শুরু করার প্রিসেট
- সাইটম্যাপ লাইন
- ঐচ্ছিক AI ক্রলার ব্লকিং
যেখান থেকে শুরু
পুরোপুরি আপনার ব্রাউজারে চলে — আপনি যা লেখেন তার কিছুই আমাদের কাছে পাঠানো হয় না।
এটি কীভাবে কাজ করে
Robots.txt জেনারেটর কীভাবে ব্যবহার করবেন
-
একটি শুরুর বিন্দু বেছে নিন
সবকিছুর অনুমতি দিন, সবকিছু ব্লক করুন, অথবা একটি সাধারণ ওয়েবসাইট সেটআপ থেকে শুরু করুন।
-
আপনার নিয়ম যোগ করুন
যে পাথগুলো disallow করবেন, যে ব্যতিক্রমগুলো allow করবেন এবং আপনার সাইটম্যাপ URL তালিকাভুক্ত করুন।
-
ফাইলটি আপলোড করুন
robots.txt ডাউনলোড করে আপনার ডোমেইনের রুটে রাখুন, যেমন example.com/robots.txt।
robots.txt কোথায় রাখতে হয়?
যে হোস্টের জন্য প্রযোজ্য তার রুটে: https://example.com/robots.txt। প্রতিটি সাবডোমেইনের নিজস্ব ফাইল দরকার, আর সাবফোল্ডারে থাকা robots.txt ফাইল ক্রলাররা উপেক্ষা করে।
Disallow কি একটি পেজকে Google থেকে দূরে রাখে?
না। Disallow ক্রলিং থামায়, ইনডেক্সিং নয়: অন্য সাইট লিংক করলে ব্লক করা URL-ও ফলাফলে দেখা দিতে পারে। একটি পেজ সার্চ থেকে দূরে রাখতে ক্রলিংয়ের অনুমতি দিন এবং একটি noindex robots meta ট্যাগ যোগ করুন।
robots.txt কি AI ক্রলার ব্লক করতে পারে?
বেশিরভাগ AI কোম্পানি বলে তাদের ক্রলার robots.txt মেনে চলে, তাই আপনি GPTBot, ClaudeBot, CCBot, Google-Extended ও PerplexityBot-এর মতো ইউজার এজেন্ট disallow করতে পারেন। এটি একটি অনুরোধ, বাধ্যবাধকতা নয়: যে ক্রলার ফাইলটি উপেক্ষা করে, এটি তাকে থামায় না।
আরও ফ্রি টুল
আপনার দরকার হতে পারে এমন অন্যান্য টুল
একটি শর্ট লিংক দিয়ে শেয়ার করুন
এইমাত্র যে পেজটি যাচাই করলেন তাতে একটি Letlink শর্ট লিংক দিন এবং দেখুন কে ক্লিক করছে, কোথা থেকে আসছে ও কোন ডিভাইসে।
সর্বশেষ হালনাগাদ Letlink টিমের তৈরি।