ورود رایگان شروع کنید

سازنده Robots.txt
کنترل کنید خزنده‌ها چه چیزی دریافت کنند

بدون حفظ کردن نحو یک فایل robots.txt بسازید: از یک پیش‌تنظیم شروع کنید، پوشه‌هایی را که باید خزنده‌ها از آن‌ها دور بمانند اضافه کنید، نقشه سایتتان را بنویسید و درباره خزنده‌های هوش مصنوعی تصمیم بگیرید.

  • Free
  • بدون ثبت‌نام
  • پیش‌تنظیم‌هایی برای شروع
  • خطوط نقشه سایت
  • مسدودسازی اختیاری خزنده‌های هوش مصنوعی

شروع از

کاملاً در مرورگر شما اجرا می‌شود — هیچ‌چیزی از آنچه وارد می‌کنید برای ما فرستاده نمی‌شود.

چگونه کار می‌کند

نحوه استفاده از سازنده Robots.txt

  1. یک نقطه شروع انتخاب کنید

    همه‌چیز را مجاز کنید، همه‌چیز را مسدود کنید، یا از تنظیمات یک وب‌سایت معمولی شروع کنید.

  2. قوانین خود را اضافه کنید

    مسیرهای Disallow، استثناهای Allow و URL نقشه سایتتان را فهرست کنید.

  3. فایل را آپلود کنید

    robots.txt را دانلود کنید و در ریشه دامنه‌تان قرار دهید، مثلاً example.com/robots.txt.

FAQ

سازنده Robots.txt: پرسش‌ها و پاسخ‌ها

چیز دیگری؟ از ما بپرسید.

robots.txt کجا قرار می‌گیرد؟

در ریشه میزبانی که به آن مربوط است: https://example.com/robots.txt. هر زیردامنه فایل خودش را لازم دارد و خزنده‌ها فایل‌های robots.txt داخل زیرپوشه‌ها را نادیده می‌گیرند.

آیا Disallow صفحه را از Google دور نگه می‌دارد؟

نه. Disallow خزش را متوقف می‌کند، نه ایندکس را: یک URL مسدودشده اگر سایت‌های دیگر به آن لینک دهند همچنان می‌تواند در نتایج ظاهر شود. برای دور نگه داشتن صفحه از جست‌وجو، اجازه خزش بدهید و متاتگ robots با مقدار noindex اضافه کنید.

آیا robots.txt می‌تواند خزنده‌های هوش مصنوعی را مسدود کند؟

بیشتر شرکت‌های هوش مصنوعی می‌گویند خزنده‌هایشان از robots.txt پیروی می‌کنند، پس می‌توانید user agentهایی مثل GPTBot، ClaudeBot، CCBot، Google-Extended و PerplexityBot را Disallow کنید. این یک درخواست است، نه اجبار: خزنده‌هایی که فایل را نادیده می‌گیرند با آن متوقف نمی‌شوند.

ابزارهای رایگان بیشتر

ابزارهای دیگری که شاید لازم داشته باشید

همه ابزارهای رایگان
پیش‌نمایش Open Graph ببینید یک URL هنگام اشتراک‌گذاری در Facebook، LinkedIn، X و WhatsApp چگونه به نظر می‌رسد. پیش‌نمایش کارت اشتراک‌گذاری عنوان، توضیحات و تصویر را وارد کنید و کارت اشتراک‌گذاری را پیش‌نمایش کنید. سازنده متاتگ تگ‌های عنوان، توضیحات، robots، canonical، Open Graph و Twitter را بسازید. سازنده UTM utm_source، utm_medium و utm_campaign را به هر URL اضافه کنید. بررسی‌کننده هدایت زنجیره هدایت یک URL را دنبال کنید: هر پرش، کد وضعیت و زمان. سازنده کد QR کدهای QR با لوگو، رنگ‌ها و قاب شما. بدون ثبت‌نام، بدون واترمارک، بدون انقضا.

با یک لینک کوتاه به اشتراکش بگذارید

یک لینک کوتاه Letlink روی صفحه‌ای که همین حالا بررسی کردید بگذارید و ببینید چه کسی روی آن کلیک می‌کند، از کجا می‌آید و با چه دستگاهی.

Letlink را رایگان امتحان کنید بازگشت به ابزار

آخرین به‌روزرسانی از تیم Letlink.