مولّد Robots.txt
تحكّم فيما تجلبه الزواحف
أنشئ ملف robots.txt دون حفظ الصياغة: ابدأ من إعداد جاهز، وأضف المجلدات التي تريد إبعاد الزواحف عنها، وأدرج خريطة موقعك، وقرّر ما تفعله بزواحف الذكاء الاصطناعي.
- Free
- بلا تسجيل
- إعدادات جاهزة للبدء
- أسطر خريطة الموقع
- حظر اختياري لزواحف الذكاء الاصطناعي
ابدأ من
يعمل بالكامل في متصفحك — لا يُرسل إلينا أي شيء تدخله.
كيف يعمل
كيفية استخدام مولّد Robots.txt
-
اختر نقطة البداية
اسمح بكل شيء، أو احظر كل شيء، أو ابدأ من إعداد موقع نموذجي.
-
أضف قواعدك
أدرج المسارات المراد منعها، والاستثناءات المسموح بها، ورابط خريطة موقعك.
-
ارفع الملف
نزّل robots.txt وضعه في جذر نطاقك، مثل example.com/robots.txt.
أين يوضع robots.txt؟
في جذر المضيف الذي ينطبق عليه: https://example.com/robots.txt. يحتاج كل نطاق فرعي إلى ملفه الخاص، وتتجاهل الزواحف ملفات robots.txt الموجودة في المجلدات الفرعية.
هل يُبعد Disallow الصفحة عن Google؟
لا. يوقف Disallow الزحف لا الفهرسة: قد يظهر الرابط المحظور في النتائج إذا ربطت إليه مواقع أخرى. لإبعاد صفحة عن البحث، اسمح بالزحف وأضف وسم robots meta بقيمة noindex.
هل يمكن لـ robots.txt حظر زواحف الذكاء الاصطناعي؟
تقول معظم شركات الذكاء الاصطناعي إن زواحفها تلتزم بـ robots.txt، لذا يمكنك منع وكلاء المستخدم مثل GPTBot وClaudeBot وCCBot وGoogle-Extended وPerplexityBot. إنه طلب لا إلزام: الزواحف التي تتجاهل الملف لا يوقفها.
المزيد من الأدوات المجانية
أدوات أخرى قد تحتاجها
شاركه برابط قصير
ضع رابطًا قصيرًا من Letlink على الصفحة التي فحصتها للتو، وشاهد من ينقر عليه ومن أين يأتي وعلى أي جهاز.
آخر تحديث من فريق Letlink.