Robots.txt Oluşturucu
tarayıcı botlarının neyi aldığını kontrol edin
Söz dizimini ezberlemeden bir robots.txt dosyası oluşturun: bir hazır ayarla başlayın, botların uzak durması gereken klasörleri ekleyin, site haritanızı listeleyin ve yapay zekâ botları hakkında ne yapacağınıza karar verin.
- Ücretsiz
- Kayıt yok
- Başlangıç için hazır ayarlar
- Sitemap satırları
- İsteğe bağlı yapay zekâ botu engelleme
Başlangıç
Tamamen tarayıcınızda çalışır — girdiğiniz hiçbir şey bize gönderilmez.
Nasıl çalışır
Robots.txt Oluşturucu nasıl kullanılır
-
Bir başlangıç noktası seçin
Her şeye izin verin, her şeyi engelleyin veya tipik bir web sitesi kurulumuyla başlayın.
-
Kurallarınızı ekleyin
Engellenecek yolları, izin verilecek istisnaları ve site haritası URL'nizi listeleyin.
-
Dosyayı yükleyin
robots.txt dosyasını indirin ve alan adınızın köküne koyun, ör. example.com/robots.txt.
robots.txt nereye konur?
Geçerli olduğu ana makinenin köküne: https://example.com/robots.txt. Her alt alan adının kendi dosyası olmalıdır ve botlar alt klasörlerdeki robots.txt dosyalarını yok sayar.
Disallow bir sayfayı Google'dan uzak tutar mı?
Hayır. Disallow dizine eklemeyi değil, taramayı durdurur: engellenmiş bir URL, başka siteler ona bağlantı verirse yine de sonuçlarda görünebilir. Bir sayfayı aramadan uzak tutmak için taramaya izin verin ve noindex robots meta etiketi ekleyin.
robots.txt yapay zekâ botlarını engelleyebilir mi?
Çoğu yapay zekâ şirketi botlarının robots.txt'ye uyduğunu söylüyor, bu yüzden GPTBot, ClaudeBot, CCBot, Google-Extended ve PerplexityBot gibi kullanıcı aracılarını engelleyebilirsiniz. Bu bir zorlama değil, bir ricadır: dosyayı yok sayan botlar onunla durdurulmaz.
Daha fazla ücretsiz araç
İhtiyacınız olabilecek diğer araçlar
Kısa bir bağlantıyla paylaşın
Az önce kontrol ettiğiniz sayfaya bir Letlink kısa bağlantısı koyun ve kimin tıkladığını, nereden geldiğini ve hangi cihazı kullandığını görün.
Son güncelleme Letlink ekibi tarafından.