Masuk Mulai gratis

Generator Robots.txt
kendalikan apa yang diambil crawler

Buat file robots.txt tanpa perlu menghafal sintaksnya: mulai dari preset, tambahkan folder yang tidak boleh dimasuki crawler, cantumkan sitemap Anda, dan tentukan sikap terhadap crawler AI.

  • Gratis
  • Tanpa pendaftaran
  • Preset sebagai titik awal
  • Baris sitemap
  • Pemblokiran crawler AI opsional

Mulai dari

Berjalan sepenuhnya di browser Anda — tidak ada yang Anda masukkan dikirim ke kami.

Cara kerjanya

Cara menggunakan Generator Robots.txt

  1. Pilih titik awal

    Izinkan semuanya, blokir semuanya, atau mulai dari pengaturan situs web pada umumnya.

  2. Tambahkan aturan Anda

    Cantumkan jalur yang akan di-Disallow, pengecualian yang di-Allow, dan URL sitemap Anda.

  3. Unggah filenya

    Unduh robots.txt dan letakkan di root domain Anda, mis. example.com/robots.txt.

FAQ

Generator Robots.txt: tanya jawab

Ada yang lain? Tanyakan kepada kami.

Di mana robots.txt diletakkan?

Di root host yang dicakupnya: https://example.com/robots.txt. Setiap subdomain membutuhkan filenya sendiri, dan crawler mengabaikan file robots.txt di subfolder.

Apakah Disallow membuat halaman tidak muncul di Google?

Tidak. Disallow menghentikan perayapan, bukan pengindeksan: URL yang diblokir tetap dapat muncul di hasil pencarian jika situs lain menautkannya. Agar halaman tidak muncul di pencarian, izinkan perayapan dan tambahkan tag robots meta noindex.

Bisakah robots.txt memblokir crawler AI?

Sebagian besar perusahaan AI menyatakan crawler mereka mematuhi robots.txt, sehingga Anda dapat menerapkan Disallow pada user agent seperti GPTBot, ClaudeBot, CCBot, Google-Extended, dan PerplexityBot. Ini adalah permintaan, bukan penegakan: crawler yang mengabaikan file ini tidak akan terhenti olehnya.

Alat gratis lainnya

Alat lain yang mungkin Anda butuhkan

Semua alat gratis
Pratinjau Open Graph Lihat tampilan sebuah URL saat dibagikan di Facebook, LinkedIn, X, dan WhatsApp. Pratinjau Kartu Sosial Ketik judul, deskripsi, dan gambar, lalu lihat pratinjau kartu bagikan. Generator Tag Meta Buat tag title, description, robots, canonical, Open Graph, dan Twitter. Generator UTM Tambahkan utm_source, utm_medium, dan utm_campaign ke URL mana pun. Pemeriksa Pengalihan Telusuri rantai pengalihan sebuah URL: setiap lompatan, kode status, dan waktunya. Generator Kode QR Kode QR dengan logo, warna, dan bingkai Anda. Tanpa pendaftaran, tanpa watermark, tidak pernah kedaluwarsa.

Bagikan dengan tautan pendek

Pasang tautan pendek Letlink di halaman yang baru saja Anda periksa dan lihat siapa yang mengkliknya, dari mana mereka datang, dan di perangkat apa.

Coba Letlink gratis Kembali ke alat

Terakhir diperbarui oleh tim Letlink.