Generador de robots.txt
controla lo que rastrean los bots
Crea un archivo robots.txt sin memorizar la sintaxis: parte de un ajuste predefinido, agrega las carpetas que los rastreadores no deben visitar, indica tu sitemap y decide qué hacer con los rastreadores de IA.
- Free
- Sin registro
- Ajustes predefinidos para empezar
- Líneas de sitemap
- Bloqueo opcional de rastreadores de IA
Empezar desde
Funciona por completo en tu navegador: nada de lo que introduces se nos envía.
Cómo funciona
Cómo usar el Generador de robots.txt
-
Elige un punto de partida
Permite todo, bloquea todo o parte de la configuración típica de un sitio web.
-
Agrega tus reglas
Indica las rutas que quieres bloquear con Disallow, las excepciones que quieres permitir y la URL de tu sitemap.
-
Sube el archivo
Descarga robots.txt y colócalo en la raíz de tu dominio, p. ej., example.com/robots.txt.
¿Dónde va el robots.txt?
En la raíz del host al que se aplica: https://example.com/robots.txt. Cada subdominio necesita su propio archivo, y los rastreadores ignoran los robots.txt de las subcarpetas.
¿Disallow mantiene una página fuera de Google?
No. Disallow impide el rastreo, no la indexación: una URL bloqueada puede aparecer en los resultados si otros sitios enlazan a ella. Para mantener una página fuera de la búsqueda, permite el rastreo y agrega una metaetiqueta robots noindex.
¿Puede robots.txt bloquear rastreadores de IA?
La mayoría de las empresas de IA dicen que sus rastreadores respetan robots.txt, así que puedes bloquear user agents como GPTBot, ClaudeBot, CCBot, Google-Extended y PerplexityBot con Disallow. Es una petición, no una imposición: los rastreadores que ignoran el archivo no se detienen por él.
Más herramientas gratis
Otras herramientas que podrías necesitar
Compártela con un enlace corto
Pon un enlace corto de Letlink en la página que acabas de revisar y ve quién hace clic, de dónde viene y desde qué dispositivo.
Última actualización por el equipo de Letlink.