Gerador de robots.txt
controle o que os rastreadores acessam
Crie um arquivo robots.txt sem decorar a sintaxe: comece por uma predefinição, adicione as pastas que os rastreadores não devem acessar, informe seu sitemap e decida o que fazer com os rastreadores de IA.
- Grátis
- Sem cadastro
- Predefinições para começar
- Linhas de sitemap
- Bloqueio opcional de rastreadores de IA
Começar por
Roda inteiramente no seu navegador — nada do que você digita é enviado para nós.
Como funciona
Como usar o Gerador de robots.txt
-
Escolha um ponto de partida
Permita tudo, bloqueie tudo ou comece pela configuração típica de um site.
-
Adicione suas regras
Liste os caminhos para Disallow, as exceções para permitir e a URL do seu sitemap.
-
Envie o arquivo
Baixe o robots.txt e coloque-o na raiz do seu domínio, por exemplo, example.com/robots.txt.
Onde fica o robots.txt?
Na raiz do host a que ele se aplica: https://example.com/robots.txt. Cada subdomínio precisa do próprio arquivo, e os rastreadores ignoram arquivos robots.txt em subpastas.
O Disallow mantém uma página fora do Google?
Não. O Disallow impede o rastreamento, não a indexação: uma URL bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela. Para manter uma página fora da busca, permita o rastreamento e adicione uma meta tag robots noindex.
O robots.txt consegue bloquear rastreadores de IA?
A maioria das empresas de IA diz que seus rastreadores obedecem ao robots.txt, então você pode aplicar Disallow a user agents como GPTBot, ClaudeBot, CCBot, Google-Extended e PerplexityBot. É um pedido, não uma imposição: rastreadores que ignoram o arquivo não são impedidos por ele.
Mais ferramentas grátis
Outras ferramentas que podem ser úteis
Compartilhe com um link curto
Coloque um link curto do Letlink na página que você acabou de verificar e veja quem clica, de onde vem e em qual dispositivo.
Última atualização pela equipe do Letlink.