Générateur de robots.txt
contrôlez ce que les robots explorent
Créez un fichier robots.txt sans mémoriser la syntaxe : partez d'un préréglage, ajoutez les dossiers à interdire aux robots, indiquez votre sitemap et décidez quoi faire des robots d'IA.
- Free
- Sans inscription
- Des préréglages pour démarrer
- Lignes Sitemap
- Blocage facultatif des robots d'IA
Partir de
Fonctionne entièrement dans votre navigateur — rien de ce que vous saisissez ne nous est envoyé.
Fonctionnement
Mode d'emploi : Générateur de robots.txt
-
Choisissez un point de départ
Tout autoriser, tout bloquer, ou partir d'une configuration de site web classique.
-
Ajoutez vos règles
Listez les chemins à interdire, les exceptions à autoriser et l'URL de votre sitemap.
-
Mettez le fichier en ligne
Téléchargez robots.txt et placez-le à la racine de votre domaine, par ex. example.com/robots.txt.
Où placer le fichier robots.txt ?
À la racine de l'hôte auquel il s'applique : https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier, et les robots ignorent les fichiers robots.txt placés dans des sous-dossiers.
Disallow empêche-t-il une page d'apparaître dans Google ?
Non. Disallow empêche l'exploration, pas l'indexation : une URL bloquée peut tout de même apparaître dans les résultats si d'autres sites pointent vers elle. Pour exclure une page de la recherche, autorisez l'exploration et ajoutez une balise meta robots noindex.
robots.txt peut-il bloquer les robots d'IA ?
La plupart des entreprises d'IA affirment que leurs robots respectent robots.txt : vous pouvez donc interdire des user agents comme GPTBot, ClaudeBot, CCBot, Google-Extended et PerplexityBot. C'est une demande, pas une contrainte : les robots qui ignorent le fichier ne sont pas arrêtés pour autant.
Plus d'outils gratuits
D'autres outils qui pourraient vous servir
Partagez-la avec un lien court
Placez un lien court Letlink sur la page que vous venez de vérifier et voyez qui clique, d'où viennent les visiteurs et sur quel appareil.
Dernière mise à jour par l'équipe Letlink.