Générateur de robots.txt
Ecrivez un fichier robots.txt qui fait ce que vous voulez — et tester toute URL par rapport à celle de Google.
- Vos données ne quittent jamais votre appareil
- 100 % gratuit
- Sans inscription
- Fonctionne hors ligne après la première charge
Comment créer un fichier robots.txt
- Choisissez un modèle ou récupérez votre fichier robots.txt actuel.
- Ajoutez des règles et votre plan de site, et corrigez les avertissements.
- Testez quelques URL, puis téléchargez robots.txt et téléchargez-le à la racine de votre site.
À propos : Générateur de robots.txt
Créer, éditer et tester robots.txt.
Il fonctionne dans votre navigateur, il est donc instantané et privé, et vos paramètres sont mémorisés sur cet appareil.
Idéal pour
- Nouveaux sites web et refontes
- Blocage des pages d'administration, de panier et de recherche
- Contrôler les robots AI
Conseil : Ne bloquez jamais les fichiers CSS et JavaScript — Google en a besoin pour afficher vos pages.
Questions fréquentes
Où puis-je mettre robots.txt ?
Dans la racine de votre domaine, donc il s'ouvre à https://yourdomain.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Est-ce que Disallow supprime une page de Google ?
Non, il n'arrête que l'exploration. Une page bloquée peut toujours être indexée si d'autres sites lui renvoient un lien. Pour garder une page hors de la recherche, autorisez l'exploration et ajoutez une balise meta robots noindex.
Comment bloquer les crawlers AI ?
Il interdit GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot et Applebot-Extended, alors que les moteurs de recherche normaux peuvent encore explorer.
Comment décide le testeur ?
Comme Google: le groupe user-agent le plus spécifique s'applique, la règle de correspondance la plus longue gagne, et Allow gagne une égalité. * correspond à n'importe quoi et $ marque la fin de l'URL.
Quelque chose est envoyé à votre serveur ?
Seulement lorsque vous chargez un fichier robots.txt en direct: notre serveur récupère ce fichier pour vous. Règles que vous écrivez et testez restent dans votre navigateur.