Générateur robots.txt : créez votre fichier
Préparez des règles simples, puis testez les chemins importants avant de publier le fichier à la racine du site.
Renseignez les champs, puis lancez l’outil pour obtenir votre résultat.
Un fichier robots.txt ne protège pas des données confidentielles et ne garantit pas la désindexation des URL.
Comment utiliser cet outil
- Indiquez les chemins que vous souhaitez exclure, un par ligne.
- Ajoutez l’adresse de votre sitemap si vous en possédez un.
- Téléchargez le fichier, vérifiez ses règles puis publiez-le à la racine de votre domaine.
Créer des règles d’exploration simples
Ce générateur prépare un fichier robots.txt pour tous les robots compatibles. Il convient à des exclusions simples de chemins, sans remplacer l’analyse de votre CMS. Pour un fichier existant, conservez une copie avant tout remplacement afin de préserver les règles encore utiles.
Préparer un fichier robots.txt sans écrire chaque directive
Indiquez les chemins dont vous souhaitez limiter l’exploration. Le générateur ajoute les règles pour tous les robots compatibles et peut inclure l’adresse de votre sitemap. Vous récupérez ensuite un fichier texte à relire avant sa mise en ligne.
Si un fichier existe déjà, téléchargez-en une copie et comparez les règles. Remplacer le fichier sans vérifier son contenu peut supprimer des consignes encore nécessaires à votre site.
Une règle à vérifier avec une attention particulière
Le chemin / désigne tout le site. Ne l’utilisez pas si vous cherchez seulement à bloquer un répertoire. Après publication, testez une page à exclure et une page qui doit rester explorable.
Comment interpréter les résultats
- Évitez de bloquer les ressources nécessaires à l’affichage des pages.
- N’excluez pas / sauf si vous souhaitez bloquer tout le site.
- Testez plusieurs URL après publication du nouveau fichier.
Pour approfondir, consultez notre guide sur robots.txt.
Questions fréquentes
Où faut-il publier robots.txt ?
À la racine de l’hôte concerné, par exemple https://exemple.ch/robots.txt. Chaque sous-domaine dispose de son propre fichier.
Que se passe-t-il si je laisse les exclusions vides ?
Le fichier généré n’ajoute aucune interdiction de chemin. Vérifiez que ce comportement correspond à votre intention avant de remplacer un fichier existant.
Pourquoi faut-il éviter une exclusion / ?
Le chemin / bloque toute l’exploration pour le groupe concerné. Il peut empêcher les moteurs de découvrir et de mettre à jour votre contenu.
Le sitemap est-il obligatoire ?
Non. Vous pouvez renseigner son URL complète pour aider les robots à le trouver. Cette déclaration ne garantit pas l’exploration ou l’indexation de ses URL.
Ce fichier protège-t-il un espace privé ?
Non. Il exprime des consignes aux robots coopératifs. Protégez les données privées avec une authentification et des contrôles d’accès.