T

Text Machine

Des outils de texte puissants, dans votre navigateur

Générateur de Robots.txt

URL du site web (optionnel)
Règles

1

User-agent

Directive

Chemin

URLs de Sitemap (une par ligne)

Délai d'exploration (secondes)

Comment utiliser Générateur de Robots.txt

  1. 1

    Ajoutez des règles d'exploration

    Cliquez sur Ajouter une règle et définissez le User-agent, choisissez Allow ou Disallow, et saisissez le chemin auquel chaque règle doit s'appliquer.

  2. 2

    Définissez les directives facultatives

    Ajoutez les URL de vos sitemaps (une par ligne) et un crawl-delay facultatif en secondes pour contrôler la façon dont les moteurs de recherche explorent votre site.

  3. 3

    Générez le fichier

    Cliquez sur Générer le robots.txt pour construire un fichier correctement formaté à partir de vos règles et directives.

  4. 4

    Copiez ou téléchargez

    Utilisez Copier dans le presse-papiers ou Télécharger le robots.txt, puis envoyez le fichier à la racine de votre domaine (votresite.com/robots.txt).

Questions fréquentes

À quoi sert un fichier robots.txt ?
Un fichier robots.txt indique aux robots d'exploration des moteurs de recherche les parties de votre site auxquelles ils peuvent accéder ou non. Il utilise les directives User-agent, Allow et Disallow et se place à la racine de votre domaine pour que les robots le lisent avant l'exploration.
Comment fonctionnent les règles Allow et Disallow ?
Disallow empêche les robots d'accéder à un chemin, tandis qu'Allow en autorise un explicitement, ce qui est utile pour ouvrir un sous-dossier au sein d'un répertoire par ailleurs bloqué. Vous pouvez cibler tous les robots avec le User-agent pour tous les robots, ou écrire des règles distinctes pour des robots spécifiques comme Googlebot.
À quoi sert le crawl-delay ?
Le crawl-delay suggère le nombre de secondes qu'un robot doit attendre entre deux requêtes, ce qui peut réduire la charge serveur. Notez que tous les moteurs de recherche ne le respectent pas ; Google, par exemple, ignore le crawl-delay et préfère les réglages de fréquence d'exploration dans la Search Console.
Pourquoi ajouter une ligne de sitemap ?
Inclure une directive Sitemap indique aux robots l'emplacement de votre sitemap XML afin qu'ils découvrent vos pages plus efficacement. L'outil vous permet de lister plusieurs URL de sitemaps, une par ligne, et les inscrit dans le fichier pour vous.
Le robots.txt garantit-il qu'une page reste hors de Google ?
Non. Disallow empêche l'exploration, mais une URL bloquée peut tout de même être indexée si d'autres pages y renvoient. Pour exclure une page des résultats de recherche, utilisez une balise meta ou un en-tête noindex sur une page explorable, plutôt que de vous fier au robots.txt seul.

Outils similaires

Continuez avec ces outils pratiques

Générateur de Meta Tags

Vérificateur de Chaînes de Redirection URL

Open Graph Previewer

Encodeur/Décodeur d'Entités HTML

Visualiseur d'En-têtes HTTP

Extracteur d'URL de Sitemap