Générateur de robots.txt
Créez un robots.txt valide : autorisez ou bloquez les robots, interdisez des chemins avec jokers, ajoutez des exceptions Allow, Crawl-delay, sitemaps et bloquez les bots d'IA.
Les chemins commencent par /. * correspond à n’importe quels caractères et $ marque la fin de l’URL.
Exceptions dans des dossiers interdits ; la règle la plus précise l’emporte.
Respecté par Bing et Yandex ; Google l’ignore.
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Qu'est-ce que Générateur de robots.txt ?
Ce générateur construit un fichier robots.txt conforme à la RFC 9309. Choisissez si les robots peuvent accéder au site, listez les chemins à interdire (avec les jokers * et $) et les exceptions Allow, ajoutez un Crawl-delay facultatif et vos URL de sitemap, et ajoutez éventuellement un groupe qui bloque les robots d'entraînement et de recherche d'IA comme GPTBot, ClaudeBot, Google-Extended, CCBot et PerplexityBot.
Comment utiliser Générateur de robots.txt
- Choisissez la règle par défaut : autoriser l'exploration sauf les chemins listés, ou bloquer tout le site.
- Saisissez les chemins Disallow et les exceptions Allow, un par ligne, chacun commençant par /.
- Ajoutez un Crawl-delay si besoin et vos URL de sitemap.
- Cochez « Bloquer aussi les robots d'IA » si vous voulez refuser l'entraînement et la recherche par IA.
- Copiez ou téléchargez robots.txt et placez-le à la racine de votre site.
Exemple
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Quand utiliser Générateur de robots.txt
Utilisez-le pour éviter que les robots perdent du temps sur les URL d'administration, de panier, de recherche ou à paramètres, pour les diriger vers votre sitemap ou pour refuser les robots d'IA. robots.txt est indicatif : il ne cache pas les pages et ne retire pas les URL indexées (utilisez noindex ou une authentification pour cela), et les robots malveillants l'ignorent.
Comment fonctionne Générateur de robots.txt
L'outil écrit un groupe User-agent: * avec vos lignes Allow et Disallow (un Disallow: vide si rien n'est bloqué, ce qui garde le groupe valide), puis un groupe facultatif listant les user agents d'IA avec Disallow: /, puis les lignes Sitemap. Les lignes qui ne commencent pas par / ou * sont signalées car les robots les ignorent. Crawl-delay n'est ajouté que si c'est un nombre.
Cas d'utilisation courants
- Bloquer /admin/ et /cart/ tout en autorisant le reste d'une boutique.
- Bloquer un site de préproduction entier pour les robots.
- Refuser GPTBot, ClaudeBot et Google-Extended.
- Déclarer plusieurs fichiers sitemap.
Questions Fréquentes
Disallow retire-t-il une page de Google ?
Non. Une URL bloquée peut quand même être indexée à partir de liens, mais sans contenu. Utilisez une balise meta noindex (en autorisant l'exploration) pour l'exclure des résultats.
Google respecte-t-il Crawl-delay ?
Non. Google l'ignore ; Bing et Yandex le respectent.
Bloquer Google-Extended me retire-t-il de la recherche Google ?
Non. Google-Extended contrôle uniquement l'utilisation de votre contenu pour l'entraînement de Gemini et Vertex AI ; Googlebot continue d'explorer pour la recherche.