Generador de robots.txt
Crea un robots.txt válido: permite o bloquea rastreadores, bloquea rutas con comodines, añade excepciones Allow, Crawl-delay, URL de sitemap y bloquea bots de IA.
Las rutas empiezan por /. * equivale a cualquier secuencia de caracteres y $ marca el final de la URL.
Excepciones dentro de carpetas bloqueadas; gana la regla más específica.
Lo respetan Bing y Yandex; Google lo ignora.
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
¿Qué es Generador de robots.txt?
Este generador crea un archivo robots.txt según el RFC 9309. Elige si los rastreadores pueden acceder al sitio, enumera las rutas que quieres bloquear (con los comodines * y $) y las excepciones Allow, añade un Crawl-delay opcional y las URL de tu sitemap y, si quieres, un grupo que bloquee los rastreadores de entrenamiento y búsqueda con IA como GPTBot, ClaudeBot, Google-Extended, CCBot y PerplexityBot.
Cómo usar Generador de robots.txt
- Elige la regla por defecto: permitir el rastreo salvo en las rutas indicadas o bloquear todo el sitio.
- Introduce las rutas Disallow y las excepciones Allow, una por línea y empezando cada una por /.
- Añade Crawl-delay si hace falta y las URL de tu sitemap.
- Marca «Bloquear también los rastreadores de entrenamiento y búsqueda con IA» si quieres excluirte del entrenamiento y la búsqueda con IA.
- Copia o descarga el robots.txt y súbelo a la raíz de tu sitio.
Ejemplo
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Cuándo usar Generador de robots.txt
Úsalo para evitar que los rastreadores pierdan tiempo en URL de administración, carrito, búsqueda o con parámetros, para indicarles tu sitemap o para excluirte de los rastreadores de IA. robots.txt es orientativo: no oculta páginas ni elimina URL ya indexadas (para eso usa noindex o autenticación), y los bots maliciosos lo ignoran.
Cómo funciona Generador de robots.txt
La herramienta escribe un grupo User-agent: * con tus líneas Allow y Disallow (un Disallow: vacío cuando no se bloquea nada, lo que mantiene válido el grupo), después un grupo opcional con los user agents de IA y Disallow: /, y luego las líneas Sitemap. Las líneas que no empiezan por / o * se señalan porque los rastreadores las ignoran. Crawl-delay solo se añade si es un número.
Casos de Uso Comunes
- Bloquear /admin/ y /cart/ y permitir el resto de una tienda.
- Bloquear a los rastreadores un sitio de staging completo.
- Excluirte de GPTBot, ClaudeBot y Google-Extended.
- Declarar varios archivos de sitemap.
Preguntas Frecuentes
¿Disallow elimina una página de Google?
No. Una URL bloqueada puede seguir indexándose a partir de enlaces, solo que sin contenido. Usa una meta etiqueta noindex (y permite el rastreo) para mantenerla fuera de los resultados.
¿Respeta Google el Crawl-delay?
No. Google lo ignora; Bing y Yandex lo respetan.
¿Bloquear Google-Extended me sacará de la Búsqueda de Google?
No. Google-Extended solo controla el uso de tu contenido para entrenar Gemini y Vertex AI; Googlebot sigue rastreando para la búsqueda.