Gerador de robots.txt
Crie um robots.txt válido: permita ou bloqueie crawlers, bloqueie caminhos com curingas, adicione exceções Allow, Crawl-delay, URLs de sitemap e bloqueie bots de treinamento de IA.
Caminhos começam com /. * corresponde a qualquer sequência e $ marca o fim da URL.
Exceções dentro de pastas bloqueadas; vale a regra mais específica.
Respeitado por Bing e Yandex; o Google ignora.
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
O que é Gerador de robots.txt?
Este gerador monta um arquivo robots.txt de acordo com o RFC 9309. Escolha se os crawlers podem acessar o site, liste os caminhos a bloquear (com os curingas * e $) e as exceções Allow, acrescente um Crawl-delay opcional e as URLs dos seus sitemaps e, se quiser, um grupo que bloqueia crawlers de treinamento e de busca por IA, como GPTBot, ClaudeBot, Google-Extended, CCBot e PerplexityBot.
Como usar Gerador de robots.txt
- Escolha a regra padrão: permitir o rastreamento, exceto os caminhos listados, ou bloquear o site inteiro.
- Digite os caminhos bloqueados (Disallow) e as exceções Allow, um por linha, cada um começando com /.
- Acrescente um Crawl-delay, se precisar, e as URLs dos seus sitemaps.
- Marque "Bloquear também os crawlers de IA…" se quiser ficar fora do treinamento e da busca por IA.
- Copie ou baixe o robots.txt e envie-o para a raiz do seu site.
Exemplo
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Quando usar Gerador de robots.txt
Use para impedir que os crawlers percam tempo com URLs de administração, carrinho, busca ou parâmetros, para indicar o seu sitemap ou para ficar fora dos crawlers de IA. O robots.txt é apenas uma recomendação: ele não esconde páginas nem remove URLs indexadas – para isso, use noindex ou autenticação –, e bots maliciosos o ignoram.
Como funciona Gerador de robots.txt
A ferramenta escreve um grupo User-agent: * com as suas linhas Allow e Disallow (um Disallow: vazio quando nada é bloqueado, o que mantém o grupo válido), depois um grupo opcional listando os user agents de IA com Disallow: / e, por fim, as linhas Sitemap. Linhas que não começam com / ou * são sinalizadas, porque os crawlers as ignoram. O Crawl-delay só é acrescentado quando é um número.
Casos de Uso Comuns
- Bloquear /admin/ e /cart/ e permitir o resto de uma loja.
- Bloquear um site de homologação inteiro para os crawlers.
- Ficar fora do GPTBot, do ClaudeBot e do Google-Extended.
- Declarar vários arquivos de sitemap.
Perguntas Frequentes
O Disallow remove uma página do Google?
Não. Uma URL bloqueada ainda pode ser indexada a partir de links, só que sem conteúdo. Use uma meta tag noindex (e permita o rastreamento) para mantê-la fora dos resultados.
O Google respeita o Crawl-delay?
Não. O Google o ignora; o Bing e o Yandex o respeitam.
Bloquear o Google-Extended me tira da Busca do Google?
Não. O Google-Extended só controla o uso do seu conteúdo para o treinamento do Gemini e da Vertex AI; o Googlebot continua rastreando para a busca.