Gerador de robots.txt — gerencie permissões e bloqueios de rastreadores de IA
Seu robots.txt diz ao Google quais páginas rastrear e indexar — uma regra errada pode esconder seu site inteiro da busca. Gere um arquivo robots.txt no seu navegador. Passos: escolha os user-agents, adicione caminhos Allow / Disallow e uma linha Sitemap, e copie o resultado em texto puro com as regras de sintaxe e os user-agents atualizados de rastreadores de IA explicados. Roda localmente — nada é enviado. Exemplo: bloquear o GPTBot enquanto mantém o Googlebot totalmente habilitado.
Marque os rastreadores que deseja incluir e adicione caminhos para cada grupo.
Como funciona
Selecione os rastreadores que você quer atingir, adicione caminhos Allow e Disallow para cada grupo, opcionalmente uma linha Sitemap e clique em Gerar. A página monta o arquivo em texto puro seguindo o layout do RFC 9309: uma linha User-agent por grupo, suas linhas Allow/Disallow abaixo, linha em branco entre grupos e a linha Sitemap no fim. Copie o resultado para a raiz do seu site em /robots.txt.
Regras de sintaxe importantes
As regras de robots.txt são prefixos de caminho, não padrões, e um rastreador aplica o último grupo que o corresponder no arquivo. Estas são as regras que este gerador segue.
- Ordem dos grupos: uma linha User-agent começa um grupo para aquele rastreador; uma linha em branco o termina. O último grupo que corresponde a um rastreador vence.
- Correspondência por prefixo: Allow e Disallow correspondem a prefixos de caminho, não substrings nem regex. Apenas * e $ são especiais (RFC 9309).
- Disallow: / bloqueia esse agente em todo o site. Disallow com valor vazio permite tudo para esse agente.
- Sitemap é uma extensão, não parte do RFC 9309. Não diferencia maiúsculas e pode ir em qualquer lugar, embora seja usual colocá-lo no fim.
Exemplo
Muestra: Googlebot com Allow: / (totalmente habilitado), GPTBot com Disallow: / (bloqueado) e uma linha Sitemap apontando para /sitemap.xml. A saída reflete esse layout: um grupo por rastreador, linha em branco entre grupos e sitemap no fim.
Quando usar
- Sites novos: gere um robots.txt inicial que mantém os buscadores habilitados e oculta caminhos de staging privados.
- Controle de rastreadores de IA: bloqueie GPTBot, ClaudeBot, Google-Extended, CCBot ou PerplexityBot para treinamento ou extração de resumos sem tocar no Googlebot.
- Descoberta: combine robots.txt com uma linha Sitemap para que os rastreadores encontrem seu sitemap.
Frequently asked questions
O que acontece se eu escrever Disallow: / ?
Ele diz àquele rastreador para não buscar nenhuma URL sob a raiz do site. Se o Googlebot receber Disallow: /, suas páginas podem sumir do Google Search. Para um caminho de staging use Disallow: /private/ em vez disso.
Como bloqueio rastreadores de IA como o GPTBot?
Crie um grupo com o User-agent do rastreador (por exemplo GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) e adicione Disallow: /. Consulte a documentação oficial do rastreador, pois rastreadores de IA atualizam seus user-agents e faixas de IP de tempos em tempos.
Onde deve ficar a linha Sitemap?
A posição não afeta como os buscadores a leem, mas a convenção a coloca no fim do arquivo. O gerador a anexa por último quando você informa uma URL.
Meu robots.txt é enviado para algum lugar?
Não. O arquivo é gerado no seu navegador e nunca é enviado a um servidor. Feche a aba e nada é mantido.
Related tools
Dúvidas ou feedback
Algo pouco claro, quebrado ou faltando? Escreva abaixo — lemos cada mensagem sobre estas ferramentas.