Robots.txt Generator
Construa um arquivo robots.txt com regras de permitir/negar e uma URL de mapa do site.
What is Robots.txt Generator?
Um arquivo robots.txt é um arquivo de texto simples colocado na raiz de um site (por exemplo, example.com/robots.txt) que informa aos crawlers de mecanismos de busca quais partes do site eles podem solicitar. Essa ferramenta constrói um para você: defina quais caminhos são permitidos ou negados para um agente de usuário, opcionalmente aponte os crawlers para o seu mapa do site e obtenha um arquivo robots.txt pronto para uso — sem precisar lembrar da sintaxe exata das diretivas ou da ordem das linhas. Ele é executado inteiramente no seu navegador, então nada do que você digita é enviado para lugar algum; você simplesmente copia o resultado e o carrega na raiz do seu site.
How to Use Robots.txt Generator
- Deixe o User-agent como "*" para direcionar todos os crawlers, ou insira um nome de bot específico (por exemplo, "Googlebot").
- Liste os caminhos que você deseja que os crawlers acessem no campo Allow, um por linha.
- Liste quaisquer caminhos que você deseja manter os crawlers fora no campo Disallow, um por linha (por exemplo, /admin/).
- Opcionalmente, adicione a URL do seu mapa do site para que os crawlers possam descobri-lo diretamente do robots.txt.
- Copie o texto gerado e salve-o como robots.txt na raiz do seu site (por exemplo, https://example.com/robots.txt).
Examples
Permitir tudo, apontar para um mapa do site
Input: User-agent: *, Allow: /, Sitemap: https://example.com/sitemap.xml
Output: User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Bloquear uma área de administração
Input: User-agent: *, Disallow: /admin/
Output: User-agent: * Disallow: /admin/
Common Mistakes
- Fazer o upload do robots.txt em algum lugar que não seja a raiz do domínio — os crawlers só verificam /robots.txt, não qualquer subpasta.
- Confiar apenas em Disallow para esconder conteúdo sensível ou privado — robots.txt é publicamente legível e não é um mecanismo de controle de acesso; qualquer pessoa pode visualizar exatamente quais caminhos você está tentando esconder.
- Disallow um caminho que também é referenciado no seu sitemap — isso envia aos crawlers um sinal misto sobre se a página deve ser indexada.
- Esquecer que os caminhos Disallow são sensíveis a maiúsculas e minúsculas e correspondem a prefixos — /Private/ não bloqueará /private/, e /admin também corresponderá a /admin-panel/ desde que seja uma correspondência de prefixo.
Why Use This Tool
- Não há sintaxe para memorizar — preencha os campos e obtenha saída formatada corretamente.
- Executa-se inteiramente no lado do cliente; nada do que você digita é enviado para um servidor.
- Normaliza os caminhos (adiciona uma barra à frente) para que pequenos erros de digitação não produzam um arquivo quebrado.
- Cópia de um clique do robots.txt finalizado, pronto para fazer o upload.