Regras de rastreamento
Sobre este gerador de robots.txt
O arquivo robots.txt dá instruções aos rastreadores antes que visitem um site. Deve ser texto simples na raiz, por exemplo https://example.com/robots.txt. As regras podem liberar o site, pedir que certos caminhos não sejam visitados ou bloquear o rastreamento de tudo.
São pedidos para robôs que respeitam regras, não controle de acesso. O arquivo é público, alguns bots podem ignorá-lo e uma URL bloqueada ainda pode aparecer na busca sem o texto da página. Nunca use robots.txt para proteger senhas, dados de clientes ou áreas privadas.
A linha Sitemap informa onde está o mapa XML. Não substitui o envio pela conta do buscador, mas oferece outra forma confiável de encontrá-lo.
O que cada linha significa
Em muitos servidores maiúsculas mudam o caminho. Confira o arquivo antes de publicar.
| Linha | Significado |
|---|---|
| User-agent: * | As regras seguintes valem para todos os rastreadores. |
| Allow: / | Rastreadores podem visitar todo o site. |
| Disallow: /path/ | Pede que não visitem este caminho nem as URLs dentro dele. |
| Sitemap: | Fornece o endereço público completo do sitemap XML. |
Como criar um arquivo robots.txt
- Escolha o acesso: Libere o site, liste caminhos ou bloqueie tudo somente se essa for a intenção.
- Adicione o sitemap: Use a URL pública completa do sitemap.xml e confira cada regra.
- Publique na raiz: Baixe ou copie o arquivo e coloque em /robots.txt no mesmo host.
Perguntas frequentes
Robots.txt esconde informações privadas?
Não. Ele é público e só pede que robôs não visitem. Proteja páginas privadas com autenticação e permissões corretas no servidor.
Disallow remove uma página do Google?
Não de forma confiável. Uma URL bloqueada pode aparecer se receber links. Para remover, permita o rastreamento e retorne noindex, ou use a ferramenta de remoção do buscador.
Onde robots.txt deve ser enviado?
Na raiz do host e protocolo exatos, como https://example.com/robots.txt. Um arquivo em /pasta/robots.txt não controla o site inteiro.
Devo adicionar Crawl-delay?
Normalmente não. O Google não aceita Crawl-delay no robots.txt e outros robôs interpretam de modos diferentes. Use ajustes do buscador ou controles do servidor.