Gerador de Robots.txt
Crie um arquivo robots.txt para controlar como mecanismos de busca e bots acessam as páginas do seu site
Bloquear bots de IA específicos (opcional)
O que é a ferramenta Gerador de Robots.txt da Fastols?
Esta ferramenta gera o arquivo Robots.txt, que controla como os mecanismos de busca rastreiam as páginas do site, definindo uma regra padrão de permissão ou bloqueio, além de caminhos personalizados e robôs específicos que podem ser bloqueados.
Ela é útil para donos de sites que precisam ajustar o comportamento dos mecanismos de busca em relação a determinadas seções do site, como páginas administrativas ou arquivos internos.
Criado sem qualquer chamada ao servidor
As regras do seu robots.txt são montadas diretamente no navegador a partir das opções que você escolhe.
Pré-visualização ao vivo do arquivo
Veja o resultado do robots.txt atualizar a cada regra alternada.
Pronto para copiar, sempre grátis
Baixe ou copie o arquivo final sem precisar se cadastrar.
Como criar um arquivo Robots.txt em passos simples
- 1Escolha a regra padrão: permitir todos os robôs, bloqueá-los completamente, ou definir caminhos personalizados.
- 2Insira os caminhos de permissão e bloqueio personalizados, além do tempo de atraso de rastreamento, caso queira definir um.
- 3Selecione quaisquer robôs específicos que deseja bloquear na lista de robôs disponível.
- 4Adicione o link do arquivo Sitemap, se houver, e depois copie o conteúdo do arquivo ou baixe-o diretamente com o nome robots.txt.
Perguntas frequentes sobre o Gerador de Robots.txt
Quais opções estão disponíveis para a regra padrão do arquivo Robots.txt?
É possível escolher entre permitir que todos os robôs rastreiem o site, bloqueá-los completamente, ou definir caminhos personalizados de permissão e bloqueio.
Como adicionar caminhos de permissão e bloqueio personalizados?
Os caminhos são digitados nos campos de permissão e bloqueio, um caminho por linha, e a ferramenta adiciona automaticamente uma barra no início de qualquer caminho que não comece com ela.
É possível bloquear robôs de rastreamento específicos pelo nome?
Sim, a ferramenta permite escolher robôs específicos de uma lista pronta para bloqueá-los separadamente da regra geral do site.
É possível adicionar o link do Sitemap ao arquivo resultante?
Sim, há um campo dedicado para inserir o link do arquivo Sitemap, que é adicionado automaticamente como uma linha separada no final do arquivo Robots.txt.
Como obter o arquivo Robots.txt pronto para enviar ao site?
É possível copiar o conteúdo do arquivo diretamente da caixa de resultado, ou clicar no botão de download para obter um arquivo robots.txt pronto para enviar à raiz do site.