Gerador de robots.txt
Escreva um robots.txt que faça o que você pretende — e teste qualquer URL contra ele da maneira que o Google faz.
- Seus dados nunca saem do seu dispositivo
- 100% grátis
- Sem cadastro
- Funciona offline após a primeira carga
Como criar um arquivo robots.txt
- Escolha um modelo ou vá buscar seu robots.txt atual.
- Adicione regras e seu mapa do site e corrija quaisquer avisos.
- Teste alguns URLs e, em seguida, baixe robots.txt e faça o upload para a raiz do seu site.
Sobre: Gerador de robots.txt
Crie, edite e teste robots.txt.
Ele funciona no seu navegador, por isso é instantâneo e privado, e suas configurações são lembradas neste dispositivo.
Ideal para
- Novos sites e redesenhos
- Bloqueando páginas de administração, carrinho e pesquisa
- Controlando rastreadores AI
Dica: Nunca bloqueie arquivos CSS e JavaScript — O Google precisa deles para renderizar suas páginas.
Perguntas frequentes
Onde eu coloco robots.txt?
Na raiz do seu domínio, então ele abre em https://yourdomain.com/robots.txt. Cada subdomínio precisa de seu próprio arquivo.
Não permite remover uma página do Google?
Não ele só para de rastrear. Uma página bloqueada ainda pode ser indexada se outros sites vincularem a ela. Para manter uma página fora da pesquisa, permita o rastreamento e adicione uma meta tag de robôs noindex.
Como faço para bloquear rastreadores AI?
Use o modelo "Block AI training crawlers". Ele não permite GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot e Applebot-Extended enquanto os motores de busca normais ainda podem rastrear.
Como o testador decide?
Como o Google: o grupo de agentes de usuário mais específico se aplica, a regra de correspondência mais longa vence e Permitir ganha um empate. * corresponde a qualquer coisa e $ marca o fim do URL.
Alguma coisa foi enviada para o seu servidor?
Somente quando você carrega um robots.txt ao vivo: nosso servidor busca esse arquivo para você. Regras que você escreve e testa permanecem no seu navegador.