Generador de robots.txt
Escribe un archivo robots.txt que haga lo que quieras — y prueba cualquier URL en contra de ella de la manera en que lo hace Google.
- Tus datos nunca salen de tu dispositivo
- 100 % gratis
- Sin registro
- Funciona sin conexión después de la primera carga
Cómo crear un archivo robots.txt
- Elige una plantilla o busca tu robots.txt actual.
- Agregue reglas y su mapa del sitio, y corrija cualquier advertencia.
- Prueba algunas URL, luego descarga robots.txt y súbelo a la raíz de tu sitio.
Acerca de Generador de robots.txt
Crea, edita y prueba robots.txt.
Funciona en su navegador, por lo que es instantáneo y privado, y su configuración se recuerda en este dispositivo.
Ideal para
- Nuevos sitios web y rediseños
- Bloqueo de páginas de administración, carrito y búsqueda
- Control de orugas AI
Consejo: Nunca bloquee archivos CSS y JavaScript — Google los necesita para renderizar sus páginas.
Preguntas frecuentes
¿Dónde pongo robots.txt?
En la raíz de su dominio, por lo que se abre en https://yourdomain.com/robots.txt. Cada subdominio necesita su propio archivo.
¿Eliminar una página de Google?
No, solo deja de rastrear. Una página bloqueada aún se puede indexar si otros sitios se vinculan a ella. Para mantener una página fuera de la búsqueda, permita el rastreo y agregue una metaetiqueta de robots noindex.
¿Cómo bloqueo los rastreadores AI?
Usa la plantilla “Bloquear rastreadores de entrenamiento AI”, que no permite GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot y Applebot-Extended mientras los motores de búsqueda normales aún pueden rastrear.
¿Cómo decide el tester?
Al igual que Google: se aplica el grupo usuario-agente más específico, la regla de coincidencia más larga gana y Permitir gana un empate. coincide con cualquier cosa y $ marca el final de la URL.
¿Hay algo enviado a su servidor?
Solo cuando carga un robots.txt en vivo: nuestro servidor obtiene ese archivo por usted. Reglas que escribe y prueba permanecen en su navegador.