Step 1
Selecciona si permitir a todos, bloquear a todos o añadir rutas personalizadas.
Usa NewTools para crear reglas robots.txt directamente en tu navegador. Genera reglas de permitir, bloquear, disallow personalizado y sitemap para un robots.txt básico.
Configuración rápida de Robots.txt. Crea instantáneamente un archivo robots.txt estándar para guiar a los buscadores.
Selecciona si permitir a todos, bloquear a todos o añadir rutas personalizadas.
Opcionalmente pega la URL de tu Sitemap.
Genera y descarga tu archivo robots.txt.
Crea un archivo 'Allow: /' estándar para un sitio nuevo.
Evita que los motores indexen directorios como /admin.
Genera un archivo que bloquee a todos los rastreadores en sitios de prueba.
Sube siempre el archivo exactamente a la raíz de tu dominio (ej. example.com/robots.txt).
Asegúrate de que tus rutas personalizadas comiencen con una barra inclinada (/).
Esta herramienta ensambla directivas estándar localmente en tu navegador sin llamadas a APIs de terceros.
No. Solo genera la configuración de texto. Debes descargarlo y subirlo a la raíz de tu sitio manualmente.
No. Simplemente añade la URL que proporciones al texto.
Este generador aplica reglas globalmente usando 'User-agent: *'.