Revisa tu robots.txt antes de bloquear algo importante.
Pega el contenido de robots.txt para detectar directivas, sitemaps, reglas problemáticas y probar de forma orientativa si Googlebot podría rastrear una ruta.
Directivas y posibles problemas detectados.
Grupos detectados
Sitemaps declarados
robots.txt controla rastreo, no garantiza desindexación.
Bloquear una URL en robots.txt puede impedir que Google rastree su contenido, pero no es un mecanismo fiable para evitar que una URL aparezca indexada. Para decisiones de indexación deben revisarse las señales adecuadas en cada caso.
Ubicación
El archivo debe estar en el nivel superior del host al que se aplican sus reglas, normalmente /robots.txt.
Rutas
Allow y Disallow se interpretan como rutas relativas a la raíz del host y distinguen mayúsculas y minúsculas.
Sitemap
La directiva Sitemap debe contener una URL absoluta y puede aparecer más de una vez.
Valida también el XML del sitemap.
Un robots.txt correcto no sirve de mucho si el sitemap está roto o contiene URLs inesperadas.