Probador de Robots.txt
Comprueba si una URL está permitida o bloqueada por las reglas de tu robots.txt
Ejemplo de robots.txt
Ejemplo común de robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xmlEste ejemplo muestra un robots.txt típico que bloquea directorios administrativos y privados, mientras permite explícitamente el acceso a contenido público.
User Agents Comunes
Bots principales:
- • Googlebot - Rastreador principal de Google
- • Googlebot-Image - Rastreador de imágenes
- • Bingbot - Rastreador de Microsoft Bing
- • Googlebot-News - Rastreador de Google News
Preguntas Frecuentes
Sobre esta herramienta
Esta herramienta te ayuda a validar las reglas de tu archivo robots.txt y comprobar si una URL específica está permitida o bloqueada para diferentes user agents.
Soy Jorge Jaramillo, consultor SEO y creador de productos digitales.