¿Por qué importa esto?
Robots.txt tells crawlers which parts of your site they may and may not visit. A missing or incorrectly configured robots.txt can cause Google not to index pages or crawl private sections.
¿Cómo se soluciona?
Create a robots.txt at /robots.txt. Block /wp-admin/, /private/ and other non-public directories. Reference your sitemap.xml. Test your robots.txt via the Google Search Console robots.txt tester.
Este check puntúa de 0 a 100. Bajo 50 es un fallo, 50 a 89 un aviso, 90 o más es bueno. Tras cada crawl ve la nota por página en el informe, con una breve explicación.
Preguntas frecuentes
Checks if a valid robots.txt file is present.
Robots.txt tells crawlers which parts of your site they may and may not visit. A missing or incorrectly configured robots.txt can cause Google not to index pages or crawl private sections.
Create a robots.txt at /robots.txt. Block /wp-admin/, /private/ and other non-public directories. Reference your sitemap.xml. Test your robots.txt via the Google Search Console robots.txt tester.
Ejemplo
Copie el código de abajo y adapte el dominio, la marca y el contenido a su situación.
User-agent: * Allow: / Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /private/ Disallow: /checkout/ Disallow: /*?s= # Allow AI crawlers User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Google-Extended Allow: / Sitemap: https://www.yourdomain.com/sitemap.xml