Errores de robots.txt que te hacen invisible

El mes pasado otra vez: Disallow: / de staging, subido por accidente a producción. Dos días invisible para crawlers educados. Search Console decía «excluido». El sitio «funcionaba» de lujo en Chrome. Esa es la trampa: tú lo ves, Googlebot no.

Disallow: /wp-admin vale. Disallow: /wp- puede llevarse posts, medios o el sitemap. Demasiado ancho, visto demasiado tarde. Lo mismo con /api si detrás hay HTML, o un comodín que se lleva /blog porque alguien quería bloquear /b.

El archivo va en https://tudominio.es/robots.txt. Sin 3xx a otro host. Una línea Sitemap: cuyo XML dé 200. No bloquees el CSS y el JS que la página necesita para pintarse, o Google pensará que el sitio está roto. Bots de IA (GPTBot, ClaudeBot, PerplexityBot) en sí o no a propósito, no por un grupo que se pasa de largo.

Esto no es un trabajo de una vez. Cada deploy. Cinco segundos. Abre el archivo, busca Disallow: /, comprueba la línea del sitemap. Te ahorra un fin de semana explicando por qué se fue el tráfico. Y deja las reglas de staging en un archivo que nunca se vaya a live.

También miro si www o http sirve un segundo robots.txt. Un 301 al canónico vale. Dos archivos distintos es cómo un bot coge las reglas mal. Y si hay un CDN delante: que pase el archivo, no que responda 200 con un body vacío. Lo he visto. El sitio «funcionaba». El crawler no leía nada.