robots.txt-Fehler, die eine Site unsichtbar machen

robots.txt legt fest, welche Pfade höfliche Crawler abrufen dürfen. Eine Regel, die auf Staging gehört, darf nie unverändert auf Produktion. Disallow: / sperrt den gesamten Host für Bots, die die Datei respektieren. Im Browser wirkt die Site weiterhin normal; Search Console meldet dann Ausschluss. Dieser Unterschied zwischen menschlichem Traffic und Crawl-Traffic macht den Fehler schwer sichtbar, bis Rankings einbrechen. Genau deshalb gehört robots.txt in jeden Deploy-Check, nicht in ein einmaliges Audit.

Disallow, der zu breit ist

Disallow: /wp-admin ist eine sinnvolle Grenze. Disallow: /wp- kann Beiträge, Medien oder die Sitemap mitnehmen, weil das Präfix zu weit ist. Dasselbe gilt für /api, wenn dahinter indexierbares HTML liegt, oder für einen Wildcard, der /blog erfasst, obwohl nur /b gemeint war. Jede zu breite Regel kostet Sichtbarkeit, ohne dass das HTML selbst kaputt ist. Für KI-Bots wie GPTBot, ClaudeBot oder PerplexityBot gilt eine bewusste Entscheidung pro User-Agent, nicht eine zufällig zu weite Gruppenregel, die Training oder Zitation sperrt, ohne dass das so gemeint war.

Die Datei gehört auf den kanonischen Host, etwa https://ihredomain.de/robots.txt, ohne 3xx zu einem anderen Host. Eine Sitemap:-Zeile muss auf ein XML mit Status 200 zeigen. CSS und JavaScript, die die Seite zum Rendern braucht, gehören nicht hinter Disallow: sonst kann Google das Layout als defekt werten, während Besucher noch eine saubere Seite sehen.

Deploy, CDN und doppelte Hosts

Nach jedem Deploy verdient die Datei einen kurzen Check auf Disallow: / und die Sitemap-Zeile. Staging-Regeln gehören in eine separate Datei, die nie mit auf Live geht. www und non-www dürfen nicht je eine andere robots.txt ausliefern: ein 301 zum kanonischen Host reicht; zwei verschiedene Dateien geben Bots widersprüchliche Anweisungen. Sitzt ein CDN davor, muss es die echte Datei durchreichen. Ein 200 mit leerem Body wirkt gesund, doch der Crawler liest keine einzige Regel und behandelt die Site so, als gäbe es keine Richtlinien, oder schlimmer, als wäre alles offen oder geschlossen, ohne dass das jemand prüft.