robots.txt-Fehler, die dich unsichtbar machen

Letzten Monat noch: Disallow: / aus Staging, versehentlich mit auf Produktion. Zwei Tage unsichtbar für höfliche Crawler. Search Console sagte „ausgeschlossen“. Die Site „funktionierte“ in Chrome bestens. Das ist die Falle: du siehst sie, Googlebot nicht.

Disallow: /wp-admin ist in Ordnung. Disallow: /wp- kann Beiträge, Medien oder die Sitemap mitnehmen. Zu breit, zu spät gesehen. Dasselbe mit /api, wenn dahinter HTML hängt, oder einem Wildcard, der /blog mitnimmt, weil jemand /b sperren wollte.

Die Datei gehört auf https://deinedomain.de/robots.txt. Kein 3xx zu einem anderen Host. Eine Sitemap:-Zeile, deren XML 200 liefert. CSS und JS, die die Seite rendert, nicht blockieren, sonst denkt Google, die Site sei kaputt. KI-Bots (GPTBot, ClaudeBot, PerplexityBot) bewusst ja oder nein, nicht über eine Gruppe, die zufällig zu weit ist.

Das ist kein einmaliger Job. Jeder Deploy. Fünf Sekunden. Datei öffnen, nach Disallow: / suchen, Sitemap-Zeile prüfen. Spart dir ein Wochenende, in dem du erklärst, warum der Traffic weg ist. Und halt Staging-Regeln in einer Datei, die nie mit auf Live geht.

Ich schaue auch, ob www oder http eine zweite robots.txt ausliefert. Ein 301 zur Kanonischen ist okay. Zwei verschiedene Dateien sind, wie ein Bot die falschen Regeln bekommt. Und sitzt ein CDN davor: die Datei durchreichen, nicht selbst 200 mit leerem Body. Habe ich gesehen. Die Site „lief“. Der Crawler las nichts.