24 Oktober 2026

CSS und JavaScript in robots.txt gesperrt

Wenn robots.txt CSS oder JavaScript sperrt, crawlt Googlebot die Seite trotzdem, rendert aber eine nackte Version ohne Layout, Menüs und verlässlichen LCP.

Was Disallow auf CSS und JS wirklich bewirkt

Die robots.txt entscheidet, ob ein Crawler eine URL abrufen darf, nicht ob sie indexiert werden darf. Mit Disallow: /css/ oder Disallow: /js/ lädt Googlebot diese Dateien nicht. Das HTML-Dokument bleibt oft erlaubt. Googlebot erhält also Markup, aber nicht die Stylesheets und Skripte für Layout, Navigation und interaktive Inhalte. Die gerenderte Seite in der Search Console wirkt dann wie ein nackter Dokumentbaum: Text ohne Spalten, Menüs die nicht öffnen, und Schaltflächen ohne Wirkung.

Das unterscheidet sich vom Sperren der Seiten-URL. Sperren Sie das Dokument, kommt der Crawler nicht hinein. Sperren Sie nur Assets, holt er die URL trotzdem und rendert eine unvollständige Fassung. Links, die JavaScript erst in das DOM schreibt, fehlen. Bilder über CSS oder Lazy-Load-Skripte bleiben unsichtbar. Der Largest Contentful Paint im Browser ist nicht derselbe LCP, den Googlebot misst, weil das Hero-Element ohne CSS oder JS nie erscheint.

Warum der Fehler wiederkehrt

Alte Security-Checklisten empfahlen manchmal, alles unter /assets/ oder /static/ "für Bots" zu sperren. Das schützt keine sensiblen Daten: CSS und JS sind für jeden Browser öffentlich. Es hindert nur Googlebot an einem brauchbaren Render. CDN-Pfade, gehashte Dateinamen und eigene Asset-Hosts vergrößern den Schaden: ein zu breites Disallow auf /wp-content/, /_next/ oder /cdn/ trifft sofort alle Styles und Bundles.

Prüfen Sie deshalb den gerenderten Screenshot in der URL-Prüfung, nicht nur den HTTP-Status der Dokument-URL. Ist das Layout leer oder verschoben, suchen Sie in der robots.txt nach Regeln zu .css, .js, /assets oder Ihrem Bundle-Ordner. Entfernen Sie diese Regeln für öffentliche Dateien. Behalten Sie Disallow für echte Sperrzonen wie Staging, Admin und private APIs. Wer Crawl-Fehler systematisch verfolgen will, kann das in einem technischen SEO-Check mitprüfen.

Ein einziges blockiertes Stylesheet kann interne Links im Hamburger-Menü verbergen. Ein einziges blockiertes Hydration-Skript kann Filter oder Pagination vor Googlebot verstecken, während Besucher im normalen Browser alles sehen. Genau diese Lücke zwischen Nutzeransicht und Crawler-Render ist die Falle: Rankings wirken unruhig, obwohl die Ursache eine zu strenge robots.txt ist.

Häufige Fragen

Ja, für öffentliche Seiten müssen diese Dateien crawlbar sein. Sperren Sie sie nicht per Disallow, wenn Googlebot korrekt rendern soll.

Ja. Disallow auf der Seite hält den Crawler draußen. Disallow auf Assets holt HTML, lässt aber Styles, Skripte, Links und Layout weg.

Prüfen Sie in der URL-Prüfung Screenshot und blockierte Ressourcen. Leeres oder verschobenes Layout deutet oft auf robots.txt-Regeln zu CSS oder JS hin.

Wollen Sie das sofort auf Ihrer Site sehen?

Erster Report kostenlos. Danach auto-scan, PDF in Ihrer Mail und Alerts, wenn ein Score sinkt.

Kostenlosen Report starten
Kostenlos starten