Warum ist das wichtig?
Robots.txt tells crawlers which parts of your site they may and may not visit. A missing or incorrectly configured robots.txt can cause Google not to index pages or crawl private sections.
Wie beheben Sie es?
Create a robots.txt at /robots.txt. Block /wp-admin/, /private/ and other non-public directories. Reference your sitemap.xml. Test your robots.txt via the Google Search Console robots.txt tester.
Dieser Check bewertet von 0 bis 100. Unter 50 ist ein Fail, 50 bis 89 eine Warnung, 90 oder höher ist gut. Nach jedem Crawl sehen Sie die Note pro Seite im Report, mit einer kurzen Erklärung.
Häufige Fragen
Checks if a valid robots.txt file is present.
Robots.txt tells crawlers which parts of your site they may and may not visit. A missing or incorrectly configured robots.txt can cause Google not to index pages or crawl private sections.
Create a robots.txt at /robots.txt. Block /wp-admin/, /private/ and other non-public directories. Reference your sitemap.xml. Test your robots.txt via the Google Search Console robots.txt tester.
Beispiel
Kopieren Sie den Code unten und passen Sie Domain, Markenname und Inhalt an Ihre Situation an.
User-agent: * Allow: / Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /private/ Disallow: /checkout/ Disallow: /*?s= # Allow AI crawlers User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Google-Extended Allow: / Sitemap: https://www.yourdomain.com/sitemap.xml