Robots.txt
Controleert of er een geldig robots.txt bestand aanwezig is.
Waarom is dit belangrijk?
Robots.txt vertelt crawlers welke delen van je site ze mogen en niet mogen bezoeken. Ontbrekend of foutief geconfigureerd robots.txt kan ertoe leiden dat Google pagina's niet indexeert of juist privé-secties crawlt.
Hoe los je het op?
Maak een robots.txt aan op /robots.txt. Blokkeer /wp-admin/, /private/ en andere niet-publieke mappen. Verwijs naar je sitemap.xml. Test je robots.txt via de Google Search Console robots.txt tester.
Deze check scoort van 0 tot 100. Onder de 50 is een fail, 50 tot 89 een waarschuwing, 90 of hoger is goed. Na elke crawl zie je de score per pagina in je rapport, met een korte uitleg wat we vonden.
Veelgestelde vragen
Controleert of er een geldig robots.txt bestand aanwezig is.
Robots.txt vertelt crawlers welke delen van je site ze mogen en niet mogen bezoeken. Ontbrekend of foutief geconfigureerd robots.txt kan ertoe leiden dat Google pagina's niet indexeert of juist privé-secties crawlt.
Maak een robots.txt aan op /robots.txt. Blokkeer /wp-admin/, /private/ en andere niet-publieke mappen. Verwijs naar je sitemap.xml. Test je robots.txt via de Google Search Console robots.txt tester.
Voorbeeld
Kopieer de code hieronder en pas de domeinnaam, merknaam en inhoud aan naar jouw situatie.
User-agent: * Allow: / Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /private/ Disallow: /checkout/ Disallow: /*?s= # AI-crawlers toestaan User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Google-Extended Allow: / Sitemap: https://www.yourdomain.nl/sitemap.xml