Een XML-sitemap die zoekmachines volgen

Een sitemap zegt: hier zijn de URL’s die ertoe doen. Als de helft 301 of 404 is, leert de crawler dat hij je lijst kan negeren. Ik heb indexen gezien van 80.000 regels waarvan een derde parameter-rommel was. Die volgt niemand trouw. Een plugin die “alles” dumpte, inclusief bedankt-pagina’s.

Alleen canonieke URL’s, status 200, zelfde host als live. lastmod alleen als je hem echt bijwerkt, anders lieg je elke dag. Boven de 50.000 splitsen. Geen zoekresultaten, geen cart, geen oude paginering. En geen URL die in robots.txt op Disallow staat. Dat is jezelf tegenspreken.

Zet de URL in robots.txt én in Search Console. Alleen één van de twee is hoe hij zoekraakt. Twee sitemaps die elkaar deels overlappen mag, twee die elkaar tegenspreken niet. Index nu, index later: kies.

Een URL in de sitemap die 404 geeft is geen “let op”. Dat is een harde fout. Na een content-release even kijken of de nieuwe stukken erin staan en de oude eruit. Meer drama heeft een sitemap niet nodig. Klein, schoon, dezelfde host. Dat is het hele trucje.

Ik crawl de sitemap-URL zelf ook. Niet alleen de pagina’s erin. Als die XML 301t naar een andere host, of gzip mist en 8 MB weegt, volgt niemand hem trouw. Eén index van een paar honderd schone URL’s wint van drie indexen vol filters. Dat is saai. Het is ook het enige dat blijft werken.