Eine XML-Sitemap, der Suchmaschinen folgen

Eine Sitemap sagt: hier sind die URLs, die zählen. Ist die Hälfte 301 oder 404, lernt der Crawler, dass er deine Liste ignorieren kann. Ich habe Indexe mit 80.000 Zeilen gesehen, von denen ein Drittel Parameter-Müll war. Denen folgt niemand treu. Ein Plugin, das „alles“ dumpte, inklusive Danke-Seiten.

Nur kanonische URLs, Status 200, derselbe Host wie live. lastmod nur, wenn du ihn wirklich aktualisierst, sonst lügst du jeden Tag. Über 50.000 splitten. Keine Suchergebnisse, kein Warenkorb, keine alte Paginierung. Und keine URL, die in robots.txt auf Disallow steht. Das ist mit sich selbst streiten.

Die URL in robots.txt und in Search Console. Nur eine von beiden ist, wie sie verloren geht. Zwei Sitemaps, die sich ein bisschen überlappen, geht. Zwei, die sich widersprechen, nicht. Index now, index later: eine wählen.

Eine Sitemap-URL, die 404 liefert, ist kein „Achtung“. Das ist ein harter Fehler. Nach einem Content-Release kurz prüfen, ob die neuen Stücke drin sind und die alten raus. Mehr Drama braucht eine Sitemap nicht. Klein, sauber, derselbe Host. Das ist der ganze Trick.

Ich crawle die Sitemap-URL selbst, nicht nur die Seiten darin. 301t das XML auf einen anderen Host, oder fehlt Gzip und wiegt 8 MB, folgt ihm niemand treu. Ein Index mit ein paar hundert sauberen URLs schlägt drei Indexe voller Filter. Langweilig. Auch die einzige Variante, die bleibt.