27 oktober 2026

crawl-delay in robots.txt die Google negeert

Crawl-delay in robots.txt vertraagt Bingbot en laat Googlebot ongemoeid. Een globale regel onder een sterretje maakt de crawl daardoor ongelijk, ook als de HTML op beide kanten gelijk is.

Wat crawl-delay wel en niet afdwingt

De regel Crawl-delay in robots.txt vraagt een crawler om te wachten tussen twee verzoeken. Google ondersteunt dat veld niet. De documentatie noemt alleen user-agent, allow, disallow en sitemap, en zet crawl-delay er expliciet buiten. Googlebot kan de regel zien en slaat hem over. Het tempo van Google blijft hangen aan de gezondheid van de host en aan hoe vaak de site nieuwe of gewijzigde URL's lijkt te hebben.

Bingbot doet het omgekeerde. Bing honoreert crawl-delay en laat die regel voorgaan op Crawl Control in Bing Webmaster Tools. Het venster loopt van 1 tot 20 seconden, en daarin haalt Bingbot hooguit één URL op. Vijf seconden komt neer op ongeveer 17280 URL's per dag, tien seconden op ongeveer 8640 en twintig seconden op ongeveer 4320. Een catalogus met tienduizenden URL's of dagelijkse voorraadpagina's wordt in Bing dan structureel trager dan in Google, terwijl de HTML hetzelfde is.

Waarom de index daarna scheef trekt

De valkuil zit in User-agent met een sterretje. Generators en oude plugins zetten daar één crawl-delay neer om alle bots te temmen. Google negeert het veld alsnog, en alleen bots die de regel kennen, zoals Bingbot, vertragen. Nieuwe productpagina's, prijswijzigingen en verwijderde URL's kunnen in Google al verwerkt zijn terwijl Bing nog op een oudere momentopname zit.

Een hoge delay ontlast de server ook niet van Googlebot. Status 429, een trage eerste byte of reeksen 5xx tijdens pieken blijven staan, omdat Google de pauze niet leest. Capaciteit, caching en stabiele responses sturen dat tempo. De URL blijft toegestaan, en alleen de pauze tussen verzoeken verandert, bij crawlers die het veld lezen.

Wie Bing bewust rustiger wil laten lopen, zet de regel in een eigen blok voor Bingbot en kiest een lage waarde die bij de omvang past. Lopen de intervallen van Googlebot en Bingbot in de serverlogs ver uit elkaar terwijl robots.txt één globale crawl-delay bevat, dan verklaart die regel de scheve verversing. Die controle kan mee in een SEO-scan.

Veelgestelde vragen

Ja. Google ondersteunt alleen user-agent, allow, disallow en sitemap. Crawl-delay valt daar buiten en Googlebot slaat de regel over. Het tempo blijft hangen aan de host en aan nieuwe of gewijzigde URL's.

Ongeveer 8640 per dag. Bingbot haalt in het venster hooguit één URL op. Vijf seconden komt neer op ongeveer 17280, twintig seconden op ongeveer 4320. De regel gaat voor op Crawl Control.

Een globale regel vertraagt alleen crawlers die het veld lezen, zoals Bingbot. Googlebot verandert er niet door. Wie Bing bewust wil temperen, zet de regel in een eigen blok voor Bingbot.

Wil je dit meteen op jouw site zien?

Eerste rapport gratis. Daarna auto-scan, PDF in je mail en alerts als een score zakt.

Gratis rapport starten
Start gratis