Définition
Le crawl budget est la combinaison de deux facteurs : la capacite de crawl (crawl rate limit, le nombre de requetes que Googlebot peut faire sans surcharger le serveur) et la demande de crawl (la frequence a laquelle Google souhaite re-explorer les pages en fonction de leur popularite et fraicheur). Pour les petits sites (moins de quelques milliers de pages), le crawl budget n'est generalement pas un probleme. Il devient critique pour les grands sites (e-commerce, medias, annuaires) ou des milliers de pages peuvent gaspiller le budget : pages filtrees, pages dupliquees, parametres d'URL, pages de faible qualite. Optimiser son crawl budget implique de bloquer le crawl des pages inutiles et de faciliter l'acces aux pages importantes.
Points clés à retenir
- Critique surtout pour les sites de plus de 10 000 pages
- Le gaspillage de crawl budget retarde l'indexation des pages importantes
- Les pages dupliquees, parametrees et de faible qualite consomment du budget inutilement
Exemples concrets
E-commerce et filtres
Un site e-commerce avec 100 000 produits et des filtres de tri genere 5 millions de combinaisons d'URL. Sans gestion du crawl budget (noindex, robots.txt, canonical), Google perd du temps sur ces pages inutiles.
Optimisation du crawl budget
En bloquant les pages de filtres dans robots.txt et en nettoyant les URLs parametrees, un site reduit ses pages crawlables de 500 000 a 50 000. Google explore desormais les pages importantes plus frequemment.
Questions fréquentes
Non, pour les sites de moins de quelques milliers de pages, le crawl budget n'est generalement pas un probleme. Google a suffisamment de capacite pour explorer l'integralite du site. C'est un enjeu pour les sites de 10 000+ pages.
Verifiez les statistiques d'exploration dans Google Search Console. Si certaines pages importantes ne sont pas crawlees regulierement ou si le nombre de pages explorees stagne alors que vous publiez du nouveau contenu, vous avez peut-etre un probleme de crawl budget.
Termes liés
Aller plus loin avec LemmiLink
Découvrez comment LemmiLink peut vous aider à mettre en pratique ces concepts SEO.
Dernière mise à jour : 2026-02-07