Définition
L'analyse de logs (log analysis) consiste a etudier les fichiers journaux du serveur web pour comprendre le comportement des robots des moteurs de recherche (Googlebot, Bingbot, etc.) sur un site. Les logs revelent quelles pages sont crawlees, a quelle frequence, quels codes HTTP sont retournes et combien de budget de crawl est consomme. Cette analyse permet d'identifier les problemes de crawl (pages non explorees, pages inutiles crawlees excessivement, erreurs serveur) et d'optimiser le budget de crawl pour favoriser l'indexation des pages prioritaires.
Points clés à retenir
- Revele le comportement reel de Googlebot sur votre site
- Identifie les gaspillages de budget de crawl
- Outils populaires : Screaming Frog Log Analyser, Oncrawl, Botify
Exemples concrets
Gaspillage de crawl
L'analyse des logs revele que Googlebot passe 60% de son temps a crawler des pages de filtres sans valeur SEO. La mise en place de directives robots.txt libere le budget pour les pages produits.
Detection de problemes
Les logs montrent que 200 pages retournent des erreurs 500 intermittentes que les outils de crawl classiques ne detectent pas. La correction des erreurs serveur restaure l'indexation.
Questions fréquentes
C'est la seule methode pour voir exactement ce que Googlebot fait sur votre site : quelles pages il visite, combien de fois, et quelles erreurs il rencontre. La Search Console donne des informations partielles, les logs donnent la verite complete.
Screaming Frog Log Analyser (abordable), Oncrawl et Botify (entreprise) sont les plus utilises. Pour les petits sites, une analyse manuelle avec Excel ou des scripts Python est possible.
Termes liés
Aller plus loin avec LemmiLink
Découvrez comment LemmiLink peut vous aider à mettre en pratique ces concepts SEO.
Dernière mise à jour : 2026-02-07