Définition
Le robots.txt est un fichier de configuration au format texte brut situe a la racine d'un domaine (exemple.com/robots.txt) qui communiqué des directives aux robots d'exploration des moteurs de recherche. Il utilise le protocole REP (Robots Exclusion Protocol) pour autoriser ou interdire l'accès à certaines parties du site via les directives Allow et Disallow. Ce fichier est essentiel pour gérer le crawl budget en empêchant l'exploration de pages inutiles (pages d'administration, filtres, doublons) et pour protéger des zones sensibles du site. Important : le robots.txt bloque le crawl mais pas nécessairement l'indexation. Une page bloquee par robots.txt peut quand même apparaître dans les résultats si d'autres pages y font référence. Pour empêcher l'indexation, la balise meta noindex est plus appropriée.
Points clés à retenir
- Le robots.txt bloque le crawl mais pas l'indexation : utiliser noindex pour empêcher l'apparition dans les résultats
- Il doit être place à la racine du domaine et être accessible publiquement
- Une erreur dans le robots.txt peut bloquer l'ensemble du site : toujours tester avant mise en production
Exemples concrets
Blocage de l'espace d'administration
Un site WordPress ajouté 'Disallow: /wp-admin/' dans son robots.txt pour empêcher Googlebot d'explorer les pages du back-office, economisant du crawl budget pour les pages publiques.
Référence au sitemap
En ajoutant la ligne 'Sitemap: https://www.monsite.com/sitemap.xml' dans le robots.txt, un webmaster s'assure que tous les crawlers découvrent facilement le plan du site, même sans lien direct.
Questions fréquentes
Créez un fichier texte nomme 'robots.txt' a la racine de votre site. La syntaxe de base utilise 'User-agent:' pour cibler un robot spécifique (ou * pour tous), 'Disallow:' pour interdire l'accès à un chemin, et 'Allow:' pour autoriser l'accès. Ajoutez aussi la ligne 'Sitemap:' avec l'URL de votre sitemap. Testez toujours votre fichier via l'outil de test robots.txt de la Search Console avant de le mettre en ligne.
Non, le robots.txt empêche le crawl (l'exploration) mais pas forcément l'indexation. Si d'autres sites font des liens vers une page bloquee dans le robots.txt, Google peut quand même l'indexer avec un titre et une description génériques. Pour vraiment empêcher l'indexation, il faut utiliser la balise meta 'noindex' ou l'en-tête HTTP X-Robots-Tag, mais attention : la page doit être accessible au crawl pour que Google puisse lire la directive noindex.
Termes liés
Aller plus loin avec LemmiLink
Découvrez comment LemmiLink peut vous aider à mettre en pratique ces concepts SEO.
Dernière mise à jour : 2026-02-07