Outil SEO & WordPress gratuit
Générateur robots.txt WordPress : créez un fichier propre pour le SEO
Générez votre fichier robots.txt, ajoutez votre sitemap WordPress et vérifiez automatiquement les règles susceptibles de bloquer l'exploration de votre site.
Contrôler l'exploration
À quoi sert réellement un fichier robots.txt ?
Le fichier robots.txt indique aux robots d'exploration quelles parties d'un site ils peuvent demander. Une mauvaise règle peut cependant empêcher Google d'explorer des ressources ou des pages importantes.
Gérer l'exploration
Autorisez ou empêchez les robots concernés d'accéder à certaines sections de votre site.
- User-agent
- Allow
- Disallow
Déclarer votre sitemap
Votre robots.txt peut indiquer l'adresse de votre index de sitemap XML aux moteurs de recherche.
- Rank Math
- Yoast SEO
- WordPress natif
Éviter un blocage accidentel
Le générateur analyse les règles potentiellement dangereuses avant que vous ne les utilisiez sur votre site.
- Blocage global
- Ressources importantes
- Configuration incohérente
Générateur robots.txt
Configurez votre robots.txt WordPress
La configuration par défaut correspond à une base WordPress simple. Vérifiez toujours les règles avant leur mise en production.
Votre site WordPress
Règles avancées +
Votre robots.txt
La configuration actuelle contient une règle qui empêche l'exploration de l'ensemble du site pour le User-agent concerné.
robots.txt ne remplace pas noindex. Une URL interdite à l'exploration peut malgré tout être découverte et apparaître dans certains résultats de recherche.
Ne pas confondre les directives
robots.txt, sitemap et noindex : trois rôles différents
Ces éléments participent tous au fonctionnement du référencement technique, mais ne donnent pas les mêmes instructions aux moteurs.
robots.txt
Gère principalement l'accès des robots d'exploration à certaines URL ou ressources.
Contrôle de l'explorationMeta noindex
Demande aux moteurs compatibles de ne pas afficher la page dans leurs résultats de recherche.
Contrôle de l'indexationSitemap XML
Fournit aux moteurs une liste structurée d'URL que vous souhaitez leur faire découvrir.
Découverte des URLSearch Console
Permet notamment de consulter l'état du robots.txt accessible à Google et plusieurs informations d'indexation.
Contrôle et diagnosticCas particulier de WordPress
WordPress peut générer robots.txt automatiquement
WordPress peut exposer un fichier robots.txt virtuel. Les extensions SEO peuvent également intervenir sur son contenu ou sur le sitemap déclaré.
Les erreurs fréquentes
Quatre erreurs qui peuvent poser problème au SEO
Disallow: /
Cette règle interdit l'exploration de l'ensemble du site au User-agent concerné.
Bloquer les ressources utiles
Bloquer sans raison les CSS, JavaScript ou ressources nécessaires peut empêcher un moteur de correctement interpréter la page.
Utiliser robots.txt pour désindexer
Empêcher le crawl ne garantit pas la disparition d'une URL des résultats de recherche.
Modifier sans tester
Après une modification, vérifiez le fichier réellement accessible sur votre domaine et contrôlez sa syntaxe.
Questions fréquentes
Bien configurer robots.txt
Un robots.txt reste un fichier simple, mais une mauvaise règle peut avoir des conséquences importantes sur l'exploration du site.
Découvrir l'audit SEO →À quoi sert robots.txt ?
Il indique aux robots compatibles quelles parties d'un site ils peuvent ou ne peuvent pas explorer.
robots.txt peut-il empêcher une page d'être indexée ?
Ce n'est pas son objectif. Une URL bloquée peut encore être découverte et apparaître dans les résultats. Pour empêcher l'indexation d'une page, utilisez une méthode prévue pour cela, comme une directive noindex lorsque Google peut explorer la page.
Où doit se trouver robots.txt ?
Il doit être accessible à la racine de l'hôte concerné, par exemple https://exemple.fr/robots.txt.
Quel sitemap utiliser avec Rank Math ?
Rank Math génère par défaut son index de sitemap à l'adresse /sitemap_index.xml. Vérifiez néanmoins l'URL réellement utilisée sur votre installation.
Quel sitemap utilise WordPress sans plugin SEO ?
Le système de sitemap XML intégré à WordPress utilise par défaut /wp-sitemap.xml.
Faut-il bloquer /wp-admin/ ?
La configuration WordPress courante désautorise l'exploration de /wp-admin/ et peut autoriser spécifiquement /wp-admin/admin-ajax.php. Cela ne constitue cependant pas une mesure de sécurité pour votre administration.
Le générateur modifie-t-il mon site ?
Non. Il génère uniquement du texte dans votre navigateur. Vous devez ensuite décider vous-même si vous souhaitez appliquer cette configuration sur votre WordPress.
Un doute sur votre SEO technique ?
robots.txt n'est qu'une partie du diagnostic. Je peux analyser l'ensemble de votre site.
Indexation, exploration, sitemap, architecture, performances et problèmes techniques peuvent être étudiés ensemble pour identifier les véritables priorités SEO.
Analyse des règles robots, sitemaps, directives d'indexation et pages accessibles aux moteurs.
Structure, performances et configuration du CMS sont étudiées dans leur contexte.
Les problèmes détectés sont classés selon leur importance et leur impact potentiel.
Parlez-moi de votre problème SEO
Quelques informations suffisent pour commencer.