Gratuit · Sans inscription

Test et validation du robots.txt

Nous lisons le fichier robots.txt de votre site et affichons ses groupes de règles, ses lignes Sitemap et ses règles risquées. Saisissez une URL : voyez instantanément quels robots peuvent y accéder.

Nous lisons le fichier robots.txt à la racine de votre domaine ; vous pouvez ensuite tester des URL et modifier le fichier.

Comment fonctionne le robots.txt ?

robots.txt est le fichier placé à la racine de votre site qui indique aux robots les chemins qu’ils peuvent explorer. Google applique la règle la plus longue (la plus précise) qui correspond à une URL ; en cas d’égalité, Allow l’emporte.

robots.txt ne retire pas les pages de l’index, il bloque seulement l’exploration. Si vous ne voulez pas qu’une page apparaisse sur Google, utilisez la balise meta robots noindex.

  • User-agent : le robot auquel s’appliquent les règles
  • Disallow et Allow : chemins bloqués et autorisés (* et $ pris en charge)
  • Sitemap : l’adresse de votre sitemap XML
  • Test des règles : statut d’une URL pour Googlebot, Bingbot, GPTBot et les autres robots

Questions fréquentes

Que signifie Disallow: / ?
Cela empêche le robot concerné d’explorer tout le site. Dans le groupe User-agent: *, tous les robots sont bloqués et le site peut peu à peu disparaître des résultats de recherche.
Dois-je bloquer les fichiers CSS et JS ?
Non. Google affiche les pages comme un navigateur ; si le CSS et le JS sont bloqués, il ne peut pas bien comprendre la page et peut détecter des problèmes de compatibilité mobile.
Quand les modifications prennent-elles effet ?
Google conserve généralement le fichier robots.txt en cache jusqu’à 24 heures. Vous pouvez demander une nouvelle exploration du fichier depuis le rapport robots.txt de la Search Console.

Autres outils gratuits

Redirections et en-têtes HTTPChaîne 301/302, HTTPS et en-têtes de sécurité Vérificateur de sitemap XMLNombre d’URL, erreurs et lastmod Vérification des codes de statut en masseStatut HTTP et redirections de 20 URL max Vérificateur hreflangBalises de langue des sites multilingues Analyse SEOPlus de 80 contrôles, des scores par catégorie et des recommandations prioritairesPopulaire Audit SEO de siteContrôle technique et on-page jusqu’à 15 pagesPopulaire

Tous les outils gratuits

Découvrez l’état de votre site en 20 secondes.

Découvrez vos problèmes techniques et vos lacunes de visibilité IA grâce à une analyse gratuite ; ensuite, laissez AutoAiSeo s’occuper des corrections.

  • Sans carte bancaire
  • Installation en 5 minutes
  • Résiliable à tout moment
Analyser gratuitement