Générateur de robots.txt

1. Vue d’ensemble de l’outil

Présentation générale

Le générateur robots.txt de Gotokit est un outil visuel gratuit, sans connexion et exécuté localement dans le navigateur. Il suit la norme RFC 9309 Robots Exclusion Protocol et s’adresse aux webmasters indépendants, blogs statiques, sites e-commerce, projets Astro et autres sites statiques.

Fonctions principales :

• sélection visuelle des User-agent
• configuration des chemins autorisés ou bloqués
• validation syntaxique en temps réel
• copie ou téléchargement du fichier robots.txt
• bascule entre mode visuel et mode texte brut

Il convient donc à la fois aux débutants et aux utilisateurs avancés.

Concepts essentiels à comprendre

Qu’est-ce qu’un fichier robots.txt

robots.txt est un fichier texte placé à la racine du site, généralement à l’adresse :

https://votre-domaine.com/robots.txt

Il sert à indiquer aux robots d’exploration conformes quelles zones du site peuvent être explorées et lesquelles doivent être évitées.

Logique du protocole

Lorsqu’un moteur de recherche sérieux visite un site, son robot lit normalement d’abord le fichier robots.txt, puis applique les règles correspondant au User-agent détecté.

À retenir :

• les moteurs de recherche classiques et les robots SEO connus respectent souvent ce protocole
• les scripts malveillants ou certains collecteurs peuvent l’ignorer

Exploration et indexation ne sont pas la même chose

• robots.txt contrôle l’exploration
• noindex contrôle l’indexation

Si vous voulez empêcher une page d’apparaître dans les résultats de recherche, il faut généralement utiliser noindex en complément. robots.txt seul ne suffit pas toujours.

Traitement local

Toute la génération, l’analyse et la validation se font dans votre navigateur. Vos URLs, vos règles et vos choix de robots ne sont pas transmis au serveur.

2. Explication de la navigation du haut

Accueil / Tous les outils / Développement

• Accueil : retourne à la page principale de Gotokit
• Tous les outils : ouvre le catalogue complet des outils en ligne
• Développement : catégorie de cet outil, centrée sur les besoins des webmasters et développeurs

3. Détail complet de l’interface

Module 1 : zone d’introduction

• Titre : 🤖 Générateur de robots.txt
• Sous-texte : rappelle que les outils Gotokit s’utilisent en ligne, sans téléchargement ni inscription

Cette zone précise que l’outil est libre d’accès, sans compte et sans limite d’usage.

Module 2 : modèles rapides

Les modèles servent de point de départ.

Modèle site général

Convient à :

• site vitrine
• site de contenu
• site d’actualités

Préconfiguration typique :

• autorise les principaux robots
• bloque les répertoires sensibles ou temporaires comme /admin/, /private/, /tmp/
• laisse un emplacement pour le sitemap

Modèle blog statique / site d’outils

Convient à :

• Astro
• VitePress
• Hugo
• annuaire d’outils

Préconfiguration typique :

• autorise les robots d’images et de vidéos
• bloque /draft/
• bloque /preview/
• bloque /api/internal/
• n’empêche pas les ressources publiques sous /assets/

Modèle e-commerce

Convient à :

• boutique en ligne
• site marchand
• catalogue produit

Préconfiguration typique :

• bloque panier, paiement, compte et pages à paramètres
• laisse les pages produit accessibles
• réduit les risques de contenu dupliqué liés aux filtres
• prévoit plusieurs sitemaps si nécessaire

Modèle blocage total

Convient à :

• site de test
• démonstration interne
• projet non publié

Exemple :

User-agent: *
Disallow: /

Ce modèle bloque l’exploration de tout le site. Il ne doit pas rester activé sur un site public déjà lancé.

Module 3 : configuration de base du site

Cette section contient deux champs importants : l’URL du site et l’URL du sitemap.

URL du site

Fonction :

• aide à normaliser l’adresse principale
• aide à remplir automatiquement le sitemap
• n’est pas écrite directement dans le contenu final du robots.txt

Bon usage :

• utiliser l’URL complète, par exemple https://demo.com

URL du sitemap

Fonction :

• ajoute une ou plusieurs directives Sitemap:
• facilite la découverte des pages par les moteurs

Règles :

• utiliser une URL absolue complète
• saisir plusieurs sitemaps sur des lignes séparées
• si le champ reste vide, aucune directive Sitemap: n’est générée

Module 4 : raccourcis globaux

Autoriser tous les robots

Produit une base permissive de ce type :

User-agent: *
Disallow:

Cela signifie qu’aucun chemin n’est bloqué par défaut.

Bloquer tous les robots

Produit une base stricte :

User-agent: *
Disallow: /

Cela bloque l’exploration pour tout le site, sauf si vous ajoutez ensuite des exceptions.

Module 5 : actions de l’aperçu en direct

Copier le code

Copie l’intégralité du contenu du robots.txt dans le presse-papiers.

Télécharger robots.txt

Télécharge un fichier correctement nommé, prêt à être placé à la racine du site.

Réinitialiser

Efface les champs, réinitialise l’aperçu et remet l’état de validation à zéro.

Module 6 : panneau de validation syntaxique

Cette zone indique si la configuration semble exploitable telle quelle.

Configuration valide

Cela signifie généralement :

• pas de User-agent dupliqué
• pas de conflit évident
• format d’URL sitemap correct

Cas d’erreur ou d’avertissement

• duplication d’un même User-agent
• chemin non conforme, sans / initial
• sitemap sans http ou https
• conflit entre Disallow large et Allow plus précis

Module 7 : modes d’édition

Mode visuel

Mode recommandé pour débuter :

• choisir les robots
• choisir Allow ou Disallow
• saisir les chemins

Le texte final est généré automatiquement.

Mode texte brut

Mode avancé, destiné aux utilisateurs qui connaissent déjà la syntaxe de robots.txt.

Il est utile pour :

• des règles nombreuses
• des robots personnalisés
• une édition manuelle précise

Module 8 : zone principale de configuration des robots et des chemins

8.1 Que signifie un groupe de règles

Chaque groupe s’applique uniquement aux User-agent sélectionnés dans ce groupe.

Exemple :

• groupe 1 : règles générales pour tous les robots
• groupe 2 : restrictions supplémentaires pour AhrefsBot

8.2 Ajouter un groupe / Dupliquer un groupe

Ajouter un groupe :

• crée un bloc indépendant
• permet de gérer des règles différentes selon les robots

Dupliquer un groupe :

• copie les robots et les chemins du groupe courant
• évite de refaire le même travail

8.3 Liste des robots prédéfinis

Tous les robots (*)

• correspond à User-agent: *
• applique les règles à tous les robots conformes

Googlebot

• robot principal de Google pour le web
• essentiel pour Google Search

Googlebot-Image

• robot de Google pour les images
• utile pour les blogs illustrés, médias et fiches produit

Googlebot-Video

• robot de Google pour les vidéos
• utile si le site contient du contenu vidéo

Bingbot

• robot principal de Bing

DuckDuckBot

• robot de DuckDuckGo

AhrefsBot

• robot SEO d’Ahrefs
• souvent bloqué pour réduire la charge serveur

SemrushBot

• robot SEO de Semrush
• souvent bloqué sur les petits sites

YandexBot

• robot de Yandex
• important pour les marchés russophones

Baiduspider

• robot principal de Baidu
• important pour les sites visant du trafic chinois

8.4 User-agent personnalisé

Si le robot désiré n’apparaît pas dans la liste prédéfinie, vous pouvez l’ajouter manuellement.

Exemples :

• Applebot
• GPTBot
• CCBot
• facebookexternalhit

8.5 Panneau des règles de chemin

Allow :

• autorise explicitement l’exploration d’un chemin

Disallow :

• interdit explicitement l’exploration d’un chemin

Règles de saisie :

• commencer par /
• viser un dossier ou une page

Exemples :

• /admin/
• /private.html

8.6 Chemins rapides et leur utilité

/assets/

• ressources statiques : images, CSS, JS, polices

/admin/

• zone d’administration, généralement à bloquer

/preview/

• pages d’aperçu ou brouillons

/tmp/

• fichiers temporaires ou cache

/api/internal/

• endpoints internes

/search/draft/

• contenu brouillon ou non publié

/private/

• contenu privé ou interne

4. Flux recommandé

1. choisir le modèle le plus proche du site
2. renseigner l’URL du site et du sitemap
3. choisir si la base doit être ouverte ou bloquée
4. créer les groupes de règles nécessaires
5. vérifier l’aperçu en direct
6. lire les messages de validation
7. copier ou télécharger le fichier final et le placer à la racine du site

5. Remarques importantes

• le contenu généré de robots.txt est indépendant de la langue de la page
• tout fonctionne localement dans le navigateur
• robots.txt agit sur l’exploration, pas sur la désindexation garantie

---

Dernière mise à jour : 2026-08-01