User-Agent: Détermine le spider utilisé
pour les règles définies après à l'aide de
Disallow.
2 cas possibles pour la valeur:
|
*
|
Les règles s'appliquent à tous
les robots. |
Nom du robot
(par exemple Googlebot)
|
Les règles s'appliquent seulement
au robot spécifié. |
Disallow: Détermine quel répertoire
ou fichier Exclure lors de l'indexation pour le robot déclaré
dans User-Agent
| Disallow: |
Aucune page n'est exclue par le spider. Toutes
les pages du site peuvent être indexées. |
| Disallow: / |
Tout le site est exclu. Permet d'interdire
l'indexation pour un robot spécifique. |
| Disallow: /repertoire/ |
Désactive l'indexation des répertoires.
/repertoire/, /repertoire/sousrep/, /repertoire/page.html
ne seront pas explorés. |
# Remarque
Apres # on trouve les remarques.
C'est à dire du texte permettant de commenter le fichier robots.txt. Ce texte
est donc ignoré par les spiders.
