User-Agent: Détermine le spider utilisé pour les règles définies après à l'aide de Disallow.

2 cas possibles pour la valeur:

*	Les règles s'appliquent à tous les robots.
Nom du robot (par exemple Googlebot)	Les règles s'appliquent seulement au robot spécifié.

Disallow: Détermine quel répertoire ou fichier Exclure lors de l'indexation pour le robot déclaré dans User-Agent

Disallow:	Aucune page n'est exclue par le spider. Toutes les pages du site peuvent être indexées.
Disallow: /	Tout le site est exclu. Permet d'interdire l'indexation pour un robot spécifique.
Disallow: /repertoire/	Désactive l'indexation des répertoires. /repertoire/, /repertoire/sousrep/, /repertoire/page.html ne seront pas explorés.

# Remarque
Apres # on trouve les remarques. C'est à dire du texte permettant de commenter le fichier robots.txt. Ce texte est donc ignoré par les spiders.