Une fois que vous avez choisi les mots clés sur lesquels vous souhaitez être visible,
Une fois que vous avez optimisé votre page d'accueil, en fonction de ces mots clés pour être bien positionné sur les moteurs de recherche,
Et pourquoi pas les autres pages de votre site, en ayant personnalisé les titres, les descriptions et les mots clés,

Vous devez alors indiquer aux robots des outils de recherche que votre site existe et qu'il faut l'indexer (s'ils ne le savent pas déjà).

Cette procédure peut être relativement longue. En fait, le temps nécessaire pour référencer son site dans les annuaires et les moteurs de recherche va dépendre :

• du nombre de pages de votre site,
• du nombre de moteurs de recherche sur lesquels vous souhaitez être présent et surtout positionné,
• des caractéristiques propres à chaque moteur de recherche et annuaire.

Initialement, le moteur de recherche a eu connaissance de l'url de votre site, soit parce que vous lui avez indiqué son existence via un formulaire de soumission prévu à cet effet, soit parce qu'un lien sur le web pointe vers votre site.

Un crawler (robot), vient visiter votre site. Il demande tout d'abord à votre serveur d'accéder au fichier robots.txt qui va lui donner des indications concernant les contenus qu'il peut ou ne peut pas indexer.

Une fois que le crawler a lu votre fichier robots.txt (s'il existe bien sûr, nous vous recommandons vivement d'en mettre un), il va directement sur votre page d'accueil et la parcourt.

Ce premier passage va permettre d'extraire deux types d'infos :

• le contenu de la page d'accueil. va lui servir à positionner le document sur une requête.
• une série de liens à suivre, menant vers d'autres pages du même site (tout en respectant le robots.txt) va lui servir à indexer d'autres pages du site.

Le crawler " enregistre " votre page d'accueil, continue sa route sur le web, tout en notant de revenir visiter les liens qu'il a relevés dans la page.
La durée entre deux passages du robot est très variable d'un outil à l'autre. La quantité d'information relevée à chaque passage est elle aussi variable, ce qui explique pourquoi si un jour par exemple, vous référencez un site de 20 pages sur tous les moteurs, trois mois plus tard, les disparités entre les moteurs et le nombre de pages indexées de votre site sur ces moteurs peuvent être importantes.

En théorie, avec un moteur de recherche, il n'est pas nécessaire de soumettre toutes les pages de votre site pour qu'elles soient indexées. En théorie seulement, car mis à part Alltheweb et Google, qui sont des moteurs qui crawlent votre site très vite, les autres moteurs, comme Altavista, sont très longs.
En fonction des résultats attendus par le référencement de votre site, vous pouvez être amené à soumettre plusieurs pages de votre site sur certains moteurs afin d'accélérer l'indexation complète de votre site.
Pour distinguer référencement et spamdexing, certains moteurs de recherche, comme AV, limitent le nombre de pages que l'on peut soumettre par jour.
Le spamdexing par multiples soumissions reste en général sans effet.

Comment référencer son site sur les outils de recherche (2) : L'environnement