11/03/2002

Le robot de Mirago crawle discrètement les sites web.

« Bien que vous ayez sans nul doute vu le robot Pierre lire des pages web dans les fichiers logs de votre serveur, vous aimeriez également considérer les autres « navigateurs » qui ont apparemment rapatrié des pages web. Les moteurs de recherche comme Mirago utilise une variété de techniques pour identifier le spam ou les pages cachées. Une des techniques utilisées consiste à lancer périodiquement un robot « déguisé » qui va lire quelques pages de votre site sélectionnées au hasard, mais avec une adresse IP différente. Les robots « déguisés » s'identifient comme étant une version récente d'un des navigateurs les plus communs. Les différences entre ce que peuvent lire le moteur original et le moteur « déguisé » sont utilisées pour détecter les sites qui tenteraient de biaiser l'indexation des pages web. » nous dit Philippe Préget, « Head of Operations » à Mirago.
Lisez l'interview de Philippe Préget, « Head of Operations » à Mirago, dans le numéro 34 de Moteurzine (sortie le 12 mars 2002).

Source : (source : enfin)

Site de Moteurzine