Yooda

Nous allons aujourd'hui clôturer notre étude du robots.txt par une étude des robots interdits. En effet l'objectif du fichier robots.txt étant d'exclure certains robots de son site, cette analyse peut vous être utile afin pour déterminiez votre politique d'indexation.

Apres cette chronique vous pourrez déterminer les robots non "souhaitable" sur votre site :). Nous avons utilisé la même base que pour les articles précédents, soit 30607 robots.txt analysé.

Le tableau ci-dessous vous présente les robots.txt les plus souvent interdit.

 

On peut tout d'abord observer que 2 catégories représentent la majorité des robots interdits : les aspirateurs et les collecteurs de mail. L'explication de cette interdiction est simple, aucune valeur ajoutée pour le site internet. La nuisance est encore plus importante dans le cas des collecteurs de mail. En effet, vous risquez fort de vous retrouver submergé de mails non sollicités si vous ne prenez pas gare à ces derniers ! La meilleure solution pour éviter cette douloureuse expérience reste de protéger les mails en ne les mettant pas en clair sur votre site. De plus il faut savoir que tous les robots ne respectent pas le fichier robots.txt (emailsiphon par exemple). Afin de pallier à ce problème, certains sites mènent une vraie guerre anti robots indélicats (Voir le dernier paragraphe de cette page).

Les deux premiers de cette étude appartiennent à une catégorie un peu particulière, les robots d'analyse marketing. Ces derniers sont des outils utilisés par des sociétés pour réaliser des études marketing. J'attire particulièrement votre attention sur le robot d'Alexa.com, nommé ia_archiveur, qui va encore plus loin. Il n'a pas besoin de suivre les liens pour indexer une page! La raison en est très simple, Alexa "utilise" les informations des utilisateurs de sa toolbar pour indexer des pages. Attention donc aux urls de bêta test. Si l'un de vos bêtas-testeurs possède la toolbar, vous risquez de vous retrouver avec un robot qui parcourt vos pages jalousement cachées. La meilleure solution pour éviter ce genre de désagrément est de mettre un fichier .htaccess.

On peut noter la présence de " scooter " le robot d'Altavista bien classé dans cette étude. La raison est historique, entre août 2001 et janvier 2002 scooter a eu un comportement étrange provoquant des ralentissements sur les serveurs. De nombreux webmasters devant le peu de trafic généré par Altavista, ont alors décidé de tout simplement l'exclure.

La présence de Googlebot peut surprendre vu le trafic généré par Google. Ce qui peut s'expliquer par le fait que le robots.txt permet l'exclusion d'un répertoire. Ainsi, certains webmasters mettent en place une véritable stratégie d'optimisation à destination de Google en créant des répertoires spécifiques. Il faut alors interdire les autres.

Enfin pour conclure l'analyse de ce tableau on remarque la très bonne place de Microsoft. L'actualité peut expliquer cette superbe 5ème place. L'annonce de Microsoft de se lancer dans la course aux moteurs de recherche à provoquer une levée de bouclier dans le monde du webmastering. De nombreux webmasters ont alors décidé d'interdire leur site à Microsoft afin de freiner le développement du futur moteur. Cependant, il semblerait que Microsoft n'ait pas été freiné par cette valeureuse initiative. Depuis quelques jours un certain MSNBot parcourent frénétiquement la toile. Il ne vous reste plus qu'à interdire les robots qui ne vous semblent pas pertinent pour votre site. Pour aller plus loin vous pouvez consulter 1-Hit.com qui recense les "Bad bots". Je vous conseille également le site d'Henri Ruch qui rassemble une grande partie des signatures de robots. Une bonne url à mettre en favori pour le jour où vous identifierez un robot inconnu dans vos logs.

N'hésitez pas à me contacter si vous avez des sujets d'articles à me soumettre. Ce sera avec grand plaisir que je vous répondrai...