Yooda

Depuis mars 2003, Lycos.fr met en ligne un service nommé Lycos Voyeur. Ce dernier permet de visualiser les requêtes effectuées par les internautes sur lycos.fr en temps réel & à intervalles réguliers (entre 5 et 60 secondes) par paquet de 10, 20 ou 30 résultats.

Inutile, je pense de présenter en détail, Lycos France, filiale de Lycos Europe, n°2 des portails Internet européens avec 17 millions de visiteurs uniques (Nielsen Netratings). Lycos.fr est classé sixième outil de recherche francais dans le dernier baromètre 1ere Position.

Ayant découvert ce service, nous avons donc décidé d'utiliser notre technologie d'extraction de données Maway 2, en développant un agent spécifiquement dédié à l'extraction et l'analyse des données fournies par lycos voyeur. Ceci devant nous permettre de disposer de données 'traitables', ce sont ces analyses que nous allons vous présenter lors de nos différentes interventions.

Phase 1 : Recueil de données

Cette première phase de recueil s'est étalée sur une durée de 11 jours, ceci de manière continue. La "récolte" terminée, nous disposions d'une table Mysql d'environ 2 190 000 requêtes datées.

La méthode de recueil consiste en un chargement de la page Lycos Voyeur à intervalles régulier. Nous avons donc choisi, comme le propose Lycos, de charger la page toute les 10 secondes par tranche de 30 résultats afin de respecter les limites fixées aux internautes.

Phase 2 : Correction des résultats

Différents biais potentiels ont été identifiés. L'un d'entre eux pouvait être dû au fait que lycos n'est surement pas utilisé en permanence à la cadence de 30 requêtes par 10 secondes, surtout à des heures avancées de la nuit. Dans ce cas lycos renvoyant les 30 dernières requêtes, nous risquions d'avoir des requêtes sur-représentées. Il s'agissait donc de réaliser une "épuration des résultats" pour aboutir à une table de 1 806 772 requêtes qualifiées.

Phase 3 : Analyse & traitement

Afin de traiter les 146 Mo de la table et des index, fut crée une interface permettant d'analyser la base mysql et générant des document HTML & des tableaux de synthèse.

Comparaison du classement fournit par l'analyse Yooda Agent LV sur la période du 14 au 25 Avril 2003 et le classement officiel fournit par lycos en avril 2003.

Nous pouvons donc constater une cohérence globale du classement apporté par Yooda agent LV par rapport à celui fourni par Lycos.
Nous ne nous lancerons pas ici dans des explications qui seraient de l'ordre de l'hypothèse, l'on peut par exemple imaginer que lycos considère sexe (1) et sex (3) comme des requêtes identiques et les superposes dans son classement... ceci reste de l'ordre de l'hypothèse !

Cette cohérence nous permet donc d'utiliser les données dont nous disposons pour pousser un peu plus loin nos analyses. Pour information vous pouvez retrouver le TOP 1000.

Analyse du nombre de mots clés par requêtes sur la période du 14 au 25 avril

Décrypter : 33,13 % des requêtes analysées comportaient un mot clé unique soit 600 000 requêtes sur les 1 800 000 analysées.

Afin d'approfondir cette analyse, nous avons étudié cette même répartition par jour et par heure. Cette étude n'apporte aucuns résultats significatifs et tant à prouver que le jour et l'heure n'ont pas d'incidence sur le nombre de mots clés par recherche.

Suite de l'article...

Par Christophe BOULVIN et Damien GUIGUE de Yooda

Article édité pour Moteurzine