Depuis sa création en 1996, Cybion mène une veille constante sur les outils de collecte. Experts dans l'exploitation des informations Internet, nous avons recherché sans véritable succès, un outil de collecte performant et assez souple pour s'adapter aux spécificités des sources Internet. Constatant qu'aucun outil ne répondait à nos attentes, nous avons décidé de développer notre propre solution, Cybion Eye, à la fois souple et finement paramétrable, c'est à dire adaptée à la diversité des documents Internet et disposant d'un système de contrôle performant. Cybion Eye permet de pallier notamment aux principales limites des moteurs de recherche qui n'indexent que 10% à 15% du Web visible avec au moins 3 semaines de retard par rapport à la date de publication. Notre projet a reçu le soutien du Ministère de l'Economie, des Finances et de l'Industrie en 2002.
 CYBION EYE : OUTIL DE COLLECTE PUISSANT ET INTELLIGENT
Un processus de veille se décompose en 4 phases successives :
 Identification des sources
Collecte des données
Analyse des informations
Diffusion des résultats
De nombreux outils de veille automatisent l'une ou l'autre de ces phases. Certains sont spécialisés dans l'analyse des données (outils d'indexation, de text mining), d'autres dans la diffusion et la représentation des données (outil de cartographie, profiling, …) .
Deux types d'outil de collecte existent sur le marché :
1) Les crawlers qui sont de véritables aspirateurs de pages Web. Ils parcourent « la toile » en utilisant les hyperliens qui relient les pages entres elles. Ce type de navigation (et donc de collecte) reste assez aléatoire car ces outils se cantonnent au Web visible sans prendre en compte les autres sphères d'Internet (mail, forums, chat, …). De plus, ces crawlers ne font que capturer et copier des pages peu ou pas structurées.
Utiliser ce type de crawlers pour alimenter en information un processus de veille, consiste à avoir un corpus aléatoire et déstructuré donc difficilement exploitable.
2) Les métamoteurs qui utilisent les moteurs de recherche généralistes comme source d'information. Cette technique n'est pas satisfaisante pour deux raisons : d'une part les moteurs de recherche actuels n'arrivent plus à couvrir l'intégralité des pages publiées et d'autre part, l'accroissement des publications web ne permet pas à ces outils d'être à jour.
Utiliser les métamoteurs pour faire de la veille, consiste aujourd'hui à rechercher dans 10% des informations qui ont été publiées au mieux 2 à 3 semaines auparavant !
 Cybion EYE : une solution de Collecte
Avec Cybion Eye, il est finalement possible d'apprendre au système, par exemple, comment aller deux fois par jour sur les pages d'un magazine spécialisé afin de détecter les nouveaux articles, extraire la date, le titre et le corps du texte par exemple.
L'ensemble des documents ainsi re-structuré est indexé dans une base de données. La collecte ne se limite pas aux seules sources web : tout document publié et accessible via Internet peut constituer une source (bases de données, sphères informelles…).
Les données nécessaires à la collecte des articles, contiennent entre autres :
L'adresse de la source. Il peut s'agir d'une adresse web ou bien d'un compte mail, voire d'un accès à une base de données.
La fréquence de publication. Afin d'assurer une alimentation en continu de la base d'articles, chaque source sera «crawlée» en fonction de sa fréquence de mise à jour.
Les règles de navigation pour trouver les articles. Ces règles décrivent les différentes étapes qui conduisent vers les articles depuis l'adresse de la source.
La méthode de détection de doublon. Plusieurs techniques sont utilisables pour détecter un article déjà présent dans la base de données. On peut ainsi vérifier l'URL pour une source web, le titre, la date,… Pour chacune des sources la méthode la plus appropriée sera choisie.
La méthode pour extraire les champs. Cybion Eye est l'outil le plus innovant du marché dans le reformatage d'un document à partir de n'importe quelle source. Grâce aux « patrons » de page programmés pour chaque source, Cybion Eye peut nettoyer les articles trouvés et identifier les différents champs utiles (la date, l'auteur, le titre, le corps,…).
 CYBION EYE : Sélection et filtrage des articles
Avec Cybion Eye, les sources Internet (presse, web, mailing list, forums…) deviennent une source d'information structurée pour l'entreprise et exploitable dans le cadre du processus de veille.
Une fois les informations collectées, deux modes de diffusion sont proposés : un mode push et un mode pull. A chaque rafraîchissement, les nouveaux articles sont envoyés vers les destinataires. L'export des documents se fait soit par email, soit au format XML.
Par ailleurs, une interface web personnalisée graphiquement, avec un accès conditionné par mot de passe, rassemble l'intégralité des articles collectés dans une base de données. Ces articles sont indexés par un moteur de recherche fonctionnant avec des opérateurs booléens classiques.
Il est possible à tout moment, grâce à Cybion Eye, de modifier les profils de collecte et de surveillance : ajouter une nouvelle source, changer les fréquences de rafraîchissement des profils, ou modifier les critères de sélection des articles (mots clés) pour un des profils.
 CYBION EYE : UNE TECHNIQUE
L'ensemble des documents est stocké puis indexé dans une base de données. Chaque utilisateur du service Cybion Eye peut mémoriser des profils de recherche afin de sélectionner les articles les plus pertinents.
Côté administrateur, un système de monitoring accompagne l'outil et permet de surveiller son fonctionnement. Un historique des collectes est ainsi créé de manière à alerter l'administrateur lorsqu'une source n'a pas publié d'articles (modification probable du format de la source ou de la présentation des articles) ou bien au contraire, lorsqu'elle publie un nombre inhabituel d'articles (règles de doublonnage à corriger). Les sources que nous surveillons étant de nature très différente il est nécessaire d'observer leur évolution et d'adapter le paramétrage des « collecteurs » en cas de modification.
|
