Optimisation des requêtes dans des environnements parallèles : application au Big Data

Abstract

Afin de valider mon Master génie Logiciel, j’ai eu l’opportunité d’effectuer un stage dans le laboratoire de recherche LIAS. J’ai pu travailler sur un sujet en relation avec le Big Data, qui représente un défi non seulement pour le monde socio-économique mais aussi pour la recherche scientifique. L’objectif de mon stage était de proposer un cadre applicatif permettant de gérer les différents transferts réseaux de données d’une manière transparente et efficace. Les outils proposés devraient être intégrés au sein du système de gestion de données parallèle QDAG, qui est en cours de développement au sein de l’équipe IDD du LIAS. Durant mon stage, j'ai commencé par étudier le fonctionnement du système QDAG. J'ai analysé d'une manière minutieuse chaque composant nécessitant un mécanisme de transfert de données. J'ai pu constater que les composants de QDAG font appel à deux (2) types de transfert, à savoir le Shuffle (avec ses deux cas spéciaux le Collector et le distributor) et le BroadCast. Après cette étape d'analyse du besoin, j'ai fait un état de l'art sur les mécanismes de transfert de données dans le cadre du cluster computing. Je me suis intéressé plus particulièrement au framework Orchestra [25].J'ai par la suite proposé non seulement une nouvelle conception et implémentation de ce framework mais aussi des extensions nécessaires au système QDAG. Avec les doctorants du LIAS, j'ai réussi à intégrer mon travail dans le moteur d'exécution de QDAG