Vers un cadre de distribution efficace pour les systèmes de gestion de données RDF distribué

Abstract

L’explosion des données est devenue le centre des préoccupations de plusieurs secteurs, économiques, scientifiques et sociétaux. Dans ce contexte, de nombreux défis sont lancés dans le but de gérer la collection, le traitement et l’exploration de ces données. Les travaux de ce projet de fin d’études s’intègrent dans le cadre du système de gestion de données RDF distribué PQDAG, développé au sein du laboratoire LIAS (ISAE-ENSMA). Notre objectif consistait à analyser les limites du mécanisme de transfert initial de PQ DAG, puis à concevoir une solution plus modulaire et performante. Ainsi, nous avons proposé un nouveau framework baptisé EGFDT (Enhanced Generic Framework for Data Transfer), permettant de gérer les transferts de données de manière efficace et extensible. Ce framework intègre plusieurs stratégies de transfert efficaces, notamment le broadcast et le shuffle, qui sont omniprésentes dans le système PQDAG. Toutefois, sa conception générique lui permet de s’intégrer facilement à d’autres systèmes distribués présentant une architecture similaire à celle de PQDAG. L’efficacité de notre solution a été validée expérimentalement à travers une série de tests réalisés sur une infrastructure OpenStack.