Analyse et Classification des anomalies thoraciques à partir des images et rapports médicaux

Abstract

Cette étude s’intéresse au diagnostic et à la classification des anomalies thoraciques à l’aide d’une approche multimodale combinant des images de tomodensitométrie (CT) et des rapports radiologiques associés a chaque patient. L’objectif recherché est la prédiction multi-étiquette de la pneumonie, du COVID-19 et de l’emphysème. Pour ce faire, nous nous appuyons sur le jeu de données RadGenome-ChestCT, et comparons également les stratégies unimodales et multimodales afin d’améliorer les performances diagnostiques. Le cadre des expériences repose sur Kaggle avec un GPU NVIDIA Tesla P100. Les mo dèles visuels sont implémentés avec le framework PyTorch, et les modèles textuels avec TensorFlow/HuggingFace. Notre étude porte sur 741 volumes CT alignés et 3500 rap ports radiologiques. Nous comparons ainsi trois architectures 3D CNN (R3D-18, MC3-18, X3D-M) et quatre modèles Transformer (BERT, RoBERTa, ClinicalBERT, BioBERT). À côté d’architectures de fusion Late Fusion et Early Fusion, nous évaluons nos modèles sur : l’AUC, le F1-score, accuracy et la sensibilité, ainsi que l’optimisation des seuils et l’augmentation des données en test pour les modèles d’images. Nos résultats montrent que, parmi les modèles visuels, c’est la R3D-18 qui performe le mieux (AUC moyenne de 0, 876). Côté modèles textuels, nous avons retenu BioBERT pour effectuer une fusion de représentation. Sur l’ensemble de test, les performances s’améliorent lorsque qu’on passe du modèle basé sur l’image seule (AUC 0, 9484) ou du modèle basé sur le texte seul (0, 9857) vers la Late Fusion (0, 9912). Cependant, c’est la Early Fusion qui obtient les meilleurs résultats en valeur absolue (AUC 0, 9996 et F1 macro de 0, 9882), avec notam ment une classification du COVID-19 parfaitement maîtrisée. En synthèse, ces travaux quantitativement évalués permettent de conclure que les rapports radiologiques semblent être la source d’information la plus discriminante, que les images CT apportent un gain de performance, et que la fusion multimodale, et en particulier la fusion précoce, offre le meilleur compromis en termes de performances diagnostiques.