Benabdallah, Fatima Zohra ChaimaaBenyelloul, Rania2026-10-082026-10-082026-06-15https://dspace.univ-tlemcen.dz/handle/112/26972Avec la croissance rapide des smartphones et des applications mobiles, le système d'exploitation Android est devenu la plateforme mobile la plus utilisée dans le monde. Cette popularité s'accompagne d'une augmentation significative de logiciels malveillants sophistiqués, capables de contourner les mécanismes de détection traditionnels, tels que ceux basés sur les signatures et les règles comportementales statiques. Face à cette menace, le présent mémoire propose une approche de détection d'anomalies comportementales basée sur l'apprentissage automatique non supervisé, appliquée au jeu de données de référence CICMalDroid 2020 (11 598 applications Android, 476 caractéristiques d'appels système). Dans le cadre de cette étude, trois algorithmes complémentaires ont été évalués selon deux protocoles expérimentaux distincts : une approche one-class (entraînement exclusif sur applications bénignes) et une approche semi-supervisée avec rééquilibrage SMOTETomek. Les algorithmes étudiés sont l'Isolation Forest, l'Autoencoder et le One-Class SVM à noyau RBF. Les résultats démontrent la supériorité de l'approche one-class, avec des F1-Scores dépassant 0,99 pour l'Isolation Forest et le One-Class SVM, sans aucune connaissance préalable des malwares lors de l'entraînement. Ces performances égalent, voire surpassent, celles de méthodes supervisées de l'état de l'art, tout en offrant la capacité de détecter des menaces inconnues (attaques zero-day). Enfin, l'interprétabilité des décisions est renforcée par l'intégration de l'analyse SHAP, renforçant ainsi la transparence et la fiabilité des systèmes de détection proposés.frDétection d'anomaliesapprentissage non supervisémalwares AndroidCICMalDroid 2020Isolation ForestAutoencodeurOne-Class SVMappels système (syscalls)attaques zero-daySHAPThesis