Reconnaissance multimodale de l’affect par apprentissage profond

Abstract

La reconnaissanceautomatiquedel’affectestundomainederecherchecrucialvisantàamé- liorerl’intelligenceartificielleafinqu’ellepuisseidentifierdemanièrepréciseetautomatiqueles états affectifsdeshumains.Lacomplexitédecedomainerésidedansladiversitédesexpressions affectives,quisemanifestentàtraversdifférentscanaux,notammentlesmodalitésphysiqueset physiologiques. Desétudesrécentesindiquentquel’approcheconsistantàfusionnerdifférentes modalitéspermetd’obtenirdesrésultatsplusfiablesetdemeneràuneanalyseplusapprofondie et complètedecesétatsaffectifs. L’objectifprincipaldecettethèseestledéveloppementdeméthodesdereconnaissance automatique desémotionsetdustressenexploitantdeuxmodalitésdistinctes:lesexpressions faciales etlesignaliPPG(Photopléthysmographieparimagerie).Lesexpressionsfaciales, modaliténonverbaleaisémentacquise,offrentunereprésentationexternedel’étataffectifdes individus. D’autrepart,lesignaliPPGestutilisécommemesurephysiologiquequireflèteles changements durythmecardiaqueavecl’étataffectif.Lafusiondecesdeuxmodalitéspermet d’intégrerdifférentescaractéristiquespropresàchaquemodalité,cequireprésentel’avantage majeur del’approchemultimodale. Nos recherchesseconcentrentsurtroisaxes.Enpremier,nousavonsproposéunenouvelle approched’étudebaséesurlaclassificationdesémotionshumainesselondeuxéchelles,va- lence etarousal,enutilisantdessignauxiPPGextraitsdevidéosfaciales.Lamiseenoeuvre de cetteméthodeimpliqueplusieursétapes,tellesquelacollecteprécisedessignauxiPPG, leur prétraitement,etenfinlaclassification.Encequiconcernelaclassification,nousavons proposéunearchitectured’apprentissageprofondcombinantunréseauneuronalconvolutif unidimensionnel 1D-CNNetunréseaudeneuronesmémoireàlongtermeLSTM. Le deuxièmeaxeestconcentrésurlareconnaissanceautomatiquedesémotionsàpartirdes expressionsfaciales.Notreobjectifétaitd’obteniruneclassificationprécisedesseptémotions de base,entenantcomptedesdifférentespositionsdetête,desregardsvariés,del’âgeetdu sexe.Cetteméthodeestbaséesurdeuxétapesimportantes:leprétraitementdesimages,qui vise àconserveretclarifierlescaractéristiquespertinentesdenosimages,etclassificationpar propositiond’unearchitectured’apprentissageprofond2D-CNN. Le troisièmeaxedecettethèseconcernelaconceptiond’unsystèmemultimodaldere- 4 connaissance automatiquedustress,s’appuyantsurlesexpressionsfacialesetlessignaux iPPG. Unearchitecture3D-CNNestproposéepourlaclassificationenutilisantlesdonnées des expressionsfaciales,tandisqu’unearchitecture1D-CNNestutiliséeaveclessignauxiPPG. Après l’extractiondescaractéristiquesdechaquemodalité,unefusiondecescaractéristiques est appliquée,suiviedel’utilisationdecouchesentièrementconnectéesduréseauneuronal pourlaclassificationdesétatsdestressoudenon-stress. Les résultatsquenousavonsobtenusdémontrentlapuissanceetl’efficacitédesméthodes que nousproposons.Nousavonsatteintuneprécisiondeclassificationde73,33%pourla valence àl’aidedessignauxiPPGetde96,55%pourlesexpressionsfacialesdansdifférentes posesdelatête.Lesquellessurpassentcellesdesautresapprochesrécemmentproposéespar différentschercheurs.Deplus,nousavonsdémontrél’efficacitédelaperformancedel’approche multimodaleparrapportàl’approcheunimodale,atteignantuneprécisiondevalidationde 100%.