Towards Robust Facial Expression Recognition Through Deep Feature Learning and Co-Attentive Hybrid Architectures

Le Doyen de la Faculté des Sciences et Techniques de Béni Mellal porte à la connaissance du public que Madame Maryam KNOUZI, soutiendra une thèse de Doctorat intitulée : « Towards Robust Facial Expression Recognition Through Deep Feature Learning and Co-Attentive Hybrid Architectures».

La soutenance publique aura lieu le Lundi 16 Novembre 2026 à 10h00 à l'Ecole Nationale des Sciences Appliquées, Université Sultan Moulay Slimane, Khouribga, devant le jury composé de :

• Monsieur ABOUTABIT Nourdinne : Professeur, Ecole Nationale des Sciences Appliquées, Université Sultan Moulay Slimane, Khouribga, Président ;

• Monsieur LAMGHARI Nidal : Maître de Conférence Habilité, Ecole Nationale des Sciences Appliquées, Université Sultan Moulay Slimane, Khouribga, Rapporteur ;

• Madame Soussi Nassima : Maître de Conférence Habilité, Ecole Nationale des Sciences Appliquées, Université Sultan Moulay Slimane, Khouribga, Rapporteure ;

• Monsieur BAHAJ Mohammed : Professeur, Faculté des Sciences et Techniques, Université Hassan I, Settat, Rapporteur ;

• Madame ENNAJI Fatima Zohra : Maître de Conférence Habilité, Ecole Nationale des Sciences Appliquées, Université Sultan Moulay Slimane, Khouribga, Co-enradrante de thèse;

• Monsieur HAFIDI Imad : Professeur, Ecole Nationale des Sciences Appliquées, Université Sultan Moulay Slimane, Khouribga, Encadrant de la thèse ;

Résumé:

La reconnaissance des expressions faciales (FER) est l’une des tâches essentielles de la vision par ordinateur et de l’informatique affective, qui vise à reconnaître automa tiquement les émotions humaines à partir d’images faciales. Bien que l’apprentissage profond ait été développé pour faciliter la FER, celle-ci reste une tâche difficile en rai son des variations d’éclairage, de pose, d’occlusion, d’intensité des expressions et de qualité d’image. Dans cette thèse, nous explorons diverses méthodes d’apprentissage profond pour la FER en trois étapes progressives. Tout d’abord, un réseau neuronal convolutif profond optimisé (OP-DCNN) est proposé afin d’améliorer l’apprentissage de la représentation faciale grâce à l’optimisation de l’architecture, à la régularisation, à l’augmentation des données et à des stratégies d’entraînement, permettant d’atteindre une précision de 98 % sur le jeu de données CK+. Deuxièmement, une étude sur l’apprentissage par transfert utilisant VGG16, VGG19, ResNet50 et InceptionV3 sur le jeu de données FER2013 a été menée à l’aide d’un cadre de réseau neuronal convolutif profond finement ajusté (FN-DeepCNN). InceptionV3 s’est avéré être l’architecture la plus performante avec une précision de 76 %, tandis que la précision de référence du DCNN était de 66 %. Enfin, afin de tirer parti des représentations faciales locales et globales complémentaires, un « Co-attentive Cross-Granularity Transformer » (CCT) est proposé. Le CCT utilise une branche convolutive basée sur l’architecture VGG16 et une branche de type Transformer, recourant à la co-attention bidirectionnelle pour faciliter le partage d’informations entre les deux flux de représentation. L’impact de l’entropie croisée catégorielle, du lissage des étiquettes et de la perte focale est égale ment étudié. Des expériences menées sur les ensembles de données CK+, JAFFE et FER2013 montrent que le lissage des étiquettes (Label Smoothing) atteint la précision la plus élevée sur CK+ et FER2013, avec respectivement 96,80 % et 66,61 %, tandis que les trois fonctions de perte atteignent 85,71 % sur JAFFE. 

Mots-clés : Reconnaissance des expressions faciales ; Apprentissage profond ; Réseaux neuronaux convolutifs ; Apprentissage par transfert ; Transformateurs de vision ; Architecture hybride CNN-Transformateur ; Co-attention.