Soutenance de thèse de Sandratra RASENDRASOA vendredi 15 septembre 2023 à 10 heures
Date :
La soutenance de thèse de Sandratra RASENDRASOA aura lieu le vendredi 15 septembre à 10 heures dans l'amphithéâtre D de l'université de Rouen Normandie. Cette thèse, réalisée à l'université de Rouen Normandie, s'intitule:
Ιnteractiοns multimοdales multi-parties en cοmmunautés mixtes
La soutenance aura lieu devant le jury composé de:
Madame Catherine Pelachaud, Directrice de recherche, CNRS - ISIR, Sorbonne University, examinatrice
Madame Magalie Ochs, Maître de conférences, HDR Aix Marseille Université (AMU) Laboratoire d'Informatique et des Systèmes (LIS), examinatrice
Monsieur Florian Yger, Maître de conférences , PSL-Université Paris-Dauphine, LAMSADE/MILES, examinateur
Monsieur Gérard Bailly, Directeur de recherche, GIPSA-Lab, rapporteur
Monsieur Cedric Buche, Professeur des universités, CNRS/ENIB, rapporteur
Monsieur Sébastien Adam, Professeur des universités, Université de Rouen Normandie, directeur de thèse
Monsieur Alexandre Pauchet, Maître de conférences HDR, INSA de Rouen Normandie, co-directeur de thèse
Monsieur Julien Saunier, Maître de conférences, INSA de Rouen Normandie, co-encadrant de thèse
La soutenance s'effectuera en mode hybride. Ceux qui souhaitent assister à la soutenance en distanciel sont donc invités à le faire via le lien Zoom suivant :
Participer à la réunion Zoom :
Résumé:
Ces dernières années, le développement d'interfaces homme-machine intuitives a permis la démocratisation de systèmes intégrant à la fois des utilisateurs humains et des compagnons artificiels (robots et/ou personnages virtuels) dans une interaction sociale. Le travail principal de cette thèse concerne les interactions dialogiques qui ont lieu dans un contexte multi-partie , c'est-à-dire impliquant plusieurs utilisateurs et plusieurs robots ou agents virtuels. L'objectif de cette thèse est donc d'étudier les moyens théoriques et pratiques permettant une interaction multi-partie entre plusieurs agents virtuels, robots et humains.
Elle se concentre sur le choix des actions dialogiques, en particulier avec une composante émotionnelle des compagnons artificiels. L'intégration de cette composante émotionnelle permet d'augmenter l'engagement des utilisateurs dans l'interaction et la crédibilité des agents. L'expression du comportement le plus naturel possible, c'est-à-dire similaire à celui d'un utilisateur humain, nécessite l'utilisation de plusieurs modalités (énoncé, voix, geste, etc.). Le comportement des agents dépendra à la fois du dialogue et de l'état émotionnel inféré des utilisateurs humains. Au cours d'une interaction dialogique, un agent suit un cycle simplifié composé d'une phase de perception, de décision et d'action. Cette thèse intervient dans les trois phases, où deux verrous ont été identifiés :
Pendant la phase de perception, un mécanisme d'interprétation des actions, attitudes, déclarations dialogiques et émotions des utilisateurs humains est nécessaire. Cela implique l'extraction de la sémantique des observations brutes à partir de données multimodales (texte, son, vidéo, etc.). Dans cette thèse, l'accent principal sera mis sur la reconnaissance des émotions affichées dans une conversation multi-partie, via l'extraction de plusieurs modalités (énoncé, voix, visage).
Pendant les phases de décision et d'action, l'émotion à jouer par l'agent est générée en fonction de ce qu'il a perçu et de ce qu'il a décidé. Dans le contexte d'un groupe de discussion où un agent joue le rôle de facilitateur, une stratégie de facilitation basée sur l'intelligence émotionnelle de groupe est proposée pour évaluer l'engagement des participants dans la conversation. Nous visons à répondre à la question de recherche suivante : Comment améliorer un agent conversationnel agissant en tant que facilitateur une discussion de groupe ?
Nous avons étudié la question sous plusieurs aspects : l'intelligence émotionnelle perçue de l'agent, l'engagement de l'utilisateur, la confiance qu'ils partagent avec l'agent, leur sentiment de rapport avec lui et l'acceptabilité du système. Une étude expérimentale a été réalisée, dans un scénario multi-partie où trois participants humains interagissent avec un robot. Nous avons constaté que les participants étaient plus impliqués dans le scénario grâce aux interventions individuelles et de groupe basées sur les émotions prédites par notre modèle de reconnaissance des émotions dans la conversation (REC).
Elle se concentre sur le choix des actions dialogiques, en particulier avec une composante émotionnelle des compagnons artificiels. L'intégration de cette composante émotionnelle permet d'augmenter l'engagement des utilisateurs dans l'interaction et la crédibilité des agents. L'expression du comportement le plus naturel possible, c'est-à-dire similaire à celui d'un utilisateur humain, nécessite l'utilisation de plusieurs modalités (énoncé, voix, geste, etc.). Le comportement des agents dépendra à la fois du dialogue et de l'état émotionnel inféré des utilisateurs humains. Au cours d'une interaction dialogique, un agent suit un cycle simplifié composé d'une phase de perception, de décision et d'action. Cette thèse intervient dans les trois phases, où deux verrous ont été identifiés :
Pendant la phase de perception, un mécanisme d'interprétation des actions, attitudes, déclarations dialogiques et émotions des utilisateurs humains est nécessaire. Cela implique l'extraction de la sémantique des observations brutes à partir de données multimodales (texte, son, vidéo, etc.). Dans cette thèse, l'accent principal sera mis sur la reconnaissance des émotions affichées dans une conversation multi-partie, via l'extraction de plusieurs modalités (énoncé, voix, visage).
Pendant les phases de décision et d'action, l'émotion à jouer par l'agent est générée en fonction de ce qu'il a perçu et de ce qu'il a décidé. Dans le contexte d'un groupe de discussion où un agent joue le rôle de facilitateur, une stratégie de facilitation basée sur l'intelligence émotionnelle de groupe est proposée pour évaluer l'engagement des participants dans la conversation. Nous visons à répondre à la question de recherche suivante : Comment améliorer un agent conversationnel agissant en tant que facilitateur une discussion de groupe ?
Nous avons étudié la question sous plusieurs aspects : l'intelligence émotionnelle perçue de l'agent, l'engagement de l'utilisateur, la confiance qu'ils partagent avec l'agent, leur sentiment de rapport avec lui et l'acceptabilité du système. Une étude expérimentale a été réalisée, dans un scénario multi-partie où trois participants humains interagissent avec un robot. Nous avons constaté que les participants étaient plus impliqués dans le scénario grâce aux interventions individuelles et de groupe basées sur les émotions prédites par notre modèle de reconnaissance des émotions dans la conversation (REC).