Evenement
Soutenance de thèse de Cyprien Ruffino le 20/04/2021 à
Cyrien Ruffino a le plaisir de vous inviter à sa soutenance de thèse qui aura lieu le mardi 20 avril à 10h. Cette thèse, réalisée à l'INSA de Rouen au sein de l'équipe App du LITIS s'intitule :
"Conditionnement par tâches auxiliaires des réseaux antagonistes génératifs"
Du fait des conditions sanitaires actuelles, la soutenance s'effectuera en visioconférence. Vous êtes donc invités à assister à la soutenance de thèse via les identifiants Zoom suivants :
Par navigateur
https://zoom.us/j/96799782901Meeting ID: 967 9978 2901
Par téléphone
+33170372246, 96799782901# France
La soutenance aura lieu devant le jury composé de
M. Patrick GALLINARI, Professeur, Sorbonne Université - LIP6 & Criteo, Rapporteur
M. Jakob VERBEEK, Chercheur HdR, Inria & Facebook AI Research, Rapporteur
M. Stéphane CANU, Professeur, Normandie Université - LITIS, Examinateur
Mme Cécile CAPPONI, Professeure, Université Aix-Marseille - LIS, Examinatrice
M. John Aldo LEE, Professeur, FNRS & UCLouvain (Belgique) - MIRO, Examinateur
M. Gilles GASSO, Professeur, Normandie Université - LITIS, Directeur
M. Romain HÉRAULT, Maître de conférences HdR, Normandie Université - LITIS, Encadrant
M. Jakob VERBEEK, Chercheur HdR, Inria & Facebook AI Research, Rapporteur
M. Stéphane CANU, Professeur, Normandie Université - LITIS, Examinateur
Mme Cécile CAPPONI, Professeure, Université Aix-Marseille - LIS, Examinatrice
M. John Aldo LEE, Professeur, FNRS & UCLouvain (Belgique) - MIRO, Examinateur
M. Gilles GASSO, Professeur, Normandie Université - LITIS, Directeur
M. Romain HÉRAULT, Maître de conférences HdR, Normandie Université - LITIS, Encadrant
Résumé
Au cours de la dernière décennie, les réseaux génératifs antagonistes (Generative Adversarial Networks, ou GANs) ont révolutionné la génération d'images dans son ensemble. De par leur capacité à apprendre des distributions très complexes en grande dimension, ils ont eu un impact important sur le domaine des modèles génératifs et leur influence s'est largement étendue au grand public. En effet, en étant les premiers modèles capables de générer des images photo-réalistes en haute dimension, ils ont très vite gagné en popularité en tant que technique de génération d'images et de manipulation de photos. Par exemple, leur utilisation en tant que "filtres" est devenue une pratique courante sur les médias sociaux: ils ont également permis l'essor des Deepfakes, des images manipulées afin de falsifier l'identité d'une personne. Dans cette thèse, nous étudions le conditionnement des réseaux génératifs antagonistes, c'est-à-dire influencer le processus de génération afin de contrôler le contenu d'une image générée. Nous nous concentrons sur le conditionnement par le biais de tâches auxiliaires, c'est-à-dire l'utilisation d'un ou plusieurs objectifs supplémentaires au modèle génératif en plus de l'objectif initial d'apprentissage de la distribution des données.
Nous introduisons les principes de la modélisation générative à travers plusieurs exemples, et nous présentons le cadre des réseaux génératifs antagonistes. Nous analysons les interprétations théoriques de ce modèle ainsi que ses problèmes les plus importants, notamment l'instabilité de l'apprentissage du modèle et la difficulté de générer des échantillons diversifiés. Nous passons en revue les techniques classiques de conditionnement des GAN et proposons un aperçu des approches récentes visant à résoudre ses problèmes et à améliorer la qualité visuelle des images générées.
Dans la suite de la thèse, nous nous concentrons sur une tâche de génération spécifique qui nécessite un conditionnement : la reconstruction d'images. Ce problème consiste à générer une image dont nous ne connaissons qu'un nombre très réduit de pixels à priori, généralement autour de 0,5 %. Ceci est motivé par une application directe en géostatistique : la reconstruction de données géologiques de sous-sols à partir d'une très petite quantité de mesures coûteuses et difficiles à obtenir. Pour ce faire, nous proposons d'introduire une tâche de reconstruction auxiliaire explicite dans le cadre du GAN qui, combinée à une technique de restauration de la diversité, a permis de générer des images de haute qualité qui respectent les mesures données.
Dans la deuxième contribution nous étudions une tâche de transfert de domaine avec des modèles génératifs, en particulier le transfert d'images du domaine couleur au domaine polarimétrique. Les images polarimétriques sont soumises à des contraintes strictes qui découlent directement des propriétés physiques de la polarimétrie. En s'appuyant sur l'approche de cohérence cyclique, nous étendons la formulation des modèles génératifs avec des tâches auxiliaires qui poussent le générateur à respecter les contraintes polarimétriques. Nous montrons que cette approche permet non seulement de générer des images polarimétriques physiquement réalistes, mais que l'utilisation des images générées comme données augmentées augmente la performance des modèles de détection d'objets sur des applications d'analyse de scène routière.