Soutenance de thèse de Tongxue ZHOU le 31 janvier 2022

Date :

...
La soutenance de thèse de Tongxue ZHOU aura lieu le lundi 31 Janvier à 14h, au bâtiment enseignement, Salle de Formation Interactive (2b07), UFR Medecine Université de Rouen Normandie: 22 rue Boulevard Gambetta (Station de bus : Martinville). Cette thèse, réalisée au sein de l'équipe Quantif du LITIS s'intitule:

" Deep Learning for Semantic Segmentation in Multimodal Medical Images: Application on Brain Tumor Segmentation from Multimodal Magnetic Resonance Imaging "

Du fait des conditions sanitaires actuelles, la soutenance s'effectuera simultanément en présentiel et en visioconférence. Si vous choisissez la visioconférence, vous êtes invité à rejoindre la visioconférence organisée par UFR Medecine Université de Rouen Normandie: https://visio.syvik.fr/webapp/conference/7207?id=6936&pin=&join=join
Optimisé pour Chrome & Firefox

La soutenance aura lieu devant le jury composé de:

* Mme Christine FERNANDEZ-MALOIGNE, Professeure à l’Université de Poitiers, Présidente du Jury
* M. Gaël VAROQUAUX, Directeur de recherche INRIA à l’INRIA Saclay, Rapporteur
* M. Nicolas DUCHATEAU, Maitre de conférences à l’Université Lyon 1, Examinateur
* M. Pierrick COUPÉ, Directeur de recherche CNRS à l’Université de Bordeaux, Rapporteur
* Mme Su RUAN, Professeure à l’Université de Rouen Normandie, Codirectrice de thèse
* M. Stéphane CANU, Professeur à l’INSA-Rouen Normandie, Directeur de thèse

Résumé (English Below)
Dans cette thèse, nous développons quatre méthodes de segmentation des tumeurs cérébrales à partir d’images IRM multimodales, basées sur l’apprentissage profond. Les deux premières méthodes se concentrent sur la segmentation tumorale avec des modalités complètes. Tandis que les deux dernières méthodes réalisent la segmentation lorsque certaines modalités sont manquantes. Nous présentons d’abord le premier réseau de neurones profond pour la segmentation d’images multimodales de tumeurs cérébrales. Celui-ci est basé à la fois sur un mécanisme d’attention afin de fusionner les images multimodales et sur une contrainte liée au contexte afin de limiter la région de la segmentation. Compte tenu qu’il existe une corrélation entre les modalités, nous proposons une seconde méthode exploitant cette corrélation multimodale dans l’espace des caractéristiques latentes, à l’aide d’un modèle non linéaire et de la divergence de KL, dans le but de fusionner les images de manière efficace. Cette méthode innovante utilise un bloc de fusion à « triple attention », qui comprend un module d’attention basé sur les modalités, un autre basé sur l’espace spatial, et un troisième basé sur la corrélation multimodale. Il est fréquent que certaines modalités soient manquantes en pratique clinique. Nous proposons donc deux méthodes permettant la segmentation de tumeurs cérébrales avec des modalités manquantes. Nous exploitons à nouveau la corrélation entre les modalités afin de conserver les informations des images manquantes. Dans notre première méthode, le réseau est entraîné avec la totalité des modalités à l’aide de la corrélation multimodale. Il est ensuite testé dans les cas où certaines modalités sont manquantes, et celles-ci sont remplacés par les modalités les plus proches. Afin de retrouver plus précisément les informations manquantes, nous proposons une seconde méthode permettant de générer les caractéristiques de la modalité manquante, grâce à une corrélation multimodale. De plus, nous appliquons une divergence KL pour garantir la similarité entre les caractéristiques générées et celles de la modalité originale. Nous avons démontré l’efficacité et la bonne performance des méthodes proposées en utilisant une base d’images multimodales publique.

Abstract
In this thesis, we develop four deep learning based brain tumor segmentation methods with multimodal MRI images. The first two methods focus on the segmentation with complete modalities, and the last two methods aim to tackle the segmentation with missing modalities. We first present a multi-modal brain tumor segmentation network based on attention mechanism to fuse MRI images and context constraint to limit segmentation regions. Considering the correlation between different MR modalities, we propose a second method to model this correlation in the feature latent space with a non-linear model and KL divergence in order to fuse images in an efficient way. This method uses a novel tri-attention fusion block which consists of a modality attention module, a spatial attention module, and a correlation attention module. Since it’s common to have missing imaging modalities in clinical practice, we propose two methods for brain tumor segmentation with missing MR modalities. The correlation between multimodal MRI images is exploited again to maintain the information of the missing images. In the first method, the network is trained with complete modalities via multi-source correlation, and tested with missing modalities in which the missing modalities are replaced by the most similar ones. To retrieve more precisely the lost information when modalities are missing, we proposed a second method to generate a feature-enhanced missing modality under the multi-source correlation condition. In addition, a KL divergence is applied to guarantee the similarity between the estimated correlated feature representation and the original feature representation. We evaluated these proposed methods on public multi-modal brain tumor segmentation datasets and demonstrated the effectiveness of these proposed methods.