Soutenance de thèse de Jing ZHANG le 6 avril 2022 à 10h UFR ST Amphi Germain (D)

Jing ZHANG soutiendra sa thèse le Mercredi 6 Avril, 2022 à 10h dans UFR ST Salle Amphi Germain (D), Campus Madrillet, avenue de l'université, 76801 Saint Etienne-du-Rouvray. Cette thèse, réalisée à l'INSA de Rouen au sein de l'équipe Quantif du LITIS s'intitule : "Estimation des biomarqueurs à partir d’images médicales: approches basées sur la segmentation et sans segmentation", “Biomarker estimation from medical images: segmentation-based and segmentation-free approaches” (English title)

La soutenance aura lieu devant le jury composé de:

M. Désiré SIDIBÉ, PR de l’Université Evry Val Essonne, Rapporteur;

M. Aymeric HISTACE, PR de l’ENSEA, Cergy, Rapporteur;

Mme Mireille GARREAU, PR de l’Université de Rennes I, Examinatrice;

Mme Caroline PETITJEAN, PR de l’Université de Rouen Normandie, Codirectrice de thèse;

Mme Samia AINOUZ, PR de l’INSA Rouen Normandie, Directrice de thèse

Résumé (English Below)

La segmentation est l'une des tâches les plus importantes dans l'analyse des images médicales. Depuis quelques années, les réseaux de neurones convolutifs (CNN) en constituent l'état de l'art. Dans ce contexte, nous allons nous focaliser sur les problématiques suivantes. Premièrement, la fonction de perte (loss) est une composante importante qui dirige l'apprentissage des CNN et décide de la relation entre les étiquettes cibles et les prédictions. Les fonctions de loss standard en particulier, telle que la loss de Dice, ont montré leurs limites. Deuxièmement, la segmentation est souvent la première étape pour ensuite estimer les paramètres (également appelés biomarqueurs) de l'image. Ces biomarqueurs sont utilisés pour établir un diagnostic et un suivi des patients. Une estimation précise des biomarqueurs est donc capital. Cependant, des erreurs sont susceptibles de se produire lors de l'étape intermédiaire de segmentation. Récemment, les techniques d'apprentissage profond ont ouvert la voie à l'estimation directe des biomarqueurs à partir des images, sans segmentation ou extraction de caractéristique adhoc. La recherche sur ce sujet en est encore à ses débuts. 

Pour répondre à ces questions, cette thèse propose les contributions suivantes, résumées en trois points : tout d'abord, nous proposons une nouvelle fonction de perte, basée sur le coefficient Kappa, qui a la capacité de prendre en compte tous les pixels de l'image, y compris le vrai négatif, contrairement à la perte standard de Dice. Nous illustrons sa valeur ajoutée sur un jeu de données public d'images de lésions cutanées. Deuxièmement, nous contribuons à la prédiction directe de biomarqueurs sans segmentation afin de fournir une solution d'analyse raisonnable et efficace pour les applications cliniques. Nous proposons plusieurs architectures de CNN de régression, qui apprennent directement à estimer les paramètres d'intérêt sans recourir à la segmentation. Un cas d'application est la prédiction de la circonférence de la tête du fœtus à partir d'images échographiques : nous comparons segmentation et régression avec un protocole expérimental judicieux. De ce fait, nous avons pu montrer des résultats prometteurs pour la régression, même si des améliorations restent possibles. Un autre cas est la prédiction des volumes de la structure cardiaque à partir d'images de résonance magnétique tridimensionnelles, dans lequel une méthode de prédiction multi-objectifs est réalisée. Troisièmement, nous étudions l'interprétabilité des modèles de régression, en étendant les techniques standard de cartes de saillance aux CNN de régression, qualitativement et quantitativement. Nous avons pu montrer que, sur la plupart des images, le CNN de régression apprend réellement à identifier la zone cible.

Abstract: 

Segmentation is one of most prominent tasks in medical image processing and analysis. For a few years now, convolutional neural networks (CNN) have been the state-of-the-art in this domain. We will focus on CNN for medical image segmentation and analysis from the following standpoints. First, the loss function is an important component that drives the CNN training and decides on the relation between target labels and the predictions. As such, a lot of research is made on loss design, especially since the standard losses, such as the Dice loss, have shown their limitations. Second, segmentation is often the first step to subsequently estimate parameters (also called biomarkers) from the image. Medical experts use biomarkers to diagnose patients' health status and monitor treatment. Thus accurate biomarkers estimation is of paramount importance. However, errors are prone to occur in the intermediate segmentation step. Very recently, deep learning techniques have opened the way to directly estimate biomarkers from images, without segmenting them. Research on this topic is still as its early stage. 

To address the above issues, this thesis proposes the following contributions, summarized in three points: first, we propose a new loss function, that is based on the Kappa coefficient, that has the ability to take into account all the pixels in the image, including the true negative, contrary to the standard Dice loss. We illustrate its added value on a public set of skin lesion images. Second, we contribute to segmentation-free direct biomarker prediction, from a methodological perspective, so as to provide a reasonable and effective analysis solution for clinical applications. We propose and study several regression CNN architectures, that learn directly to estimate the parameters of interest without resorting to segmentation. One application case is the prediction of fetus head circumference (HC) from ultrasound images: we comprehensively compare segmentation-based method and regression (i.e. segmentation-free) method under a fair experimental protocol and are able to show promising results, even though room for improvement is left. Another case is the prediction of cardiac structure volumes from 3-dimensional (3D) magnetic resonance images, in which a multi-objective prediction method is achieved. Third, we investigate the interpretability of the deep regression models, by extending standard saliency maps techniques to regression CNN. We explained the inner world of the regression CNN models both qualitatively and quantitatively and are able to show that indeed the regression CNN is learning to identify the target area.