Apprendre l’émergence : Deep Learning à quel niveau de supervision ?

Émergence de bancs de Boids

Vue d’ensemble

« Pour un observateur B, un objet A* est un modèle d’un objet A s’il permet à B de répondre à une question qu’il se pose sur A »

Marvin Minsky

Pour construire un objet qui lui permette d’obtenir des réponses, le modélisateur doit faire un certain nombre de choix et de simplifications. Il doit par exemple souvent choisir une échelle de temps et d’espace pour son modèle. Dans les systèmes dits complexes, une seule échelle n’est souvent pas suffisante : il faut en combiner plusieurs. Quand une structure de plus grande échelle a un rapport étroit avec des phénomènes de plus petites échelles, sans qu’il soit trivial de formaliser ce rapport, on dit que la structure émerge de la plus petite échelle. Les simulations à base d’agents sont des outils informatiques bien adaptés à l’exploration de beaucoup de systèmes complexes. Dans celles-ci, la détection des structures émergentes s’appuie essentiellement sur des techniques, issues du machine learning, d’apprentissage non-supervisé de type clustering, bien adaptés à la détection de groupes assez homogènes.

Cependant, depuis une demi-douzaine d’années, des avancées majeures et disruptives liées à l’apprentissage profond, ont  révolutionné le paysage des algorithmes de machine learning. Des évolutions scientifiques et technologiques ont permis l’application de techniques d’apprentissage supervisé pour atteindre des résultats qu’on pensait hors de portée de la machine, dans les domaines de l’identification d’objets ou d’actions dans des images ou des vidéos, la transcription de l’audio, la traduction automatique etc.

Un premier stage de Master nous a permis d’évaluer les performances des Convolutional Neural Networks associés à des Class Activation Maps (en une méthode que nous avons baptisée ClusterCAM, développée en Keras sur TensorFlow) sur ce type de tâche et de les comparer favorablement à des algorithmes de density-based clustering proches de l’état de l’art (DBSCAN/OPTICS) sur des données artificielles.

Pour ce stage, nous comptons mener une étude plus poussée de méthode en analysant empiriquement ses performances dans des situations plus complexes mais également dans le cadre de données de simulation.

Objectifs

    1. Améliorer la validation. Les méthodes développées au cours du précédent stage (ClusterCAM) ont été comparées à OPTICS, qui est un excellent algorithme de clustering non-supervisé. Cependant, nous pensons que les méthodes bayésiennes variationnelles pourraient être un challenge pour ClusterCAM. Le stagiaire s’appropriera dans un premier temps ClusterCAM, puis implémentera une méthode bayésienne de l’état de l’art, et comparera les deux.
    2. Tester une localisation explicite. ClusterCAM est une méthode faiblement supervisée : on n’indique pas au réseau où sont localisés les clusters. Est-ce qu’être plus explicite en lui fournissant les boîtes englobantes  des clusters est une bonne idée ? Le stagiaire testera cette hypothèse en développant sa propre variante de ClusterCAM.
    3. Tester sur des données de simulation. Que valent les méthodes développées pour détecter des organisations émergentes dans une simulation individu-centrée simple de type Boids ?

Organisation

Localisation : le stage aura lieu à l’université de Rouen Normandie, au sein de l’équipe Apprentissage du laboratoire LITIS.

Durée : de 3 à 6 mois suivant la formation.

Rémunération : stage de Master

Contact : Alain Rakotomamonjy et Pierrick Tranouez ; ApprendreEmergence@litislab.eu

Equipe : DocApp