Offre d'emploi

[offre de thèse] Apprendre l'émergence : Deep Learning à quel niveau de supervision ?

Présentation

Vue d'ensemble

« Pour un observateur B, un objet A* est un modèle d'un objet A s'il permet à B de répondre à une question qu'il se pose sur A »

Marvin Minsky

 

Pour construire un objet qui lui permette d’obtenir des réponses, le modélisateur doit faire un certain nombre de choix et de simplifications. Il doit par exemple souvent choisir une échelle de temps et d’espace pour son modèle. Dans les systèmes dits complexes, une seule échelle n’est souvent pas suffisante : il faut en combiner plusieurs. Quand une structure de plus grande échelle a un rapport étroit avec des phénomènes de plus petites échelles, sans qu’il soit trivial de formaliser ce rapport, on dit que la structure émerge de la plus petite échelle. Les simulations à base d’agents sont des outils informatiques bien adaptés à l’exploration de beaucoup de systèmes complexes. Dans celles-ci, la détection des structures émergentes s’appuie essentiellement sur des techniques, issues du machine learning, d’apprentissage non-supervisé de type clustering, bien adaptés à la détection de groupes assez homogènes.

Cependant, depuis une demi-douzaine d’années, des avancées majeures et disruptives liées à l’apprentissage profond, ont  révolutionné le paysage des algorithmes de machine learning. Des évolutions scientifiques et technologiques ont permis l’application de techniques d’apprentissage supervisé pour atteindre des résultats qu’on pensait hors de portée de la machine, dans les domaines de l’identification d’objets ou d’actions dans des images ou des vidéos, la transcription de l’audio, la traduction automatique etc.

L’objectif de la thèse est de proposer une première étude approfondie du potentiel des algorithmes de deep learning pour résoudre des problématiques liées aux simulations à base d’agent. En particulier, la thèse s’attaque la question des méthodes d’apprentissage profond pour détecter des organisations émergentes dans des simulations de modèles à base d’agents.

Un premier stage de Master nous a permis d’évaluer les performances des Convolutional Neural Networks associés à des Class Activation Maps sur ce type de tâche et de les comparer favorablement à des algorithmes de density-based clustering proches de l’état de l’art (DBSCAN/OPTICS) sur des données artificielles. Ce travail a été poursuivi en post-doc par la comparaison de ces méthodes avec la plupart des principaux algorithmes de clustering, sur des données plus proches du terrain (Boids). Ces travaux nous permettent d’identifier des verrous scientifiques et de définir un certain nombre d’objectifs pour la thèse.

Objectifs

Théorie et analyse de détection statique de clusters

  1. Le premier objectif de la thèse sera d’établir empiriquement la capacité des CNNs à détecter des clusters dans des situations expérimentales adverses notamment, en terme de bruit, d’échelles des données, ou d’adaptation de domaine. Une étude empirique visant à une extension des résultats à des données non-euclidiennes ou structurées (telles que des graphes) sera également menée.

  2. Les CNNs s’appliquent usuellement à des données allant jusqu’au 4D (données spatio-temporelles). Dans un cadre de détection de clusters,  les données peuvent être de dimensionnalité arbitrairement grande. Un deuxième objectif de la thèse sera de développer des techniques permettant d’étendre l’approche 2D développée à des problèmes n dimensions. Une des solutions possibles est de réaliser une projection aléatoire sur un ou plusieurs sous-espace 2D, de réaliser la détection dans ces sous-espaces et d’en combiner les résultats de la détection.

  3. Le problème qui nous intéresse est un problème de détection de clusters, mais pas de clustering. Cette problématique a été peu étudiée d’un point de vue théorique en apprentissage. Afin d’en améliorer la compréhension, nous prévoyons de formaliser le problème d’apprentissage supervisé sous-jacent, d'analyser la  capacité de généralisation de modèles CNN simples. Pour ce faire, on établira un lien formel entre ces modèles et  les méthodes d’estimation de densité par kernel smoothing ou en analysant le problème comme étant un problème de classification supervisé de distributions. Nous envisageons de produire des résultats théoriques également pour les versions haute-dimension/projection aléatoire de notre modèle.

Analyse de détection dynamique de clusters

  1. Au delà du clustering, les organisations émergentes hétérogènes se déploient dans le temps ; on ne peut dans certains cas les détecter correctement qu’en étudiant la simulation sur plusieurs dizaines de pas de temps. Il faudra alors s’inspirer des méthodes à base de CRNN et modèles d’attention pour :

    1. Détection de séquences

    2. Détection d’actions

Application à des problèmes réels de simulation

  1. Connecter à des problèmes réels de simulation (voir Environnement)

    1. Choisir 1 à 3 exemples fil rouge

      1. Détection de groupes de comportement émergent dans des foules (piétons dans des espaces euclidiens 2D)

        1. Coordination locale : panique, leaders

        2. Coordination à distance : via réseaux sociaux numériques

      2. Détection d’embouteillages

        1. Caractéristiques niveau véhicule

        2. Caractéristiques niveau tronçon

        3. similarité avec la détection de panne (95% des tronçons ne sont pas encombrés)

      3. Perception d’aléa

        1. Perception locale de l’agent (ex : la fumée autour de lui)

        2. Perception globale de l’aléa par l’agent (ex : la forme et la trajectoire du panache de fumée)

    2. Transfer learning des données artificielles aux données de simulation

    3. Apprentissage sur des données de simulation

Environnement

Le doctorant pour son objectif 5 s'intégrera au projet ANR ESCAPE et RIN ESCAPE SG.

  • ESCAPE vise à la construction d’une  plate-forme de simulation individu-centrées d’évacuation massive de population lors de catastrophes naturelles ou d’origine humaine. Le LITIS y est responsable des Work Packages sur la modélisation des individus, des groupes, et du changement d’échelle. 

  • ESCAPE SG vise à la construction d’un jeu sérieux de gestion de situation d’urgence qui s’appuie sur le simulateur ESCAPE.

Le doctorant pourra compter dans ce cadre sur des postdocs et ingénieurs pour l’aider à adapter ses modèles d’apprentissage à des cas littéralement complexes.

La thèse se déroulera dans le laboratoire LITIS, à l’université de Rouen Normandie. Elle bénéficiera des moyens de calcul des datacenters du LITIS et du CRIANN.

Bibliographie

  1. Amineh Amini, Teh Ying Wah, and Hadi Saboohi. On density-based data streams clustering algorithms : a survey. Journal of Computer Science and Technology, 29(1): 116–141, 2014.

  2. Mihael Ankerst, Markus M Breunig, Hans-Peter Kriegel, and Jörg Sander. Optics : ordering points to identify the clustering structure. In ACM Sigmod record, volume 28-2, pages 49–60. ACM, 1999.

  3. Daniel David and Rémy Courdier. Emergence as metaknowledge : refining simulation models through emergence reification. In Cyrille Bertelle et Aladdin Ayesh, editeurs, European Simulation and Modelling Conference (ESM’08), pages 25–27, 2008.

  4. Javier Gil Quijano. Modèles d’auto-organisation pour l’émergence de formes urbaines à partir de comportements individuels à Bogota. PhD thesis, Paris 6, 2007.

  5. Gildas Morvan. Multi-level agent-based modeling-a literature survey. arXiv preprint arXiv :1205.0561, 2012.

  6. Pedro Pinheiro and Ronan Collobert. Recurrent convolutional neural networks for scene labeling. In International Conference on Machine Learning, pages 82–90, 2014.

  7. Erich Schubert, Jörg Sander, Martin Ester, Hans Peter Kriegel, and Xiaowei Xu. Dbscan revisited, revisited : Why and how you should (still) use dbscan. ACM Transactions on Database Systems (TODS), 42(3) :19, 2017.

  8. Duc-An Vo, Alexis Drogoul, Jean-Daniel Zucker, and Tuong-Vinh Ho. A modelling language to represent and specify emerging structures in agent-based model. In International Conference on Principles and Practice of Multi-Agent Systems, pages 212–227. Springer, 2010.

  9. P Tranouez, E Daudé, P Langlois A multiagent urban traffic simulation Journal of Nonlinear Systems and Applications 3 (3), 98-106. 2012.

  10. Bolei Zhou, Aditya Khosla, Agata Lapedriza, Aude Oliva, and Antonio Torralba. Learning deep features for discriminative localization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2921–2929, 2016. 

  11. Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473(2014).

  12. Xu, Kelvin, et al. Show, attend and tell: Neural image caption generation with visual attention. arXiv preprint arXiv:1502.03044 (2015)

  13. A Rakotomamonjy, A Traore, M Berar, R Flamary, N Courty, Distance Measure Machines, arXiv preprint arXiv:1803.00250

  14. Muandet, K., Fukumizu, K., Dinuzzo, F., & Schölkopf, B. (2012). Learning from distributions via support measure machines. In Advances in neural information processing systems (pp. 10-18).

Mission

Organisation