Apprendre l’émergence : Deep Learning à quel niveau de supervision ?

Émergence de bancs de Boids

Vue d’ensemble

« Pour un observateur B, un objet A* est un modèle d’un objet A s’il permet à B de répondre à une question qu’il se pose sur A »

Marvin Minsky

Pour construire un objet qui lui permette d’obtenir des réponses, le modélisateur doit faire un certain nombre de choix et de simplifications. Il doit par exemple souvent choisir une échelle de temps et d’espace pour son modèle. Dans les systèmes dits complexes, une seule échelle n’est souvent pas suffisante : il faut en combiner plusieurs. Quand une structure de plus grande échelle a un rapport étroit avec des phénomènes de plus petites échelles, sans qu’il soit trivial de formaliser ce rapport, on dit que la structure émerge de la plus petite échelle. Les simulations à base d’agents sont des outils informatiques bien adaptés à l’exploration de beaucoup de systèmes complexes. Dans celles-ci, la détection des structures émergentes s’appuie essentiellement sur des techniques, issues du machine learning, d’apprentissage non-supervisé de type clustering, bien adaptés à la détection de groupes assez homogènes.

Cependant, depuis une demi-douzaine d’années, des avancées majeures et disruptives liées à l’apprentissage profond, ont  révolutionné le paysage des algorithmes de machine learning. Des évolutions scientifiques et technologiques ont permis l’application de techniques d’apprentissage supervisé pour atteindre des résultats qu’on pensait hors de portée de la machine, dans les domaines de l’identification d’objets ou d’actions dans des images ou des vidéos, la transcription de l’audio, la traduction automatique etc.

ClusterCAM

Un premier stage de Master nous a permis d’évaluer les performances des Convolutional Neural Networks associés à des Class Activation Maps (en une méthode que nous avons baptisée ClusterCAM, développée en Keras sur TensorFlow) sur ce type de tâche et de les comparer favorablement à des algorithmes de density-based clustering proches de l’état de l’art (DBSCAN/OPTICS) sur des données artificielles.

Pour ce stage, nous comptons mener une étude plus poussée de méthode en analysant empiriquement ses performances dans des situations plus complexes mais également dans le cadre de données de simulation. Ce travail a été poursuivi en post-doc par la comparaison de ces méthodes avec la plupart des principaux algorithmes de clustering, sur des données plus proches du terrain (Boids). Ces travaux nous permettent d’identifier des verrous scientifiques et de définir un certain nombre d’objectifs pour un stage de Master.

Objectifs

    1. Le premier objectif du stage sera d’établir empiriquement la capacité des CNNs à détecter des cluster dans des situations expérimentales adverses notamment, en terme de bruit, d’échelles des données, ou d’adaptation de domaine.
    2. ClusterCAM est une méthode faiblement supervisée : on n’indique pas au réseau où sont localisés les clusters. Est-ce qu’être plus explicite en lui fournissant les boîtes englobantes  des clusters est une bonne idée ? Le stagiaire testera cette hypothèse en développant sa propre variante de ClusterCAM.
    3. Au delà du clustering, les organisations émergentes hétérogènes se déploient dans le temps ; on ne peut dans certains cas les détecter correctement qu’en étudiant la simulation sur plusieurs dizaines de pas de temps. Il faudra alors utiliser des techniques à base de CRNN et modèles à attention inspirées des méthodes de détection de séquences et d’actions

Organisation

Localisation : le stage aura lieu à l’université de Rouen Normandie, au sein de l’équipe Apprentissage du laboratoire LITIS.

Durée : de 3 à 6 mois suivant la formation.

Rémunération : stage de Master

Contact : Alain Rakotomamonjy et Pierrick Tranouez ; ApprendreEmergence@litislab.eu

Equipe : DocApp