Annuaire des projets

LIVES

Apprendre avec des vues interactionnelles

Imaginez que vous ayiez à répondre aux questions suivantes. Comment construire un outil d’aide au diagnostic médical de désordres neurologiques, à partir de d’images cérébrales acquises selon différents dispositifs ? Comment construire une application numérique qui permettrait de détecter l’émotion ressentie par une personne, à partir de son visage et de sa voix ? Comment faire en sorte que ces outils soient robustes à l’absence ou la non-fiabilité de certains types d’information (e.g. image IRM manquante, visage muet) ?

Ces questions émanent de l’Institut de Neurosciences de la Timone (INT), dont une expertise est la diagnostic médical à partir de techniques d’imagerie cérébrale, et Picxel, PME spécialisée dans la reconnaissance automatique d’émotions. Elles font partie de problématiques centrales que ces deux partenaires du projet LIVES rencontrent dans leurs activités et renvoient à des problématiques à la fois fondamentales et pratiques d’informatique.

Pour les étudier et y apporter des réponses, le consortium du projet compte trois autres partenaires, le Lab. d’Informatique de Paris 6 (LIP6), le Lab. Hubert Curien (LaHC), et le Lab. d’Informatique Fondamentale de Marseille (LIF, porteur du projet), dont les membres qui sont engagés sur LIVES sont experts en apprentissage automatique. Cette discipline de l’informatique constituera le cadre scientifique du travail développé dans ce projet, et un intérêt tout aussi fort sera porté à la proposition de nouveaux résultats théoriques et à la mise en oeuvre pratique de ces résultats. L’articulation des ces résultats de nature fondamentale et applicative est une force du projet, sur laquelle les 5 partenaires sont convaincus qu’ils pourront innover.

Les questions mentionnées ci-dessus posent le problème :

• de construire un classifieur capable de prédire la classe (i.e. un diagnostic, ou une émotion) d’un objet observé,
• de tirer parti des quelques modalités, ou vues, disponibles pour décrire l’objet à classer,
• éventuellement, de construire des représentations intermédiaires construites sur ces différentes vues.

C’est précisément l’objectif de ce projet : le développement d’un cadre d’apprentissage automatique pour apprendre en présence de « vues interagissantes », notion centrale que nous prendrons le temps de formaliser et d’étudier. Nous structurerons notre travail de la manière qui suit.

Nous étudierons (tâche T1) comment la prise en compte de vues interagissantes modifie des résultats d’apprenabilité par ailleurs valides ; cela nécessitera la formalisation du problème d’apprentissage multivues et la définition de mesures d’interaction entre les vues. D’autre part, sur la base des résultats théoriques établis, nous nous intéresserons à concevoir de nouveaux algorithmes d’apprentissage multivues capables de fonctionner sur des jeux de données réels.

Pour cela, nous travaillerons sur la question de l’apprentissage de représentations (compactes) de données décrites sous plusieurs vues (tâche T2), ainsi que sur des algorithmes d’apprentissage par transfert et multi-tâches (tâche T3).

La tâche T4 concerne la mise en oeuvre d’algorithmes propres à répondre à des conditions défavorables recontrées dans des applications du monde réel: des données en grand nombre (et/ou grande dimension), et des données (vues) manquantes.

Enfin, les algorithmes d’apprentissage que nous aurons développés seront confrontés à des jeux de données ouverts que nous proposons de collecter (tâche T5: deux jeux de données réelles, en neuro-imagerie (4 types de scans) et en reconnaissance d’émotions (image RGB, IR, et voix), et des jeux de données plus contrôlés.

Ces collections de données seront essentielles pour

(i) la reproductibilité et la comparaison des recherches,

(ii) l’identification de stratégies d’apprentissage capables de traiter les données multivues, et

(iii) amener la communauté d’apprentissage automatique au traitement de données multivues en reconnaissance d’émotions et en neuro-imagerie.