Interfaces sonores

Proposé par : Tifanie Bouchara (LISN), Jérémie Garcia (ENAC) et Nicolas Misdariis (IRCAM STMS Lab)

26 mars 2024, matinée (9h-12h30).

Au travers de présentations par des membres du GT son et des invités (chercheur en design sonore et interaction musique mouvement par exemple), l’objectif est de créer une dynamique dans la communauté de l’AFIHM autour des interfaces et interactions sonores. Nous proposons également de traiter le thème IHM pour la santé de cette année en invitant des chercheurs, chercheuses et thérapeutes traitant de ces thématiques.

Le but de cet atelier est donc de confronter les points de vue et les experiences autour des relations entre IHMs sonores et Santé. Nous proposons trois présentations invitées.

• 9h00 - 9h15 : Introduction de l'atelier et tour de table

• 9h15 - 10h00 Présentation de Patrice Guyot (Enseignant Chercheur, Euromov Digital Health in Motion, IMT Mines d'Alès):

“Interactions son/mouvement: indiçage rythmique et sonification.”

Dans le domaine de la santé, la sonification de mouvement émerge comme technique innovante de stimulation de l’appareil sensori-moteur. Dans cet atelier seront présentés deux mises en oeuvre expérimentales de techniques de sonification menées au sein de l’unité de recherche EuroMov DHM. Le premier dispositif, appelé HearMyHarm, a été conçu dans le cadre du traitement de la maladie de Parkinson. L’approche retenue est celle d’un retour sonore continu dont l’objectif est de permettre aux utilisateurs de prendre conscience de la position de leur bras et de l’amplitude des mouvements réalisés. Le développement d’un premier prototype a été l’occasion de tester deux systèmes de capture du mouvement (Qualisys et Movella Xsens), et de concevoir un système de synthèse sonore lié aux coordonnées biomécaniques du mouvement. Le deuxième dispositif est développé dans le cadre du projet européen Sharespace. Ce projet propose la création et l'exploration d'espaces virtuels et hybrides englobant une approche sensorimotrice des interactions sociales. Dans le cadre du scénario « health », un travail est en cours avec l’hôpital Vall d’Hebron de Barcelone pour le traitement de la lombalgie. L’utilisation du son au coeur de l’espace virtuel dans lequel le patient réalise des mouvements thérapeutiques ouvre de nombreuses perspectives de stimulations et de retours pour l’utilisateur, sur des aspects motivationnels et posturaux.

• 10h00 - 10h45 Présentation de Valentin Bauer (Post-Doc, i3lab, Politecnico di Milano, Milan)

“Explorer des Approches Multisensorielles en Réalité Etendue pour des Personnes Autistes : Améliorer le Bien-Être et Évaluer la Perception Sonore”

L'autisme est une condition neurodéveloppementale caractérisée par des difficultés sociales et sensorielles. Bien que les recherches en Réalité Etendue (RE) soient prometteuses pour compléter les approches cliniques, elles se concentrent majoritairement sur les compétences socio-émotionnelles d’enfants autistes avec de légers troubles de l’apprentissage. Pourtant, les approches cliniques ciblent également les personnes avec des troubles sévères et des besoins complexes, en abordant notamment la perception sensorielle. Partant de ce constat, 34 entretiens ont été menés avec des parties prenantes pour comparer leurs besoins éventuels avec les études existantes en RE. Les résultats m’ont poussé à initier trois projets de recherche. L’application multisensorielle de médiation en Réalité Augmentée (RA) Magic Bubbles a été conçue, développée, et testée dans un hôpital de jour avec une équipe clinique. Elle vise à sécuriser des enfants avec besoins complexes et à promouvoir le partage de leurs expériences. Je me suis ensuite concentré sur l’utilisation de la RA pour évaluer la perception sonore atypique de personnes autistes, en lien avec un psychomotricien. Une taxonomie sonore a été créée, basée sur une revue de la littérature et une consultation de 68 parties prenantes, suivie d’une réflexion sur la conception d’un dispositif de RA. Enfin, une approche musico-graphique au sein d’un espace multisensoriel visant à favoriser la collaboration entre personnes autistes a été conçue avec des parties prenantes. La présentation se conclura par des perspectives de recherche inspirées des principales conclusions de ces travaux.

• 10h45 - 11h00 Pause Café

• 11h00 - 12h00 Présentation d'Iseline Peyre et démonstration de Coralie Vincent (Ingénieure Recherche, IRCAM STMS Lab)

“CoMo Rééducation : Conception et évaluation d’un dispositif de sonification du mouvement pour la rééducation après une lésion cérébrale acquise”

De la cartographie de l’ADN à celle de l’Univers, le développement des Auditory Displays ouvre l’horizon de la représentation du monde permettant d’appréhender sa diversité et complexité. Au sein de cette famille polymorphe, les techniques de sonification du mouvement se caractérisent par la conversion en temps réel de paramètres du mouvement en paramètres sonores. Outre un usage dans des pratiques artistiques (danse, pédagogie musicale) ou sportives (apprentissage sensori-moteur, expertise du geste), le développement de ces systèmes suscite un important intérêt en santé par les perspectives d’usages multiples qu’il offre, dans les champs de la déficience visuelle et de la rééducation motrice et cognitive notamment. Les enjeux mobilisés lors de la conception de ce type de systèmes seront abordés à travers le prisme du cas particulier de la création du dispositif de sonification du mouvement CoMo Rééducation visant à soutenir la rééducation motrice des membres supérieurs de patients adultes présentant des troubles suite à une lésion cérébrale acquise.

La présentation sera suivie d'une démonstration du dispositif CoMo Démonstration vidéos.

.

• 12h00 - 12h30 Conclusion et table ronde

L’inscription à l’atelier est obligatoire. Il n’est cependant pas nécessaire de s’inscrire à la conférence entière IHM qui suivra cette journée pour participer à cet atelier. Lien vers la page d'inscription