Il y a le son typique du crépitement qui vient d’une personne qui tambourine avec ses doigts le long d’une table. Mais que se passerait-il si ce son de crépitement normal était perçu comme une série d’échos creux ? Ou du tonnerre roulant ? Un nouveau système de réalité augmentée appelé Tactile Echoes offre aux utilisateurs de telles expériences et pourrait être utilisé à des fins de jeu, de divertissement et de recherche.
Notamment, le système ne nécessite aucun équipement entre le bout des doigts de l’utilisateur et la surface de contact, ce qui signifie que les utilisateurs peuvent profiter de la vraie sensation de leur environnement ainsi que des améliorations visuelles, haptiques et auditives augmentées.
“Tactile Echoes est peut-être le premier système programmable de réalité augmentée haptique qui permet à ses utilisateurs de toucher librement des objets physiques ou des surfaces augmentées d’un retour numérique multimodal à l’aide de leurs mains”, déclare Anzu Kawazoe, doctorant à l’Université de Californie à Santa Barbara qui Echos tactiles co-conçus.
Pour ce faire, il utilise un capteur placé sur le dessus de l’ongle de l’utilisateur, qui détecte les vibrations naturellement produites dans le doigt lorsqu’il touche une surface. Les signaux vibratoires sont traités et traduits en sons programmés.
Différents retours tactiles et sons peuvent être joués avec chaque interaction, car les motifs vibratoires de nos doigts changent en fonction de la surface que nous touchons ou de l’intensité de la pression appliquée. Par exemple, les échos tactiles peuvent jouer un écho léger et amusant lorsque vous appuyez légèrement sur un objet, ou jouer un bruit sourd soudain si vous frappez l’objet avec force.
« Nous étions motivés par l’idée de pouvoir augmenter presque comme par magie n’importe quel objet ou surface ordinaire, comme une simple table en bois, avec une haptique vivante et des effets qui répondent de manière ludique à la manière et à l’endroit où nous touchons », explique Kawazoe.
Son équipe a poussé le système encore plus loin en intégrant l’appareil portable à des environnements virtuels créés par un projecteur intelligent ou un casque VR ou AR. De cette façon, les utilisateurs peuvent « toucher » des objets virtuels dans leur environnement réel et bénéficier d’un retour graphique, sonore et haptique amélioré.
Les chercheurs ont testé les échos tactiles à travers un certain nombre d’expériences d’utilisateurs, décrites dans une étude publiée le 26 mai dans Transactions IEEE sur l’haptique. Tout d’abord, les participants à l’étude ont été invités à décrire différents sons, et quelles perceptions et associations sont évoquées avec chacun d’eux. Dans une deuxième expérience, les participants ont utilisé des échos tactiles pour réaliser un jeu vidéo interactif en réalité augmentée projeté sur une surface de bureau ordinaire. Les utilisateurs ont signalé que les commentaires de Tactile Echos ont considérablement amélioré la réactivité, ainsi que leur niveau d’engagement et d’agence dans le jeu.
Alors que Tactile Echoes est encore un prototype, Kawazoe dit que son équipe est intéressée à collaborer avec des entreprises pour commercialiser cette technologie. “Certaines des applications les plus prometteuses que nous pouvons envisager incluent des jeux de réalité augmentée qui peuvent être joués sur n’importe quelle table, des appareils musicaux dont l’interface peut être projetée partout où cela est nécessaire et des systèmes éducatifs pour animer l’apprentissage des élèves de la maternelle à la 12e année”, dit-elle.
Elle note également que les recherches de son équipe jusqu’à présent avec les échos tactiles ont révélé des phénomènes perceptuels intéressants qui se produisent lorsque le retour haptique est retardé dans le système. En particulier, ils croient que le masquage perceptif se produit, par lequel la perception d’un stimulus affecte l’intensité perçue d’un deuxième stimulus.
« Nous pensons que cet effet de masquage tactile fonctionne sur le système Tactile Echoes. Plus précisément, le retour tactile retardé est perçu comme étant plus fort », explique Kawazoe. “Nous préparons de nouvelles expériences pour étudier ces effets et prévoyons d’utiliser les résultats pour améliorer encore le système Tactile Echoes.”
