Si la réalité virtuelle est censée finalement imiter notre réalité actuelle, alors le toucher est un sens important à aborder. La recherche haptique – la recherche autour de la technologie qui peut intégrer cette sensation de toucher – a été un sujet brûlant parmi les entreprises axées sur la réalité virtuelle et augmentée comme Meta.
Maintenant, des chercheurs du Future Interfaces Group de l’Université Carnegie Mellon ont développé un dispositif complémentaire d’haptique buccale qui peut être fixé au bas d’un casque VR. Leur article sur la technologie est présenté cette semaine à la conférence CHI sur les facteurs humains dans les systèmes informatiques à la Nouvelle-Orléans. Leur système peut permettre aux utilisateurs portant des lunettes de réalité virtuelle de ressentir ce que l’on pourrait ressentir en buvant de l’eau d’une fontaine ou en ayant une araignée qui court sur leur visage.
Voici comment cela fonctionne : une grille de minuscules haut-parleurs à ultrasons est alignée sur une carte collée au bas d’un casque VR. Ces haut-parleurs, appelés transducteurs, produisent des sons ou des ondes de pression à une fréquence que les oreilles humaines ne peuvent pas entendre. Les haut-parleurs peuvent être déclenchés de manière spécifique afin que toutes leurs ondes se concentrent ensemble, comme la lumière à travers une loupe, explique Chris Harrison, directeur du Future Interfaces Group. « Cela crée cette sensation de pression. La pression au fil du temps crée une vibration », dit-il. “Si vous les assemblez de manière intéressante et que vous les associez à une bonne conception sonore et à une bonne conception visuelle, c’est en fait assez immersif.”
[Related: Meta gave a sneak peek of one of its first VR wearables]
Vivian Shen, doctorante à l’Université Carnegie Mellon et première auteure de l’article, a déclaré qu’elle souhaitait travailler avec l’haptique ultrasonore car elle donne un effet plus localisé et est très “expressive”. La bouche est une bonne cible pour tester cela car c’est une zone particulièrement sensible du corps humain. Il existe de nombreux paramètres pour la technologie avec lesquels ils pourraient jouer, y compris la force de l’effet, où se trouve l’effet, la durée de l’effet, les modèles de l’effet dans le temps et si l’effet est stable ou modulé.
Ils ont essayé des combinaisons de ceux-ci pour animer des effets de base et ont utilisé les plus forts et les plus convaincants pour créer leur bibliothèque d’animation qui comprend les commandes haptiques de base pour différents mouvements. Celles-ci comprenaient des actions telles que des balayages dans les directions x, y et z, “parce que tout type de mouvement sur les lèvres est un effet très intéressant qui peut très bien aller avec un tas de types d’animation VR”, explique Shen. « Et bien sûr, l’échographie étant un nœud très localisé, il est très facile de faire des tapotements et des vibrations persistantes. Nous pouvons modifier la synchronisation, l’espacement et la fréquence de modulation.
Les prototypes d’appareils s’inspiraient de certaines conceptions open source et avaient une carte de circuit imprimé personnalisée. La première version de l’appareil ressemblait à un clavier de machine à écrire, avec des mini projecteurs pointés vers la bouche de l’utilisateur. Les chercheurs ont également donné un aperçu d’une version plus récente, toujours en cours, de l’appareil avec des panneaux plus minces qui sont une version plus avancée des transducteurs.
Avant son lancement, l’équipe a fait une démonstration de l’appareil sur un petit groupe de participants. Dans le cadre de cette démo, les utilisateurs ont été invités à parcourir une scène de forêt hantée, un simulateur d’objets du monde réel et un jeu de course, basé sur des catégories populaires d’applications VR. Les utilisateurs, au fur et à mesure qu’ils parcouraient les mondes virtuels, pouvaient sentir les araignées ramper, les gouttes de pluie crépiter, les éclaboussures de boue et les fontaines d’eau bouillonner sur leurs lèvres. La sensation des scènes a été construite avec du code (bientôt en open source).
«Nous voulons que ce soit une haptique glisser-déposer. Comment ça marche dans [user interface design] en ce moment, vous pouvez faire glisser et déposer de la couleur sur des objets, faire glisser et déposer des matériaux et des textures et changer la scène grâce à des commandes d’interface utilisateur très simples », explique Shen, faisant référence à la façon dont les programmeurs pourraient modifier l’apparence des applications logicielles interactives. “Nous avons créé une bibliothèque d’animations qui est un nœud haptique par glisser-déposer, de sorte que vous pouvez littéralement faire glisser ce nœud haptique sur des éléments dans des scènes, comme un ruisseau de fontaine d’eau ou un insecte qui saute sur votre visage.” Après un glisser-déposer, les programmeurs peuvent ensuite modifier les paramètres de code.
Après avoir parcouru les différents scénarios, “les huit utilisateurs de l’étude sur l’expérience utilisateur ont déclaré qu’ils préféraient cela plutôt que de ne pas avoir d’haptique du tout”, déclare Shen. Au cours de l’étude, certains participants se sont même involontairement giflés lorsqu’ils ont “senti” l’araignée ramper sur leur bouche.
Malgré les résultats impressionnants qu’ils ont obtenus, le système d’haptique buccale n’a pas toujours fonctionné parfaitement. “La principale chose avec laquelle nous avons lutté était l’étalonnage”, note Shen. Comme chacun a une géométrie faciale différente, il peut parfois être difficile de positionner les transducteurs à un endroit où les animations se traduisent correctement sur la bouche. Il y avait aussi quelques utilisateurs qui n’étaient pas en mesure de ressentir les effets de l’appareil. Harrison note que ces problèmes présentent des questions ouvertes qu’ils visent à explorer par le biais de recherches futures.
[Related: This wearable fabric microphone can listen to the world—and your body]
Shen, Harrison et leurs collègues ne sont certainement pas les premiers chercheurs à explorer l’haptique buccale. FaceHaptics d’un groupe allemand en 2020 a utilisé un bras robotique attaché à un casque pour tenir une buse de pulvérisation, un fil chauffant, un ventilateur et un embout en caoutchouc pour créer une gamme de sensations sur le visage. Le masque VR multisensoriel FeelReal intègre la température, l’odeur, les vibrations et la brume dans son système. Mais Harrison note que ces appareils avec trop de fonctionnalités supplémentaires évoluent tous en casques maladroits qui peuvent sembler lourds sur de longues périodes d’usure. Pour leur prototype, ils voulaient se concentrer sur quelque chose qui était petit, léger, mais toujours « viscéral », et qui pourrait être facilement intégré aux casques VR existants. Potentiellement, c’est un concept qu’ils pourraient développer davantage avec des partenaires de conception de produits à l’avenir.
“Ce qui est intéressant, c’est que de nombreux articles de presse se sont jusqu’à présent concentrés sur la possibilité de s’embrasser, et j’aimerais en fait dire que ce n’est pas possible car pour le moment, notre logiciel ne rend qu’un seul nœud. C’est bon pour les petits effets comme avoir quelque chose qui rampe sur votre bouche, ou si vous avez de la pluie, donc ce sont de très petits points qui frappent votre bouche », dit Shen. “Nous ne pouvons pas faire d’objets plus grands car la façon dont les ultrasons se concentrent, la longueur d’onde est très petite, les pics sont très petits dans l’espace.”
Pour générer un effet de baiser, ils auraient besoin de plusieurs nœuds contrôlés par un réseau massif, ce qui, selon toute vraisemblance, ne serait pas compatible avec un casque VR. Mais même avec des limitations sur ce qui peut être accompli avec l’haptique buccale, ce prototype montre que l’amélioration des sensations tactiles dans la réalité virtuelle peut être réalisée de manière assez pratique.
Voir la technologie en action :
