Projet Pulse : un contrôleur 6 Dof pour la VR
Depuis près d’un an, nous travaillons sur une manette gyroscopique avec 3 DOF (pitch, yaw, roll). Afin d’améliorer encore la sensation d’immersion, nous avons voulu aller plus loin en ajoutant le positionnement dans l’espace (X, Y, Z).
Nous possédons à ce jour d’un Proof Of Concept que nous pourrions prochainement proposer en devkit.
A l’heure actuelle :
- Les mouvements de rotations sur trois axes sont précis et réactifs avec une latence inférieure à 10ms;
- Les mouvements de translation sur les axes X et Y sont captés rapidement et avec précision. Le tracking sur l’axe Z (profondeur) demande un traitement spécial sur nos algorithmes, nous pensons aboutir très prochainement.
Aujourd’hui nous disposons d’un tracking sur 5 DOF (Degrees Of Freedom), notre mission est d’atteindre les 6 DOF. Uniquement à partir de l’appareil photo du smartphone.
Dans les faits cette solution permet de diriger un pointeur en y ajoutant les déplacements latéraux à la manière des Oculus Touch ou des contrôleurs du HTC Vive sur des solutions mobiles telles que les applications Cardboard ou Daydream.
Comment ça fonctionne ?
Pour parvenir à ce résultat nous utilisons deux technologies, un IMU placé dans la manette (Gyroscope, magnétomètre, accéléromètre) et nous utilisons la caméra du smartphone avec un algorithme propriétaire pour détecter le positionnement d’une ou deux manettes sans avoir recours à une solution externe. L’idée étant de proposer un produit accessible et utilisable sur la majorité des smartphones Android ou IOS.
Pourquoi la capture des mouvements de translation (positionnement dans l’espace) est-elle si importante ?
Le but ultime de la réalité virtuelle est d’immerger l’utilisateur dans un environnement fictif, en « stimulant » ses différents sens. Aujourd’hui la réalité virtuelle permet d’agir sur la vue et l’ouïe. Pour que l’immersion soit encore plus crédible, l’utilisateur doit être capable d’agir de façon réaliste avec l’environnement virtuel. Une simple capture des mouvements de rotations ne peut reproduire une gestuelle complète.
Avec une capture de ce type, il est impossible de détecter un mouvement aussi basique qu’un simple salut, en ajoutant le positionnement, il devient possible de capturer et reproduire de façon réaliste les mouvements des mains. L’immersion n’en est que meilleure. En plus des nombreuses possibilités d’interactions que cette technologie apporte, elle permet aussi de limiter la « cinétose » en réduisant les dissonances cognitives.
Restez connectés sur Homido News pour plus d’informations sur la réalité virtuelle mobile.
