Mouvement de souris via Kinect

Bonjour,

Notre but est créer un monde virtuel immersif à partir d’œuvres de l’univers artistique d’un photographe.

Actuellement, le lecteur est immergé dans cet univers via le site de l’artiste par le logiciel de visite virtuelle nommé Krpano qui est un logiciel flash pour le web.

Mais nous souhaitons aller plus loin, avec la réalisation de visites interactives dans lesquelles les gens s’immergeront et interagiront non plus avec par le biais de la souris mais par leurs mouvements corporels face à un grand écran (vidéo projection/ grand écran plasma)
Cette étape sera possible grâce au principe de la Kinect.

Nos premières réflexions autour d’une adaptation kinect/ Krpano nous ont permis de déterminer une gestuelle appropriée qui assure fluidité et intuitivité à la visite et aux déplacements dans les œuvres ainsi que d’une œuvre à l’autre.

Voici la liste de gestes à adapter :

Détection d’un personnage dans le champ de détection kinect :
Affichage à l’écran d’une image informant l’utilisateur de se positionner face à l’écran et de claquer dans ses main pour initialiser la détection.

Initialisation de la retranscription des gestes : claquement dans les mains / à ce moment les mouvements sont détectés par rapport à la position au moment du claquement dans les mains qui est la position neutre. Le pointeur de souris se positionne au centre de l’écran. Un message apparait à l’écran pour confirmer le début de la détection, et pour l’informer des différents mouvements possibles.

Mvt Droite et Gauche du pointeur :
Le pointeur de souris au centre de l’écran est fixé sur un point du corps par exemple le torse et le suit, lorsque le spectateur va à droite de sa position initiale le pointeur va à droite et de même pour la gauche.

Scroll in scroll out :
Lorsque le spectateur avance par rapport à sa position initiale un mouvement de scroll (roulette) est lancé, celui-ci s’arrête lorsque le spectateur revient à la position initiale. (Pour détecter la modification de type avancer ou reculer on peut facilement passer par la modification de la distance entre deux points du squelette qui sont torse et bassin, le segment de droite évoluant lorsque les personnes s'avancent et lorsqu’elles reculent).

Haut et Bas, main pointeur :
Main comme pointeur : lorsqu’une seule main passe dans la partie supérieure du corps, elle devient une « main pointeur ». Le pointeur de la souris est attaché à la main et la suit . Lorsque la main redescend sous la hanche ce mode est désactivé et le pointeur revient sur la ligne horizontale du centre.

Cliquer :
Lorsque le spectateur ferme le poing un clique gauche (key down), lorsqu’il ré ouvre le poing un key up. (Alternative) lorsque en mode main la main bouge peu pendant un temps paramétrable un click est envoyé

Fin du suivi :
Le spectateur claque dans les mains, désactive le suivi et replace le pointeur au centre de l’écran.

Eléments complémentaires :
Lors de chaque changement de type de mouvement une image idéogramme apparait à l’écran de manière transitoire pour informer l’utilisateur.

Information javascript (à faire en option) :
Faire passer des instructions de changement de mode au logiciel krpano par le biais de javascript . mode main activé, ou mode droite gauche activé … De telle sorte que nous puissions éventuellement programmer des modifications pour ces modes à krpano.

Eléments complémentaires pour le plugin javascript :

Instruction javascript pour krpano : [URL visible pour les membres Pro]