Plug in Flash mouvement de souris via Kinect

Bonjour,

Notre but est créer un monde virtuel immersif à partir d’œuvres de l’univers artistique d’un photographe.

Actuellement, le lecteur est immergé dans cet univers via le site de l’artiste par le logiciel de visite virtuelle nommé Krpano qui est un logiciel flash pour le web.

Mais nous souhaitons aller plus loin, avec la réalisation de visites interactives dans lesquelles les gens s’immergeront et interagiront non plus avec par le biais de la souris mais par leurs mouvements corporels face à un grand écran (vidéo projection/ grand écran plasma)
Cette étape sera possible grâce au principe de la Kinect.

Nos premières réflexions autour d’une adaptation kinect/ Krpano nous ont permis de déterminer une gestuelle appropriée qui assure fluidité et intuitivité à la visite et aux déplacements dans les œuvres ainsi que d’une œuvre à l’autre.
Les ordres de mouvement de Kinect à Krpano pouvant être transmis via un plugin javascript ou un pluging flash.

Voici la liste de gestes à adapter :

Initialisation du panorama et de la retranscription des gestes : claquement dans les mains / à ce moment les mouvements sont détectés par rapport à la position au moment du claquement dans les mains.

Haut et Bas :
Main comme pointeur : lorsqu’une seule main passe dans la partie supérieure du corps, elle devient une « main pointeur ».
L'activation de ce mode active également deux autres plug-in appelés followmouse-haut-bas et un autre autoclick qui vont l'un faire suivre les mouvements de la souris aux images et un autre qui va provoquer des click en fonction d'un paramètre de temps.

Droite Gauche :
Les deux bras le long du corps, le plug-in followmouse-droite-gauche s'active et les deux autres sus cités se déactivent.
Le pointeur de souris se bloque sur un point du corps par exemple le torse et le suit, lorsque le spectateur va à droite le pointeur va à droite et ainsi le plug-in followmouse provoque un déplacement à droite, et de même pour la gauche.

Zoom in Zoom out :
Lorsque le spectateur avance par rapport à sa position initiale un mouvement de zoom-in est lancé, celui-ci s’arrête lorsque le spectateur revient à la position initiale. (pour détecter la modification de type avancer ou reculer on peut facilement passer par la modification de la distance entre deux points du squelette qui sont torse et bassin, le segment de droite évoluant lorsque les personnes s'avancent et lorsqu’elles reculent).


Fin du panorama :
Le spectateur claque dans les mains, cela réactive le mode automatique dans krpano.

Eléments complémentaires :

Krpano : [URL visible pour les membres Pro]
Plug-in Krpano exemple : [URL visible pour les membres Pro]
Develloper un plug-in krpano : [URL visible pour les membres Pro]#top
Un plugin de transfer de mouvement que nous utilisons et modifions : Followmouse en AS3 a voir ici : [URL visible pour les membres Pro]#post39122

Video Youtube de model : [URL visible pour les membres Pro]