Holodesk, pour manipuler des hologrammes

Kinect peut aussi servir à manipuler des images en 3D éventuellement mêlées à de vrais objets, avec le système Holodesk. Le laboratoire de recherche de Microsoft en fait la démonstration en vidéo. Applications ? Infinies…
Encore un détournement de Kinect, ce boîtier initialement prévu pour piloter la XBox avec des mouvements corporels. On l’a vu à l’œuvre en robotique, pour observer des radiographies ou comme interface de Windows. Cette fois, c’est le laboratoire de recherche de Microsoft à Cambridge (Royaume-Uni) qui en est à l’origine avec Holodesk, un système étonnant pour tenir dans ses mains et faire bouger des images 3D. Saisir une théière, jongler avec des balles ou glisser une – vraie – feuille sous un objet – faux – et faire glisser celui-ci dans un – vrai – bol : le résultat, montré sur la longue vidéo présentée ici est impressionnant.


Bien sûr, les fans de Star Trek (Next Generation) auront déjà pensé au fameux Holodeckhttps://www.youtube.com/watch?v=5O31qRH3O6c, qui reconstitue à l'aide d'hologrammes un environnement complet autour des protagonistes qui viennent s’y installer, pour jouer, s’entraîner ou participer à d’extraordinaires expériences. La scène montrant l’humanoïde Data jouant aux cartes avec Newton, Einstein et – le vrai ! – Stephen Hawking (fan de la série lui aussi) est déjà entrée dans l’histoire.

Le jeu de mot (desk signifie bureau et deck veut dire pont d’un bateau ou plateforme) n’est bien sûr pas le fruit du hasard. Nous sommes dans le domaine de la réalité augmentée, où l’imagination et les progrès techniques se surpassent depuis plusieurs années. À l'exposition Laval Virtual de 2011, par exemple, on a vu comment téléphoner avec une banane.

Le système est cependant assez complexe et n’entrera pas tel quel dans nos foyers. L’image des objets, affichée sur un écran se reflète sur un miroir semi-réfléchissant incliné à 45°. L’utilisateur se place devant et glisse ses mains sous ce miroir. Le boîtier Kinect est là pour repérer le mouvement des mains tandis qu’une caméra fixe le visage de la personne pour en suivre le regard. Le travail du logiciel consiste à présenter sur le miroir l’image des objets avec un effet de perspective calculé grâce au suivi du regard et à analyser le mouvement des mains. Il doit aussi reconnaître des objets réels tenus par l’utilisateur.

Le système est aujourd’hui un prototype et Microsoft ne dit rien de l’ordinateur qui se trouve derrière. On imagine facilement, cependant, combien les applications pourraient être nombreuses, par exemple dans les jeux vidéo mais aussi ailleurs. Microsoft propose ainsi l’idée de travailler en téléconférence à plusieurs équipes autour des mêmes objets, maquettes ou prototypes, que chacun pourrait toucher, montrer, manipuler. Un chirurgien pourrait-il ainsi se préparer à une opération ? Un géologue manipuler une pierre ramassée et photographiée par un robot martien ? Nous voilà vraiment dans Star Trek…