Le prototype de caméra «light field» Immerge marie 3D et vidéo. © Lytro
Plus immersives que les images à 360°, les premières expériences de vidéo 4D ou volumétrique exploitent le nuage de photons du «light field» des systèmes photographiques plénoptiques. Et permettent à l’image en mouvement de s’ajuster à la position du spectateur.
Réunir le meilleur des deux mondes, celui de la captation vidéo et celui des images 3D, c’est la promesse d’un nouveau champ d’investigation, celui de la vidéo volumétrique également appelée vidéo 4D. Avec les vidéos à 360° immersives, le spectateur est condamné à occuper un point fixe dans l’espace. Dans les univers de réalité virtuelle, les images sont calculées en 3D par des processeurs graphiques. Avec la vidéo volumétrique, le spectateur dispose des fameux six degrés de liberté qui conditionnent le mouvement dans les environnements tridimensionnels.
En août 2016, une première expérience a été présentée par Lytro, une start-up américaine fondée en 2006 par Ren Ng, alors jeune chercheur à l’université de Stanford. Lytro s’était déjà fait connaître en 2012 avec ses appareils photo qui permettent de modifier l’ouverture d’une photo (la zone de netteté) après la prise de vue.
Vidéo 360° à six degrés de liberté par Lytro:
Si la zone d’intervention du spectateur est encore relativement restreinte, ses mouvements se traduisent par une réponse de l’environnement en terme de perspectives, de l’angle de projection des sources lumineuses et des ombres. Contrairement à une vidéo 360° classique, la séquence fait l’objet d’un traitement informatique en temps réel. Cette adaptation en direct utilise les mêmes caractéristiques qui permettent de passer d’une photo floue à une photo nette, basées sur l’exploitation des données du light field (champ lumineux).
Théorisé par le physicien Michael Faraday en 1846 (le même que celui de la cage éponyme), le light field est la somme des rayons lumineux émis à partir de chaque point de l’espace et ce, dans toutes les directions. A la fin du siècle dernier, dans les années 1990, le light field est compilé dans une fonction mathématique dite plénoptique, qui va largement contribuer à l’imagerie informatique. Les appareils photo développés par Lytro dès 2012 sont plénoptiques : ils intègrent les données du champ lumineux dans la prise de vue qui devient tridimensionnelle, pour ne pas dire plus – on parle de 4D.
Concrètement, si le capteur d’un appareil photo mesure l’intensité lumineuse et la couleur, il ne sait pas dire d’où vient la lumière. Lytro a superposé au capteur une matrice de micro-objectifs sensibles à la direction des rayons. C’est cette matrice qui permet après la prise de vues de modifier la perspective ou la mise au point de l’image. En 2016, Lytro annonçait l’arrêt de la production de ses appareils grand public au profit de la vidéo 360°. Une transition qui surfait sur l’engouement pour la réalité virtuelle, saluée par une levée de fonds de 50 millions de dollars.
En passant de la photo à la vidéo, Lytro a changé de braquet. Immerge, son prototype de caméra light field de la taille d’un homme, est estimée à près de 250 000$. Très gourmande en données, la caméra est reliée en permanence à un serveur haute performance. Ces moyens superlatifs sont pour l’instant la norme de la vidéo volumétrique : la start-up américaine HypeVR propose une solution concurrente équipée de quatorze caméras haute définition et des lasers (Lidar), préférés au plénoptique, qui cartographient un nuage de 700 000 points par seconde.
Si les outils de capture montrent les muscles, côté contenus, il n’y a encore rien à se mettre sous la dent. Lytro dit travailler à des formats dégradés pour favoriser la diffusion. Une autre start-up californienne, 8i, propose d’explorer une autre facette de la vidéo volumétrique. Il s’agit d’humains filmés dans de petites boucles vidéo à visionner dans un espace 3D, dans son navigateur ou sur son smartphone, avec ou sans casque. Et si ces personnages qui hoquettent à l’infini dans leur bulle d’espace-temps étaient de futurs outils pour la mise en scène ?
Les avatars vidéo volumétriques de 8i:
En savoir plus sur Immerge (Lytro), HypeVR et 8i