«Connected Colors» ou le mapping du visage en temps réel. © WOW
Le média-artiste japonais Nobumichi Asai du studio de design WOW émerveille et brouille nos sens avec ses projections en mapping facial et en holographie. Interview techno-mystique à l’occasion de l’exposition de sa dernière pièce à Tokyo.
Tokyo, de notre correspondante
Depuis le succès international de Omote (2015), l’application spectaculaire de mapping facial en temps réel, Nobumichi Asai enchaîne les projets qui explorent cette technologie de la juxtaposition, notamment dans les arts de la scène. L’œuvre holographique Light of Birth, actuellement exposée dans le cadre de Media Ambition Tokyo au Japon, met encore plus en évidence notre perception brouillée entre virtuel et réel. En interview, ce maître de l’illusion réelle part de la science et touche à la théologie. D’ailleurs, qu’est-ce que la réalité ?
Quel est le rapport entre vos deux œuvres emblématiques, le mapping facial d’«Omote» et l’hologramme «Light of Birth»?
Ce sont deux œuvres similaires utilisant le même code – Open CV. L’espace infographique de l’ordinateur et l’espace physique sont juxtaposés afin de faire apparaître les images du PC dans l’espace réel. Ces images suivent et réagissent aux mouvements du sujet.
Vous avez utilisé des programmes open source pour les créer?
J’ai utilisé OpenCV, mais elles auraient pu être créées sans : OpenCV est une compilation de lois mathématiques et physiques converties en code. Le code qui sert à calibrer l’espace dans ces œuvres utilise le concept déterministe de l’homographie en mathématiques. Lancé en 1999, le projet OpenCV d’Intel est maintenant disponible en open source.
Les lois universelles des mathématiques et de la physique sont ouvertes et disponibles à tout le monde. En général, les industries qui développent les codes les protègent avec des brevets. C’est pour cette raison que j’apprécie profondément le fait qu’Intel offre OpenCV en open source. Parce que les choses qui nous sont essentielles sont partagées par tous, tout comme l’eau et l’air.
«Connected Colors», WOW (Nobumichi Asai), 2016:
Selon vous, le monde naturel peut être décomposé en lois algorithmiques. Qu’entendez-vous par la phrase «Au commencement était le Code»?
Quand on examine de près le monde naturel, on se rend compte que toutes sortes de choses ont la même structure que le code. Par exemple, les êtres vivants sont définis par l’ADN. Les quatre bases A, T, G et C se combinent pour constituer 21 types d’acides aminés. Ce sont ces mêmes 21 types d’acides aminés qui se combinent pour former les innombrables variations de protéines et d’enzymes moléculaires qui constituent une cellule. A leur tour, ces cellules forment les systèmes et les organes qui constituent le corps humain. On compte plus de 37 trillions de ces cellules.
La façon dont tout cela fonctionne ressemble beaucoup à la programmation informatique. Dans l’ordinateur, la suite de 0 et de 1 forme les instructions de base, qui se combinent pour créer des modules, lesquels contiennent les fonctions de base, ou les classes. Celles-ci se combinent à leur tour pour créer des systèmes aux fonctionnalités complexes.
En termes de mécanique quantique, on pourrait dire que la nature (l’espace) est elle-même constituée d’opérations mathématiques. Par exemple, une réaction chimique telle que H2 + O2 -> 2H2O suit des règles fixes et peut être interprétée en tant qu’opération mathématique. En outre, les arrangements d’atomes et de molécules représentent le code et peuvent être considérés comme des variables. Ainsi, on peut dire que le monde est né d’innombrables processus parallèles qui ont lieu simultanément. Ceci se transpose à la notion de réalité virtuelle omnidirectionnelle qui résulte de calculs parallèles dans une unité de traitement général (GPU).
Je pense que l’espace et le monde naturel sont générés par le code (= lois). Ainsi, j’ai montré à travers cette œuvre holographique la génération de l’existence physique par le code.
«Light of Birth», WOW (Nobumichi Asai), 2016:
Il existe une phrase dans les textes bouddhistes: « Des devoirs illimités proviennent d’un seul principe. » Elle prêche que toutes les choses sur Terre proviennent d’un seul principe d’origine qui règne sur l’univers. Les sages auraient-ils profondément capturé l’essentiel de notre univers ?
Jusqu’ici j’ai parlé du matérialisme numérique, mais je ne suis pas un matérialiste, parce que même si les humains sont composés d’un conglomérat d’atomes, le fait de conglomérer un tas d’atomes ne fait pas l’humain.
C’est dans ce cadre qu’opère un pouvoir mystique et miraculeux qui est irréversible. Le code complexe et sophistiqué qui a créé toutes les formes de vie n’est pas né au hasard du jour au lendemain. Alors qui est-ce qui a écrit le code qui sépare les êtres vivants des choses sans vie ? Je pense que « l’existence » des « choses » qui ne sont pas des choses est en train de se découper de l’éther grâce à l’évolution de la technologie.
Quelles applications futures envisagez-vous pour cette technologie de plus en plus précise, que ce soit le mapping sur les êtres vivants ou les hologrammes?
Aujourd’hui, d’un point de vue technologique, c’est inévitable que les images virtuelles se « réalisent ». Je sens que le vecteur de la créativité humaine est en train de traverser la frontière de l’humanité même. Les hologrammes et le mapping en vidéoprojection sont emblématiques de cette tendance sous-jacente. Autre tendance récente, le mouvement robotique (qui essaie de créer artificiellement des humains) est également influencé par ce vecteur. Avec des produits comme BigDog et Petman, l’entreprise Boston Dynamics est toujours en pleine innovation.
Je vois la technologie comme faisant partie de l’évolution humaine. Je me reconnais dans le flux de cette évolution et cela m’excite. Même les secteurs de l’art et du loisir avancent à grands pas en exprimant l’évolution de la technologie et ils continueront sans doute de surprendre et d’exciter les gens.
Le photographe japonais Nobuyoshi Araki a dit : « Le visage humain est en fait un nu. » Le visage de la personne dit tout d’elle : ses émotions, son âge, son état physique, son caractère, son individualité, ses idéaux… Le fait de contrôler l’image de ce visage détient un potentiel d’expression énorme.
Par exemple, dans notre récent projet de clip vidéo pour la chanson Ending Theme d’Amazarashi, nous avons relevé le défi de transformer l’artiste, qui a une trentaine d’années en réalité, à différentes étapes de sa vie entre 20 et 100 ans. L’expérience de voir la représentation de la vieillesse et de la mort en l’espace de quelques secondes nous rappelle qu’une vie humaine n’est pas éternelle, mais a ses limites.
«Ending Theme», Amazarashi, clip réalisé par WOW, 2016:
L’intérêt de cette représentation n’est pas celui de la fiction comme dans un film, mais plutôt le fait qu’elle représente « quelque chose qui se passe ici et maintenant ». C’est-à-dire que c’est présenté comme « une expérience vraie » plutôt qu’une simulation.
Je pense qu’à l’avenir, les progrès en ce qui concerne la vitesse des ordinateurs, les capteurs et les projets nous donneront des réalités de plus en plus « vivantes » plutôt que précises. A l’avenir, ces représentations qui utilisent ces technologies de vision artificielle vont rapidement brouiller la frontière entre le réel et le virtuel. Mais pour les humains, la différence en terme de signification entre réel et virtuel n’existe pas. Pour le cerveau, les expériences réelles et les expériences virtuelles sont toutes les deux encodées. C’est parce qu’elles sont équivalentes, rien de plus que des signaux électroniques abstraits.
«Le plus important, ce n’est pas “réel ou virtuel” mais tout simplement “vérité ou non-vérité”.»
Par exemple, si l’on part du principe que les billets de banque et les pièces de monnaie sont réels, alors l’argent sur un compte en banque est virtuel (rien que des chiffres, un code). Si c’est une vérité, on peut l’utiliser ; si c’est une non-vérité, on ne peut pas. Autrement dit, la seule chose qui importe, c’est : est-ce que sa signification est une réalité, ou pas ?
Quels sont vos projets?
En ce moment, je fabrique un dispositif qui projette votre visage en tant qu’« objet 3D » à distance et en temps réel. A l’époque de Skype, ce qui m’intéresse c’est la téléportation des humains en tant qu’« objets » et non pas en tant qu’« images ». Cela ressemblerait au dispositif de téléportation dans Star Trek. A vrai dire, on peut déjà faire les choses qui ont été faites dans le film Avatar. En terminologie de réalité virtuelle, on l’appelle « télexistence ». C’est un thème majeur des technologies associées.
C’est intéressant de réfléchir à ces notions sous le prisme des religions et des visions du monde traditionnelles. Les concepts du « paradis » chrétien et de la « terre pure à l’ouest » bouddhiste nous rappellent que la conscience humaine est peut-être située en un point lointain et ne peut être transférée sur notre planète que par la vie ou la mort. Qui sait, il se peut que le monde que l’on croit réel ne soit rien qu’un espace virtuel comme Matrix ?
«Light of Birth» est visible dans l’exposition «Media Ambition Tokyo» 2016, jusqu’au 21 mars à Tokyo