Roger Malina: «Nous sommes à l’âge de pierre de la datavisualisation»
Après une longue carrière de physicien astronome spécialisé dans les ultraviolets et l’instrumentation spatiale, en Californie et à Marseille, Roger Malina dirige depuis l’automne 2013 l’ArtSciLab de l’université du Texas à Dallas. Rencontre.
Dallas, envoyé spécial
Qu’est-ce qui vous a décidé à rejoindre l’université du Texas à Dallas et à quitter votre travail d’astronome à l’Observatoire de Marseille Provence, vous engageant plus encore dans le domaine art et science?
Après 15 ans à Berkeley et près de 17 ans à Marseille, l’université du Texas à Dallas me proposait de démarrer une carrière de chercheur en art-science avec des activités d’enseignant, à la fois en art et technologie et en physique. Cette université très jeune (30 ans, ce n’est rien comparé aux 300 ans de l’Université d’Aix-Marseille !) dispose de formidables équipements en nouvelles technologies. Les fondateurs de Texas Instruments, l’entreprise impliquée dans l’invention du circuit intégré en 1958 devenue un acteur majeur de l’émergence des technologies de l’information, ont donné un terrain pour la construire en 1969. L’école d’ingénieurs est devenue une réalité en 1986, et aujourd’hui l’Erik Jonsson School of Engineering and Computer Science est la deuxième école de l’université avec 2 700 étudiants.
Quand je suis arrivé en 2013, il y avait quelque 18 000 étudiants et nous en sommes à 23 000. L’objectif officiel est d’atteindre les 25 000, mais j’imagine que nous atteindrons les 30 000. Nous sommes complètement dans le modèle économique américain : l’État finance le budget à environ 20% et le reste provient des frais de scolarité, de donations philanthropiques ou de fonds de recherche. Texas Instruments joue un grand rôle : ils ont donné des centaines de millions de dollars pour construire les bâtiments. Ce qui fait que TI est très présente dans les studios de design du département Engineering and Computer Science, bien qu’il existe aussi un grand nombre d’autres entreprises hi-tech dans le grand Dallas dont les besoins en emploi sont croissants. C’est un environnement assez unique où les intérêts économiques et ceux de la philanthropie se rejoignent dans l’enseignement supérieur et dans l’ensemble du secteur des industries de l’innovation.
Quels sont les derniers développements à l’UT Dallas?
Depuis dix ans, l’université a étendu ses domaines d’enseignement, son financement extérieur de la recherche et précisé ses domaines d’excellence. En structurant des centres et des programmes qui encouragent la recherche d’excellence (Brain and Behavioral Sciences, les sciences du cerveau et du comportement, le Center for Vital Longevity, centre pour la longévité de la vie, le Center for Brain Health, centre pour la médecine du cerveau).
L’université a franchi un pas très inattendu en établissant le programme Atec (Arts and Technology and Emerging Communication -art, technologie et communication émergente), avec déjà 1 300 étudiants. L’objectif est d’en accueillir jusqu’à 2 000. Le programme Atec cherche à transcender les disciplines existantes et les départements académiques et propose un diplôme assez unique pour exploiter la convergence entre la science, l’ingénierie, les arts et les sciences humaines. Parmi les enseignements proposés à Atec, on trouve le design sonore, l’animation et la création de jeux vidéos, mais également la psychologie expérimentale, l’histoire de l’art, la santé mobile, le journalisme online, le design d’expérience utilisateur, la fabrication numérique et les fablabs.
Pouvez-vous nous décrire vos activités au sein du ArtSciLab?
L’ambition est de travailler sur des projets qui ne peuvent être menés sans collaboration entre artistes et scientifiques. Le domaine principal est le développement de nouvelles manières de représenter et d’explorer les données. Je suis convaincu que nous sommes à l’âge de pierre de la visualisation de données, un peu comme au début de l’invention de la perspective. D’énormes quantités d’informations et d’éléments perceptuels sur le monde nous arrivent sous forme de données. Mais leur lecture est tellement primitive comparée à la sophistication de la perception humaine et de ses capacités à intégrer des interactions sensorielles multimodales avec le monde !
Je suis impressionné par les studios son ici…
Les artistes et les designers médias sont les nouveaux experts de la représentation des données. Ils peuvent clairement gagner leur vie par la conversion de données selon différents systèmes de représentation, et la science peut collaborer avec eux. Nous travaillons avec un spécialiste des sciences de la terre qui nous a donné l’accès à des cartes et des données de l’Etat du Texas. Et le Texas est un des endroits les mieux cartographiés au monde, au point qu’ils savent au mètre près si le sol, ou ce qu’il y a en dessous, a achevé sa jachère.
Nous avons ajouté un ensemble d’outils de sonification et de visualisation à la cartographie des différents types de sédiments au Texas, pour développer ce que nous appelons le « Texas Gong », une sorte de navigateur intuitif de « dramatisation des données ». Il existe des centaines d’outils de ce type, mais la plupart du temps les gens ne les utilisent jamais. Mais ici, l’oreille peut identifier des choses que l’œil ne peut pas repérer.
Le «Texas Gong» de sonification des données de différentes typologies sédimentaires (en anglais):
Pourquoi retiendrait-on mieux ces données de cette manière?
Dans les sciences de la perception, il apparaît que la mémoire visuelle et la mémoire auditive ne fonctionnent pas sur le même mode. On reconnaît en réalité bien plus facilement un son préalablement entendu, comme le chant d’un oiseau, qu’une chose vue. Il existe des études intéressantes qui montrent comment utiliser le son en considérant que la mémoire sonore est plus durable que la mémoire visuelle. Et avec le son, il est possible d’ajouter de la dynamique à des ensembles de données qui sont très difficiles à mémoriser.
De nombreux outils de sonification ont déjà été développés mais la plupart en sont restés au stade du jouet. Nous savons que nous pouvons progresser dans l’usage de cet outil, que nous pouvons former des personnes à sa manipulation fine. Nous considérons qu’il s’agit d’une technologie de l’attention.
«Le challenge est de démontrer que les scientifiques peuvent faire des découvertes par la sonification qu’ils ne feraient pas avec la seule visualisation. C’est assez évident dans la vie quotidienne, mais pas quand l’ordinateur se trouve entre vous et le monde.»
Roger Malina
Vous travaillez à un «stéthoscope de données» qui sonifie l’activité du cerveau. Pouvez-vous nous en dire plus?
Nous avons démarré une collaboration stimulante avec le professeur Gagan Wig, de l’Ecole des sciences du cerveau et du comportement à l’université, frustré par les outils standards en visualisation des données auxquels lui et son équipe avaient accès. Il a étudié la structure interne et les connexions du cerveau de personnes en bonne santé âgées de 20 à 80 ans. Il utilise les données d’imagerie par résonance magnétique fonctionnelle (IRMf) qui sondent les zones du cerveau qui sont fortement synchronisées. Il s’agit là d’un réseau complexe et déroutant, qui est dynamique et change avec l’âge et l’expérience.
Nous avons développé un «stéthoscope de données», un outil de sonification de parties du cerveau humain hautement connectées. En comparaison, le stéthoscope de votre médecin est un outil sonore qui permet d’évaluer des données à partir des sons émis par les organes internes du corps et qui fonctionne parfaitement comme appareil de diagnostic.
L’idée est donc de faire la même chose qu’un stéthoscope traditionnel avec ces données, pour non seulement en faire un outil de recherche scientifique, mais également de création artistique. Dans le processus de développement du logiciel, l’outil a été conçu pour s’interfacer avec les instruments de musique pour une visualisation et une sonification temps réel.
En travaillant conceptuellement sur l’idée que les données scientifiques peuvent être réutilisées par la création, l’équipe d’artistes, de scientifiques et de designers informatiques sont parvenus à un système de représentation visuelle et sonore qui peut à la fois être utilisé en performance artistique et en investigation des données IRMf, autorisant la manipulation du modèle en temps réel selon une forme de dramatisation multimodale des données.
Le «Brain Gong» de sonification de données IRMf (en anglais):
Le deuxième domaine du ArtSciLab est la publication expérimentale. Un mot sur cette activité?
C’est la prolongation de trente années à travailler comme directeur exécutif des publications Leonardo à MIT Press. Les artistes et les chercheurs de cette communauté de pratiques adoptent très rapidement chaque technologie émergente dont l’usage permet l’expression personnelle, et ils contribuent à documenter et montrer ces travaux. Nous ne savons pas ce que deviendra le monde de l’édition dans 50 ans, donc l’idée est d’être continuellement dans l’expérimentation pour voir quelles approches peuvent s’imposer au niveau général et s’adapter aux nouveaux modes d’expression.
Nous gérons Creative Disturbance, une plateforme de podcasts qui soutient la collaboration entre les arts, les sciences et les communautés de nouvelles technologies. Soutenue par Leonardo, la plateforme a été créée il y a un an, en partie avec les étudiants, les enseignants et les chercheurs associés et se porte très très bien. Nous en sommes à environ 25 000 téléchargements et MIT Press a tellement été impressionnée par l’ensemble du projet que nous allons maintenant être hébergés sur leur site. Nous proposons une liste de chaînes en arabe, en français, en espagnol, etc., où les gens peuvent déposer autant de podcasts qu’ils le veulent.
Comme l’un de nos choix d’origine est d’être résolument multilingue, il est possible de déposer des podcasts dans n’importe quelle langue. La dernière chaîne créée, celle d’un étudiant iranien d’ici, est en farsi ; un étudiant sud-coréen a démarré une chaîne pour les femmes ingénieurs… Nous rediffusons aussi certains podcasts, comme ceux du Human Impacts Institute de New York sur le changement climatique.
En matière de publication expérimentale, quelle est la prochaine étape?
Au printemps, nous lançons avec MIT Press l’agrégateur Arteca d’art, science et technologie. Nous allons d’abord mettre à disposition des centaines d’e-books et des dizaines de milliers d’articles publiés par MIT Press, mais notre réel intérêt est la littérature « grise ». Aujourd’hui en effet, une majorité des publications importantes est difficile à trouver : une large part, auto-éditée, ne passe pas par des journaux, livres et éditeurs traditionnels. Cette littérature clé et influente ne fait plus l’objet d’une relecture ou d’une sélection par ses pairs, tandis que la traditionnelle fonction d’archivage n’est plus assurée par les éditeurs et les bibliothèques.
Les logiciels de détection de tendance, l’apprentissage de type « deep learning », le management de la réputation ont apporté beaucoup de développements en métriques alternatives. Une fois Arteca ouvert, nous chercherons à collaborer avec des chercheurs en sciences de l’information et des données pour imaginer comment les professionnels des décennies à venir vont documenter leur travail et le montrer aux autres. Et comment nous pouvons construire un système adaptatif et intelligent qui identifie et archive la littérature et les idées précurseurs qui ont été d’abord auto-éditées.
Et bien sûr, nous voulons croiser les aspects de la science et de l’ingénierie avec les arts et les sciences humaines. En particulier montrer comment la poésie expérimentale développe des manières très différentes de structurer les expériences dans l’usage des médias numériques.
Le site du ArtSciLab de Dallas
La plateforme de podcasts Creative Disturbance