Cortex visuel d'une intelligence artificielle représenté par l'artiste ingénieur britannique Terence Broad (capture écran). © DR
CycleGAN (2017): des vessies pour des lanternes
Avec le «deep learning», l’intelligence artificielle se pique de voir, classer et même générer des images. La voilà qui transforme un cheval en zèbre, un croquis en Rembrandt et invente des villes imaginaires.
En matière d’intelligence artificielle (IA), l’apprentissage automatique (machine learning) et les puissants réseaux neuronaux convolutifs de l’apprentissage profond (deep learning) ont transformé la capacité d’un ordinateur à « voir ». Les machines comparent et reconnaissent des représentations (images, textes, vidéos, sons) à force de les avoir vues. En 2014, Ian Goodfellow, l’un des responsables de la recherche chez Google Brain, a l’idée de mettre en compétition les modèles génératif et discriminant à travers les réseaux contradictoires générateurs (GAN pour Generative Adversarial Networks). L’IA devient ainsi critique de ses propres créations.
« C’est l’idée la plus cool depuis vingt ans dans le domaine », estime le Français Yann Le Cun, en charge de l’IA chez Facebook. Le GAN a de facto favorisé l’émergence de prototypes créatifs qui changent d’un GoogLeNet qui vous propose de le battre au classement d’images. En voici une sélection.
Neural City (2017): le Street View des villes fantômes
Neural City de l’artiste néerlandais Jasper van Loenen génère une ville fictive à partir de cubes rudimentaires. L’artiste s’est appuyé sur le logiciel pix2pix, qui, à partir d’une représentation abstraite (ici, les cubes), génère une photo qu’il estime correspondre à sa banque d’images. Les vues de Google Street View sont extraites d’une carte non répertoriée par Google. Prisée des artistes hackers, elle contient des données 3D qui ont permis d’aligner les images sur les perspectives.
Neural City par Jasper van Loenen:
Autodraw (2017): Google dessine mieux que vous
Autodraw a fait la une ce mois-ci car l’expérience est signée Google, parmi d’autres proposées sur sa page dédiée à l’IA. Google y reprend le concept de Quick, Draw!, son jeu de Pictionary. Au lieu d’avoir à vocaliser des propositions face à nos dessins, Autodraw propose des icônes toutes propres. Normal, ce sont des humains qui les dessinent et il est même possible de devenir auteur.
Autodraw par Google:
Les outils AI de Google
Image-to-Image (2017): Autodraw en plus poilu
Image-to-Image de Christopher Hesse, cofondateur de la start-up américaine PushBullet, lui aussi basé sur pix2pix, propose de faire un dessin à main levée dans l’une des catégories d’images sur lesquelles l’IA s’est entraînée : façades, chats, chaussures ou sacs. Quel que soit votre talent, le programme donnera vie au dessin. Les résultats sont plus drôles qu’Autodraw, surtout ceux de la catégorie basée sur 25000 images de chats.
La page Github de Image-to-Image
CycleGAN de Jun-Yan Zhu et Taesung Park, chercheurs à l’université de Berkeley, explore le transfert de style neuronal, qui consiste à donner des propriétés d’une image à une autre. On pense à Prisma, l’application qui transforme vos photos en tableaux de maître, mais CycleGAN est encore plus puissant : si on lui présente un tableau de Monet et une photo de vacances, il va indifféremment transformer la photo en tableau à la Monet ou le tableau en photo. D’où la notion de cycle.
CycleGAN, présentation:
PredNet (2016): une image d’avance sur le futur
PredNet semble sorti d’un film de science-fiction. Les trois chercheurs du California Institute of Technology (Caltech) se sont inspirés d’une théorie en neurosciences qui dit que le cerveau prédit toujours les informations qu’il va recevoir. Et que, pour réduire la marge d’erreur, il laisse peu de temps entre la prédiction et la réalisation. PredNet fait de même en générant la prochaine image d’une vidéo. Les chercheurs estiment que la prédiction va favoriser l’apprentissage autonome de l’IA en lui révélant des informations.
Invisible Cities a été conçu par les participants d’un workshop au fablab Open Dot de Milan. A première vue, ça ressemble aux applications de cartes sur smartphone lorsqu’on choisit la vue satellite. Sauf qu’ici, les textures sont générées par l’IA à partir d’images passées en revue. Un travail sur la mémoire qui utilise également pix2pix et des données OpenStreetMap. Les cartes sont colorées sur Mapbox Studio pour aider l’IA à repérer un fleuve par exemple.
La page Github d’Invisible Cities
Neural Doodles: l’IA des beaux-arts
Avec Neural Doodles, Alex Champandard, game designer autrichien spécialisé en intelligence artificielle, repousse le concept de l’art neuronal en imaginant l’interface du peintre de demain. En 2016, il publie dans une revue d’informatique scientifique un article dont le titre pourrait faire sourire : « Transformer du gribouillage en œuvre d’art grâce au transfert de style sémantique ». Avec Neural Doodles, un prototype encore en cours de développement, « l’humain griffonne et la machine peint une version haute qualité à intervalles réguliers sur demande ».
Ce que rendrait Neural Doodles:
Le premier prototype Neural Doodle sur Github
DeepDream (2015): le pionnier fou qui dure
Un des premiers outils où l’IA fait des siennes. DeepDream, le programme de vision par ordinateur de Google, fonctionne comme un test de Rorschach pour une IA qui verrait des chiens partout. La faute au défi de reconnaissance visuelle pour lequel il a été conçu qui possède un énorme stock d’images de chiens. L’instruction qu’on lui a donnée n’a rien arrangé : « Qu’importe ce que tu vois, je veux le voir encore plus. » Chez Google, le nom de code du programme était Inception, référence au film éponyme. Ses visions psychédéliques ont même donné lieu à un néologisme : l’inceptionnisme.
«Deeply Artificial Trees», d’Alex Reben (réal. à partir de DeepDream) (2017):
GAN (2014): le faussaire et son critique
Comment fonctionnent les réseaux contradictoires générateurs (GAN) ? Prenons une base de données de photos de chats. Tandis que le modèle génératif fabrique une photo de chat à partir de la base, le modèle discriminant trouve cette (fausse) image parmi les photos qu’il traite. S’il la rejette, le modèle génératif améliore sa proposition, jusqu’à ce qu’elle apparaisse comme une (vraie) photo de chat. Facebook se laisse d’ailleurs tromper, comme le prouve son message automatique d’identification sur chacun de ces visages fictifs générés par un GAN. Et Apple s’y intéresse, avec des recherches sur le rendu des images de synthèse à partir de GAN.
La page Github d’un générateur GAN de personnages manga
Ink Poster (2013): le vrai ghost writer
L’écriture manuscrite a toujours été un casse-tête en informatique. Alex Graves, chercheur en science informatique de l’université de Toronto, a créé un générateur d’écriture manuscrite qui utilise l’intelligence artificielle en appui d’une recherche sur les réseaux neuronaux. Que dirait un graphologue sur sa personnalité ? Qu’elle en a plusieurs sans doute.
Vous n’avez rien compris? Vite cette vidéo! (activez les sous-titres en français):