Nvidia vient de faire la démonstration d’un logiciel nommé FastPhotoStyle. Son algorithme basé sur l’intelligence artificielle (IA) permet de copier-coller le style d’une photo et de l’appliquer à une autre. Les résultats sont très réalistes, et beaucoup plus rapides à obtenir qu’avec les solutions préexistantes.
L’intelligence artificielle continue de préparer son avènement dans le domaine de la photographie. Alors qu’Adobe a commencé à faire évoluer ses produits avec ce type de technologie, c’est au tour du géant Nvidia de montrer ses compétences dans le domaine.
Plus précisément, une équipe de scientifiques ont travaillé avec Nvidia et l’université de Californie de Merced sur un nouvel algorithme. Et ce que cet algorithme est capable de réaliser est tout à fait nouveau.
Copier-coller le style exact d’une photo
L’algorithme développé est capable d’identifier ce qui fait le style d’une image de référence, et de transférer et appliquer ce style à une autre image avec un réalisme étonnant.
Pour cela, il faut une image « source », une image à transformer, et le logiciel se charge du reste.
Comme on peut le voir, on ne parle pas ici d’appliquer un simple filtre. Cette solution est capable d’analyser finement les paramètres pour un rendu précis. Selon le rapport de Nvidia, qui a effectué des tests utilisateurs en présentant les différentes méthodes existantes, le résultat obtenu ici a été préféré aux autres solutions existantes dans 62% des cas. C’est un excellent résultat quand on sait qu’un autre algorithme, qui était la référence jusqu’ici, faisait partie de ce comparatif.
A gauche le fichier original. Au milieu, le modèle de style à copier. A droite, le fichier original auquel le style a été appliqué.
60 fois plus rapide que les autres solutions
Les algorithmes qui existent déjà pour dupliquer un style d’une photo à une autre sont non seulement moins efficaces, mais ils sont aussi très longs à opérer. La puissance informatique nécessaire pour les faire fonctionner implique un temps de calcul important pour des images de dimensions très réduites (plusieurs minutes pour une image VGA).
La solution développée par Nvidia est annoncée soixante fois plus rapide. C’est un point essentiel si Nvidia décidait d’intégrer cette technologie dans un produit pour le grand public, ou même pour les professionnels de la photographie.
L’intelligence artificielle aux commandes
Pour arriver à ce résultat, les ingénieurs qui ont travaillé sur ce projet ont d’abord travaillé sur un algorithme utilisant une forme d’intelligence artificielle (IA). Il s’agit du “machine learning”, qui consiste à faire apprendre à la machine quels résultats sont attendus. En “ingérant” de très nombreux exemples de photos de référence, l’algorithme apprend à définir ce qu’est un rendu photoréaliste.
Mais le vrai secret de la percée effectuée est selon Nvidia dans la division de la tâche de l’algorithme en deux étapes. La première étape consiste à appliquer le style, et la deuxième à optimiser le rendu.
En effet, avec une seule étape, l’algorithme de reproduction du style a tendance à l’appliquer de manière non homogène et en générant beaucoup d’artefacts dans l’image.
Avec une deuxième étape de “lissage”, l’algorithme optimise le style pour générer un rendu plus régulier et éviter les artefacts. Le dosage de ce lissage et son application pour donner un rendu réaliste est donc au cœur de cette solution. Les pixels adjacents sont donc traités de manière identique. L’algorithme vérifie que le résultat généré reste parfaitement en phase avec le style copié sur l’image de référence.
Une fenêtre sur l’avenir
Le code de cet algorithme est librement disponible ici. On n’en est donc pas encore à la commercialisation d’un logiciel, même si Nvidia présente déjà sa solution sous le nom de FastPhotoStyle. Dans ce domaine, les recherches sont permanente, et les résultats ne sont pas nécessairement transformés en logiciel grand public.
L’intérêt de ces travaux est de démontrer qu’on est aujourd’hui à un tournant dans le domaine de la photographie. Les limites de la retouche photo sont sans cesse repoussé, tout en étant accessible à tous.
Cette évolution peut être une bonne nouvelle. Avec les technologies HDR couplées à de l’intelligence artificielle, nous pourrons peut-être bientôt photographier ce que notre œil a vraiment perçu, et reproduire toutes les nuances que nos appareils photo sont aujourd’hui incapables de capturer. Mais copier-coller un style à une photo, et ainsi transformer un paysage d’été en paysage enneigé est une autre démarche.
Nous pourrons bientôt transformer nos photos “à la manière de” tel ou tel photographe connu. Nous pourrons peut-être aussi modifier totalement l’expression d’une personne. Certes, des solutions existent déjà pour “forcer” le sourire d’une personne. Mais l’expression des yeux ne correspond pas, et le tout manque de réalisme. Avec l’intelligence artificielle, toutes ces limites vont disparaître, pour le meilleur et pour le pire.
Où commence et où s’arrête la photographie ? La question risque de se poser de plus en plus.
Source : Cornell University Library
1 commentaire
Ajouter le vôtreprisma realise une equivalence depuis des années sur une app de votre smartphone (nombre de style fixé dans leur librairie, app hybride car traité depuis leur serveur sur le cloud)