« Let’s Enhance », une startup basée en Estonnie, a réussi à développer une technologie d’agrandissement d’images intelligente, capable de deviner ce qui « devrait » être dans l’image pour remplacer les pixels manquants.
Nous avons tous vu un jour ou l’autre un de ces films où les ordinateurs de la police scientifique zooment presque à l’infini et reconstituent l’image pixelisée d’un visage ou d’une plaque d’immatriculation. Si cela reste une impossibilité technique, l’intelligence artificielle pourrait à terme se rapprocher de ce qui n’était jusqu’ici que de la science-fiction.
Le problème de la reconstitution se situe dans les pixels manquants. L’information est absente, et ne peut donc pas être récupérée. La solution est donc dans l’extrapolation.
C’est là qu’entre en jeu « Let’s enhance », startup éstonienne créée par Alex Savsunenko and Vladislav Pranskevičius. Ces chercheurs ont développé une solution basée sur le “machine learning”, une tendance forte en photographie, comme en attestent d’ailleurs les derniers travaux d’Adobe.
Leur solution a été entraînée avec de nombreuses photographies réelles à restaurer les détails manquants. Le système recrée ensuite des coutours nets, et reconstitue les pixels manquants en se basant sur les textures et objets qui existent dans la réalité.
Un site de démonstration gratuit
Sur le site de démonstration de « Let’s Enhance », il est possible après inscription de réaliser des tests sur vos photos. Les fondateurs indiquent qu’il s’agit d’une première version, et que le nombre de photos ingérées par le système ne permet pas des résultats encore parfaits, entre autres pour les portraits.
Premier test : une reconstitution extrême
J’ai choisi de tester un cas extrême : transformer une image de 250 pixels de largeur en image de 770 pixels de largeur. Non seulement l’agrandissement est énorme, mais le nombre d’informations sur l’image originale étant très faible, cela rend la tâche encore plus difficile. J’ai de plus choisi une image de qualité médiocre, et avec des éclaboussures d’eau, pour rendre le tout encore plus difficile.
L’originale, recadrage en 770 pixels de large d’une photo beaucoup plus grande.
La version 250 pixels agrandie à 770 pixels par photoshop, peu convaincante.
La version 250 pixels agrandie à 770 pixels par Let’s Enhance
Certes, le résultat est ici loin d’être parfait, mais il faut bien comprendre que Let’s Enhance a du extrapoler les détails à partir d’une image de seulement 250 x 167 pixels. Leur système disposait donc de très peu d’informations et a du multiplier la taille par plus de 3 fois.
Second test : un simple agrandissement par deux
J’ai ensuite essayé un test moins extrême avec une photo moins extrême à reconstituer, et en testant sur un agrandissement seulement x2. Pour cela, j’ai envoyé une photo de 385 pixels de large à Let’s Enhance, puis j’ai ramené le fichier final à 770 pixels pour réaliser un zoom final de 2x.
Original (réduit à 770 pixels de large, sans recadrage)
Agrandissement X 2 réalisé par Let’s Enhance depuis un fichier en 385 pixels de large. Notez les détails de la table au premier plan, de la tige, et l’arrondi des fruits que la solution a réussi à reconstituer.
Agrandissement Photoshop depuis le même fichier que celui envoyé à Let’s Enhance. Sans extrapolation « intelligente », les détails manquants créent une image beaucoup moins précise et beaucoup d’artefacts.
Evidemment, à ce stade, on pourra argumenter que des solutions logicielles spécialisées permettent déjà des agrandissements de qualité. Mais cette technologie n’en est qu’à ses tous débuts, et les capacités d’extrapolation basées sur le « machine learning » sont bien plus prometteuses que les solutions actuelles.
Les applications à court terme
Il deviendra très rapidement possible grâce à ce genre de technologie de réaliser de meilleurs agrandissements de photos. Les applications seront multiples, concernant photographes, sites internet, et même particuliers.
Des applications commerciales de cette technologie devraient bientôt voir le jour, mais on peut aussi parier qu’Adobe voudra intégrer ces solutions dans Photoshop par exemple. La présentation de la technologie Deep Fill s’appuie d’ailleurs sur la capacité à extrapoler ce qui se situe derrière un élement à supprimer d’une photo.
« Let’s Enhance » est gratuit pour l’instant, mais dans ses conditions générales, on trouve mention de services payants, permettant d’uploader sur leurs serveurs de multiples photos et de les récupérer rapidement. Plusieurs tarifs sont évoqués, comme 10 photos pour 5 $, et même une solution d’abonnement. Si ces services payants ne sont pas encore opérationnels, ils sont donc manifestement prévus, et passeront par leurs serveurs.
L’avenir spécialisé de cette technologie
Il est difficile pour ce type de technologie d’être véritablement capable de savoir ce qui devrait être contenu pour tous les types de photos. Chaque type de photo a ses propres caractéristiques de couleurs, textures, contours, et pour encore plus de performances, des solutions spécialisées dans un domaine gagneraient en performance, comme l’ont déjà indiqué les chercheurs derrière ce projet.
Certains développements pourraient ainsi se spécialiser sur les visages, d’autres les paysages, les bâtiments, etc…
Source : Let’s enhance
0 commentaire
Ajouter le vôtre