« Deep Fill » : quand l’intelligence artificielle rencontre Photoshop

Lors de la récente conférence Adobe Max, Adobe a beaucoup parlé d’Adobe Sensei, son système de Deep Learning. Forme particulière d’intelligence artificielle, le Deep Learning permet d’apprendre à travers des milliers d’exemples du résultat idéal.

Dans le domaine de la photo, Adobe a donc réalisé quelques expérimentations intéressantes, que l’on devrait revoir dans les outils Adobe dans les années qui viennent. L’un de ces outils est le « Deep Fill », la version “intelligente” de l’outil « Content Aware ».

« Content Aware », l’outil de suppression de photoshop

La technologie « Content Aware » a été une petite révolution pour les utilisateurs de Photoshop. Elle permet de sélectionner une zone contenant un élément indésirable et de le supprimer. Pour cela, elle remplace la sélection en se basant sur les éléments qui l’entourent. On peut ainsi supprimer une personne dans un paysage, un bouton sur un visage, etc…

Mais la limite de cette approche par l’environnement est vite atteinte, avec des effets amusants, comme cela a été démontré dans la vidéo d’Abobe présentant le “Deep Fill”. En retirant un pansement entre les yeux, on obtient ainsi…un troisième oeil. Mais c’est plutôt logique au vu de la technologie utilisée.

« Deep Fill » , lorsque l’intelligence artificielle s’en mêle

Avec Adobe Sensei, Adobe a pu doper son outil “Content Aware” à l’intelligence artificielle. Ainsi, au lieu de simplement se baser sur l’environnement autour de la zone à supprimer, “Deep Fill” est capable de deviner ce qui est derrière cette zone. Pour cela, Deep Fill s’appuie sur son apprentissage basé sur des milliers de photos, et imite cette capacité humaine à savoir ce qui devrait apparaître.

A gauche, la version à modifier, à droite, le résultat avec « content Aware », et au milieu, la nouvelle technologie « Deep Fill ».

Et le résultat est vraiment très étonnant. Sur un visage, Deep Fill connaît la morphologie type et est donc capable de remplacer un pansement sur le nez par le nez, avec un niveau de réalisme remarquable.

Pour un paysage, Deep Fill est aussi capable de performances étonnantes, comme on peut le voir ci-dessous.

Pour terminer la présentation, l’ingénieur Adobe a montré qu’il était aussi possible de dessiner dans la zone concernée. Ensuite, Deep Fill a été capable de prendre en compte la zone dessinée dans son remplacement.

Le futur de Photoshop est-il dans l’intelligence artificielle ?

Adobe Sensei devrait totalement transformer les limites que nous connaissons aujourd’hui dans la retouche d’images. Si « Deep Fill » en est une des manifestations, n’oublions pas Adobe Scribbler. Cette autre fonctionnalité en projet et aussi dotée d’intelligence artificielle est capable de transformer de coloriser une photo noir et blanc.

Ces innovations ne se limitent pas à Photoshop ou à Lightroom (qui bénéficie déjà dans sa nouvelle version de capacités à identifier les mots clés pertinents automatiquement).

Adobe compte utiliser aussi Adobe Sensei dans le domaine de la vidéo. Lors de la même conférence, une démonstration démontré la capacité à supprimer un élément d’une vidéo.

On attend maintenant de voir quand et comment ces nouvelles possibilités s’intégreront dans la suite de produits Adobe. Mais il est certain que l’intelligence artificielle va considérablement transformer les outils utilisés par les créatifs dans un futur proche.

Source : Adobe