Samsung AI Lab : des visages animés réalistes depuis une image

Un document publié par les chercheurs du centre de recherche en intelligence artificielle de Samsung à Moscou et l’institut de science et technologie de Skolkovo montre l’exploit réalisé par leur solution. Leur IA est en effet capable de générer des animations 3D « réalistes » et ainsi de faire parler une personne à partir d’une simple photo. Un pas supplémentaire vers la possibilité de créer un jour de toutes pièces des vidéos impossibles à distinguer de la réalité.

Un nouveau pas pour l’intelligence artificielle

Les capacités de l’intelligence artificielle à créer des images réalistes de toutes pièces est en plein développement, et nous en avons parlé à de nombreuses reprises ici-même. Il est déjà possible de supprimer des éléments d’une vidéo avec des outils professionnels, mais il est de plus en plus possible d’en créer de toutes pièces.

Après Nvidia et son IA capable de générer à l’infini des images de personnes au photo-réalisme parfait et n’ayant jamais existé, Samsung passe une étape supplémentaire ici.

Leur solution est capable d’arriver à créer une animation et à y ajouter de la voix, et ce à partir de très peu d’informations au départ, contrairement aux solutions actuelles. Ici, pas d’immenses bases de données, mais un algorithme capable d’extrapoler une animation à partir d’une simple image et d’une animation de référence.

Ce que les chercheurs de Samsung AI Lab ont réussi à faire

Les chercheurs qui ont réussi à développer cette intelligence artificielle sont Egor Zakharov, Aliaksandra Shysheya, Egor Burkov, et Victor Lempitsky. Ils font partie du laboratoire de recherche en IA de Samsung, à l’institut de science et technologie de Skolkovo, considérée comme la « Silicon Valley russe ».

A partir de plusieurs images idéalement, mais parfois une seule, l’algorithme développé par ces chercheurs est capable de créer une animation « réaliste » de visages, et d’y ajouter de la voix. Et ce principe est applicable aussi bien à une photo qu’à une peinture, ou un dessin, ouvrant de nombreuses perspectives. Le mieux est de voir exactement ce que cela peut donner.

Le plus impressionnant est que le résultat est réaliste aussi en termes d’expressions. C’est très impressionnant, tout autant en fait que la capacité de cette IA à réaliser ce travail en très peu de temps, et avec très peu d’informations.

Une seule image est nécessaire pour réaliser une animation

Les chercheurs expliquent dans le document publié qu’ils ont réussi à obtenir des résultats acceptables à partir d’une seule image. Leur algorithme est donc capable d’apprendre à partir d’une image unique.

Ils reconnaissent par contre que les résultats sont encore meilleurs en fournissant plusieurs images. On peut d’ailleurs voir dans la vidéo le résultat obtenu avec 1, 8 ou 32 images; On constate effectivement que l’ajout d’images donne des expressions encore plus réalistes.

Les applications possibles

Les chercheurs pointent quelques pistes d’applications prometteuses. Ils parlent par exemple de la possibilité de avatars animés réalistes d’une personne, utilisables en visio-conférence, dans le domaine du jeu, et dans le secteur des effets spéciaux.

Avec les progrès possibles à l’avenir, ils espèrent que leurs travaux permettront de créer un réalisme parfait avec peu de ressources nécessaires. Et si pour le moment, leur solution est limitée à l’animation des visages et du haut du torse, ils espèrent pouvoir utiliser leur approche sur l’ensemble du corps prochainement.

Autre limite actuelle constatée par les chercheurs eux-mêmes : un décalage visible entre la personnalité de la personne “animée” et le matériel vidéo qui sert de référence pour l’animation. Aller vers plus de réalisme en termes de personnalité nécessite donc de réaliser une adaptation plus personnalisée.

Les inquiétudes légitimes

On parle depuis quelques années de « Deepfakes », et on sait à quel point les enjeux sont importants. Les risques de manipulation de la réalité de tels outils entre de mauvaises mains lorsqu’ils auront atteint un niveau de réalisme trompeur sont réels.

Qu’il s’agisse d’atteinte à la dignité des personnes (par exemple de célébrités ou des personnes inconnues propulsées du jour au lendemain stars du porno avec le DeepFake Porn), ou de risques de manipulations aussi bien au niveau d’états que d’organisations diverses, ces nouvelles technologies inquiètent légitimement.

Cela pose aussi des questions éthiques, juridiques et technologiques, et même sécuritaires sur lesquelles il faudra aussi nécessairement se pencher rapidement. Quoi qu’il en soit, la révolution de l’intelligence artificielle dans ce domaine est bien en marche, et les choses vont très vite.

Source : Arxiv.org