Et si Mickey me rajeunissait en un clic ? — The Walt Disney Company a mis au point une solution capable de rajeunir ou veillir les acteurs de ses films ou séries, une prouesse technologique que l'on doit à une IA spécialement développée au sein du groupe américain.
Face à face
Qu'aurait pensé Walt Disney lorsqu'il a dessiné pour la première fois la souris noire aux grande oreilles ?
L'entreprise américaine Disney a bien évolué depuis, avec la création de nombreux dessins animés, films, rachats de licences dont Star Wars et j'en passe et des meilleurs...
Cependant, un fait plutôt méconnu du grand public est que le géant du divertissement possède son propre département de recherche. Ce dernier a vu certains de ses chercheurs récemment publier un article sur une expérience (Vous pouvez ranger vos éprouvettes de SVT) portant sur le vieillissement et le rajeunissement du visage, avec l'aide d'une intelligence artificielle.
Comme vous vous en doutez sûrement, la construction d'un film est décomposée en plusieurs étapes, comme pour le développement logiciel (avec les mêmes contraintes financières mais, et espérons-le pour eux, des outils un peu moins pétés).
Une des phases se situe après avoir filmé et sélectionné les scènes qui seront utilisées pour la version finale du film, la postproduction.
Un des problèmes de cette phase est qu'elle peut être extrêmement coûteuse en temps et en ressources, surtout lorsqu'on cherche à vieillir ou rajeunir un protagoniste par exemple. Et c'est là que les devs du Disney Research Studios entrent en jeu.
Ces têtes brûlées, spécialisées dans les réseaux de neurones artificiels, ont concentré leurs recherches sur le rajeunissement et le vieillissement des visages, dont ils ont partagé les résultats dans un article scientifique en novembre dernier.
Je vous vois arriver : "oui, bon, ça existe déjà ce genre de truc, et puis il y a les deepfakes aussi".
Alors oui, mais non ! Car comme le précisent les chercheurs en introduction de leur papier, les outils actuels ne permettent pas de produire des images dont la précision serait à même d'être acceptée pour les standards actuels de production de films.
Un rendu bluffant et quasi instantané
Pour réaliser leur démonstration, les chercheurs ont créé un gros algorithme, baptisé Face Re-Aging Network (FRAN).
L'architecture de cet algo se base sur le réseau neuronal convolutif U-Net (ne me demandez pas d'expliquer ce que c'est en détail svp, je me prendrais un git blame rien qu'en essayant).
Étant un réseau neuronal, FRAN a été entraîné pendant 2 jours sur GPU à l'aide d'images de synthèse haute-définition où l'âge d'entrée et de sortie était arbitrairement connus pour pouvoir sortir des résultats probants.
Ses créateurs ajoutent qu'ils ont fait différents tests en jouant sur les effets spéciaux qui pouvaient être rajoutés sur les vidéos, puis en demandant aux sujets d'avoir plusieurs expressions, etc... Ils ont par la suite comparé la distance d'identité (plus le score est petit, plus vous êtes proche du sujet original) après calcul entre différents algorithmes existants et récents, leur donnant le score le plus bas.
L'article présente dans ses annexes divers résultats — assez bluffants, qu'on se le dise — de l'utilisation de FRAN comparé aux autres algorithmes, que je vous invite à regarder.
Au final, si l'on en croit leur vidéo de présentation de ces travaux, la génération d'une image de sortie ne prendrait que 5 secondes ! Une avancée majeure pour la phase de postproduction des films, si ce processus parvient à être industrialisé.
Cependant, et comme tout bon article scientifique, des pistes d'amélioration ou d'innovation sont identifiées pour cet outil. Tout d'abord, nous parlerons de la plage d'âge. En effet, FRAN n'a pas pu imaginer le visage des sujets avant 18 ans car cela devient extrêmement compliqué dû à l'architecture-même de l'algorithme.
De même, d'autres effets ne sont pas pris en compte par rapport à l'évolution de l'âge des individus traités, comme les cheveux blancs (pour ceux qui en auraient encore, d'ailleurs) ou l'évolution de l'indice de masse corporelle avec les années.
Pour résumer, on n'arrête pas le progrès ! Cependant, comme l'indiquent les équipes de Disney, à l'ère des fake news, ce genre de technologie nécessite une utilisation dans un cadre bien précis, et entre de bonnes mains.
Reste à voir si Mickey lui-même pourra profiter de cette technologie pour veillir artificiellement... à moins qu'il n'en ait pas forcément besoin. 👀
À lire aussi sur Les Joies du Code :
- 🧠 Microsoft étend son partenariat avec OpenAI, le labo derrière ChatGPT, avec un deal à 10 milliards de dollars
- 🌐 La Linux Foundation lance la Open Metaverse Foundation pour créer les nouveaux standards du metaverse
- 📎 Cette extension VS Code vous permet de retrouver Clippy dans vos sessions de dev
