Cet article est également disponible en:
Anglais
Vous avez peut-être vu cette vidéo sur les réseaux sociaux. La société française EISKO, spécialisée dans les doublures numériques, a publié un deepfake dans laquelle l’acteur Jean Dujardin remplace Sean Connery dans James Bond 007 contre Dr No.
Nous avons pu échanger avec EISKO dans leurs locaux pour en savoir plus sur les coulisses du projet. Nous avons évoqué leurs technologies de remplacement de visage par IA, et les ambitions d’EISKO sur ce marché en plein essor.
Voici la démo, suivie par tous les détails.
Table des matières
L’IA et le compositing main dans la main au service du deepfake
Le workflow de deepfake/remplacement de visage d’EISKO compte trois étapes :
- Des références de la personne à reproduire sont récoltées. Il s’agit le plus souvent de vidéos, dont on extrait des images qui sont ensuite ingérées par l’IA pour l’entraîner. Le but : lui fournir des images avec des éclairages variées, dans des postures et expressions diverses. Ainsi, l’IA est en mesure de reproduire la personne cible dans toutes les situations. Bien entendu, il faut veiller à restreindre la temporalité des références. On ne va pas utiliser des images des premiers films de Jean Dujardin si le but est d’obtenir son apparence actuelle.
- On donne ensuite à l’IA la vidéo de référence à utiliser. Elle va partir de ce modèle et générer (on parle d’inférence) un deepfake ayant les mêmes expressions, le même éclairage.
- Enfin, le compositing permet d’ajouter le grain, d’affiner la colorimétrie et les ombres.
EISKO nous a indiqué que leur IA est très robuste : elle ne va pas soudainement se mettre à créer un visage non ressemblant. De plus, l’ombrage et la colorimétrie sont d’emblée proches du résultat voulu. Le compositing reste néanmoins une étape indispensable pour affiner le résultat et corriger d’éventuels légers défauts, comme un regard qui serait un peu vide.
A noter : même si la démonstration vidéo est sans paroles, l’IA d’EISKO gère évidemment le cas de personnages qui parlent.
Pour développer en interne cette technologie de deepfake, Cédric Guiard, dirigeant d’EISKO, a mis sur pied une équipe dédiée à l’IA. Elle est principalement composée de César Herrmann, Romain Reinert et Louis Rognon, CTO d’EISKO. Les deux premiers ont des profils de type ingénieur en intelligence artificielle et machine learning, Louis Rognon ayant une formation centrée sur l’optique et la vision informatique.
Limites et défis à relever
Si les deepfakes d’EISKO sont déjà impressionnants, il reste des axes de progression.
Tout d’abord, les performances. Comme toujours avec ce type d’IA, l’étape la plus longue et coûteuse en calculs est l’entraînement. EISKO nous a indiqué que cette étape prend une semaine, voire 2 ou 3 si l’on souhaite une résolution élevée (jusqu’à 1024 pixels de côté pour le visage, dans les essais actuels). Il sera judicieux d’adapter la finesse de l’IA en fonction des contraintes (présence de gros plans ou non). L’équipe de R&D planche évidemment sur des optimisations de l’architecture technique pour accélérer cette étape.
En revanche, l’inférence, autrement dit la génération du visage par l’IA, est très rapide. De l’ordre de 100ms par frame (là encore, cela varie selon la définition voulue). De quoi envisager des workflows proches du temps réel pour les artistes, mais pas suffisant pour du live à la télévision.
Bien entendu, les futures générations de cartes graphiques changeront la donne. Elles permettront des gains importants à la fois sur l’entraînement et l’inférence.
Autre limitation, les cheveux ne sont pas gérés : on parle bien ici de remplacement de visage, pas de tête. La raison est assez logique : la difficulté avec une barbe ou des cheveux, sera de gérer la frontière entre les cheveux/poils et le décor qui est derrière. EISKO estime que ce point n’est pas très limitant pour le secteur du divertissement. Pour l’émission Hôtel du Temps par exemple, Mac Guff et l’équipe de production avaient utilisé des comédiens et comédiennes dont les coiffures ou postiches correspondaient aux personnalités à incruster (pour plus de détails, on se reportera à notre article et à cette conférence).
Les références, la force des deepfakes d’EISKO
Le point clé d’un bon deepfake est disposer de références de qualité. Et justement, EISKO est historiquement spécialisée dans la capture par des méthodes plus classiques de scan 3D à partir de photos. L’entreprise compte donc bien mettre à profit ce matériel et ces compétences au service de l’IA. L’idée est de mettre sur pied un protocole précis de capture, avec par exemple une série d’expressions, d’éclairages qui seront photographiés pour créer les données d’entraînement. Pour les personnalités pouvant se déplacer dans leurs locaux (situés à deux pas de l’Arc de Triomphe), cela permettra d’obtenir très rapidement le matériau nécessaire au deepfake.
Quels usages pour le remplacement de visage ?
Avec sa technologie, EISKO est donc en mesure de proposer des services de remplacement de visage. Mais il ne s’agit pas simplement de remplacer des acteurs. Ccette technique permet aussi, par exemple, de faire des rajeunissements. Il suffit de remplacer le visage d’un acteur ou d’une actrice par un deepfake entraîné sur leurs anciennes performances.
Et EISKO ne compte pas s’arrête là : l’entreprise compte aussi déployer les IA dans d’autres marchés comme le secteur cosmétique, qui emploie déjà ses services de scan 3D de personnes réelles.
Autre domaine ciblé : les chatbots ! Ceux-ci utilisent souvent des avatars 3D qui manquent de réalisme. EISKO propose donc d’appliquer sa technique de deepfake sur ces avatars 3D, pour en faire des personnages photoréalistes. Et si nous évoquions plus haut des performances ne permettant pas le temps réel, en pratique tout est affaire de qualité du résultat et de résolution. Rien n’empêche donc de calibrer techniquement un deepfake pour un usage comme celui-ci.
Ci-dessous, une autre démo d’EISKO, postée sur LinkedIn : l’équipe du studio transformée en Jean Dujardin.
Nous avons demandé à EISKO si l’équipe envisageait de proposer à des studios tiers sa technologie : pour l’heure, rien n’est décidé, mais EISKO y réfléchit.
Ethique et cadre légal, les clés du succès ?
Les IA et deepfakes font débat, à juste titre. Les droits des images d’entraînement, les dérives possibles sur les usages sont de vraies questions. On pense aux données glanées en ligne pour entraîner des IA génératives à usage commercial. Ou encore aux deepfakes pour l’usurpation d’identité.
Eisko le sait bien. Cédric Guiard, le dirigeant, insiste donc sur la volonté de cadrer juridiquement les usages avec des contrats précis. Un exercice qu’Eisko maîtrise puisque des contrats sont systématiques pour couvrir création, gestion, exploitation légale des scans de personnalités passant dans leurs locaux (comme Margot Robbie, Kylian Mbappé ou Eva Green). On notera d’ailleurs qu’Eisko souligne sur son site que ces contrats incluent des clauses de protection contre les deepfakes.
Ici, l’idée sera d’avancer pas à pas, en fonction des projets à venir et des besoins des clients.
La même philosophie est appliquée pour les sources. Au-delà de la démo technique sur Jean Dujardin, les projets commerciaux se feront obligatoirement avec acquisition des droits des images servant à entraîner les IA. Que ce soit en prévoyant de capter eux-même les images comme évoqué plus haut, ou en passant des accords avec les ayants droits d’autres images et films.
Nous retiendrons trois point de nos échanges avec EISKO.
- D’une part, le but n’est clairement pas de remplacer le scan 3D classique, mais de disposer d’un outil supplémentaire. Avec, selon la situation, les techniques de prise de vue issues des outils de scan qui viendront nourrir l’IA.
- Ensuite, les perspectives de progression des performances, et de marchés allant bien au-delà des effets visuels.
- Enfin, l’insistance d’EISKO sur le cadre juridique, un point essentiel pour convaincre clients, studios, stars.
Un dernier point : EISKO nous a indiqué que d’autres démos sont en préparation. D’ici là, vous pouvez découvrir leur dernière bande démo, centrée sur les doublures numériques et humains 3D.
