Le deepfake se démocratise progressivement et continue son arrivée dans les productions. En voici un exemple avec le clip Hommes de Lettres mettant en scène les trois rappeurs canadiens Loud, Lary Kidd et 20Some.
Le réalisateur William Fradette a souhaité utiliser la technologie des deepfakes.
Benoît Marini (Whatever the Reality) et Gabriel Grenier (indépendant) ont co-réalisé ce trucage. Ils devaient, suivant les parties de la chanson, appliquer le même visage aux trois rappeurs (20some, Larry puis Loud).
Voici le clip final, suivi de détails sur le processus employé :
Techniquement, Benoît marini et Gabriel Grenier ont utilisé Deepfacelab, un des logiciels les plus utilisés pour cette technologie.
Pour créer des deepfakes de bonne qualité, ils ont utilisé des RTX 3090 avec 24 Go de mémoire dont certaines tournaient sur des PC virtuels. La quantité de mémoire étant déterminante pour la capacité à travailler sur des grandes résolutions.
Ils ont d’abord mis au point ensemble la stratégie de création du deepfake, en faisant le choix d’entraîner 3 modèles d’IA (avec chaque rappeur en source et les 2 autres rappeurs en destination). Ils ont ensuite donné leur recommandations au réalisateur du clip pour avoir le meilleur dataset possible (données sources) suite au tournage du clip. Les recommandations portaient principalement sur les angles de prises de vue, l’éclairage et la variété d’expressions des rappeurs qui devaient se correspondre pour maximiser la qualité d’apprentissage et le résultat final.
Dans un second temps, Benoît Marini s’est concentré sur la création du dataset initial avec le tri des données et les choix des paramètres de training sur sa propre machine dotée d’une RTX 3090.
Gabriel Grenier a de son côté déployé le training sur des machines virtuelles puis s’est occupé de l’intégration et de l’étalonnage final du clip.
Au final, le deepfake, avant intégration, a représenté 4 jours d’entraînement par modèle soit 12 jours en tout. Une fois de plus, on constate la rapidité avec laquelle les deepfakes peuvent se déployer, par rapport à une approche classique (reconstruction 3D du visage).
Gabriel Grenier à donné des explications sur le processus de création du deepfake dans cette vidéo :
Benoit Marini avait quant à lui déjà réalisé un TedX sur les deepfakes en 2018 :
