Nous avons déjà eu l’occasion d’évoquer Audio2Face, outil proposé par NVIDIA qui permet de créer du lip-sync automatique sur un visage 3D à partir d’un simple fichier audio.
La dernière mise à jour, estampillée NVIDIA Audio2Face 2022.1, apporte une avancée notable : la gestion des émotions, et l’animation complete du visage.
Deux approches pour gérer les émotions
NVIDIA propose deux méthodes ajouter des émotions sur le lip-sync de base :
- L’animation des expressions (joie, colère, tristesse, etc) à l’aide de keyframes et sliders.
- l’automatisation du processus grâce à l’IA d’un système que NVIDIA nomme Audio2Emotion. Celui-ci, avance NVIDIA, analyse l’enregistrement audio, en déduit les émotions de la personnes, et va alors placer automatiquement keyframes et expressions dans la timeline. Bien entendu, il est possible d’éditer le résultat à la main par la suite.
Un setup complet pour vos visages
Outre la gestion des émotions, Audio2Face propose aussi de nouveaux outils pour setuper les visages, avec une interface permettant de connecter dents, yeux ou encore langue.
D’autres améliorations
En plus de ces avancées, l’équipe NVIDIA a aussi inclus des outils de post-processing permettant d’améliorer les performances (notamment en ajustant la convergence du regard, la position des dents), ou encore des outils qui faciliteront le travail sur le mesh pour résoudre certains problèmes (« Mesh Separate », « Mesh Extract by Subsets » et « Freeze Transformations »).
Les nouveautés en action
Voici un aperçu de cette mise à jour en vidéo, suivi d’un tutoriel centré sur l’animation faciale et le retargeting qui vous montrera comment animer vos propres personnages.
Comment tester Audio2Face ? Quelles contraintes ?
Audio2Face prend en compte de multiples langues, dont le français et l’anglais.
L’outil ne gère pas les meshes combinant tous les éléments d’une tête : votre modèle doit être divisé en différents composants (tête, oeil droit, oeil gauche, dents inférieures et langue) qui eux-mêmes ne doivent pas contenir de sous-meshes.
Audio2Face est disponible via la plateforme collaborative de NVIDIA, Omniverse, qui est gratuite pour les particuliers. Pour les entreprises, un essai gratuit 30 jours est disponible, après quoi il faudra opter pour un abonnement auprès d’un revendeur (comme notre partenaire Progiss, que vous pouvez contacter par téléphone au 01 49 89 07 90 ou par mail : info@progiss.com).
