Accueil » Recherche : reconstruction 3D d’un visage à partir d’une vidéo

Recherche : reconstruction 3D d’un visage à partir d’une vidéo

Total Moving Face Reconstruction

Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman et Steven M. Seitz présenteront à la European Conference on Computer Vision (ECCV) leur publication Total Moving Face Reconstruction.

Ce projet de recherche propose une méthode de reconstruction 3D d’un visage avec détails, à partir d’une simple vidéo. La méthode est compatible avec les vidéos ordinaires, telles que celles trouvées sur Youtube : pas besoin d’une prise de vue calibrée ou dans des conditions spécifiques.
Alors que d’autres méthodes nécessitent que le modèle pose, ou que l’on possède un modèle 3D du visage, cette technique s’appuie sur les photos disponibles : album photo personnel ou, pour une célébrité, photos disponibles en ligne.

Total Moving Face Reconstruction

Ci-dessus, un aperçu de la méthode :
Tout d’abord, une base 3D du visage est générée à partir de multiples photos du modèle, qui pourront être trouvées en ligne (« average shape »).
On va ensuite s’intéresser à la séquence vidéo : le système estime l’orientation du visage (« pose estimation »).
Le modèle 3D basique du visage est altéré pour correspondre à l’expression de la frame considérée (« 3D Flow »).
Enfin, une étape d’affinage permet d’ajouter des détails fins à l’aide des indices d’ombrage présents dans la vidéo (« high detail refinement »). Rides, dents, détails sur les yeux peuvent par exemple être recréés.

Total Moving Face Reconstruction

A Lire également