En décembre se tiendra à Tokyo le SIGGRAPH Asia 2018, pendant asiatique du SIGGRAPH d’Amérique du Nord.
Les publications scientifiques associées à la conférence arrivent peu à peu en ligne, et nous vous présentons aujourd’hui le projet de Shunsuke Saito, Liwen Hu, Chongyang Ma, Linjie Luo et Hao Li intitulé 3D Hair Synthesis Using Volumetric Variational Autoencoders.
L’équipe part d’un constat : de nombreux travaux de recherche s’intéressent à la génération de coiffures 3D à partir d’une photo d’un modèle, un sujet qui a de nombreuses applications (notamment en réalité virtuelle et pour le jeu vidéo). La plupart des approches dernier cri s’appuient sur une imposante base de données avec des coiffures prédéfinies.
Ces méthodes ont des défauts similaires : d’une part, la base de données est souvent très lourde et nécessite un gros espace de stockage. Par ailleurs, les modèles manquent de robustesse et échouent si les images d’entrée sont trop exotiques, si les coiffures sont très complexes ou si la détection du visage sur l’image échoue.
Le projet présenté tente de passer outre ces problèmes en n’utilisant pas de base de données lourde. Via un processus complexe qui s’appuie sur le deep learning, l’équipe semble y être parvenue. Comme le montre la vidéo, leur technique fonctionne y compris sur des photos mal exposées, prises de dos, des têtes non humaines, des photos basse résolution ou encore des visuels stylisés (peintures, dessins).
Le système est relativement rapide (de l’ordre de la seconde) et permet en prime de créer des interpolations entre plusieurs styles de coiffures.
Pour plus d’informations techniques, nous vous invitons à lire la publication complète.
1 commentaire
Les commentaires sont fermés.