Rencontre avec Dynamixyz

3DVF : Pourquoi avoir opté pour une solution sans marqueurs ? Qu’en est-il de la précision ?

Dynamixyz : Les solutions sans marqueur sont de loin les plus efficaces pour faire de la mocap faciale car elles permettent de capturer des éléments tels que le contour intérieur des lèvres, l’apparition des rides, les changements de couleur de peau, etc. Autant de choses qu’il est impossible de capturer avec des marqueurs.

Avec notre technologie, chaque pixel de l’image peut être considéré comme un marqueur puisque nous reconstruisons le visage de l’acteur à chaque image. Les mouvements de peau sont si subtils qu’avec les technologies basées marqueurs il est en général nécessaire d’utiliser un grand nombre de marqueurs (plus d’une centaine) ce qui nécessite un temps de maquillage important, qui gênent l’acteur (l’empêchent de manger le midi par ex.) et surtout doivent être repositionnés de façon identique entre chaque tournage.

Nous connaissons aussi certains acteurs qui refusent catégoriquement que l’on touche à leur visage. Avec notre technologie sans marqueur, il n’y a pas besoin de préparation, il suffit de mettre le HMC et on est prêt à tourner !

3DVF : Pour des usages tels que la prévisualisation, un retour temps réel sur le personnage 3D est indispensable. Comment fonctionne Previz Streaming, qui se destine à ce type d’usage ?

Dynamixyz : La solution Performer utilise une méthode de tracking basée sur la reconstruction complète de l’image vue par la caméra à l’aide d’un modèle de l’acteur. C’est, en fait, un système d’optimisation très complexe qui essaye, pour chaque image enregistrée par la caméra, de trouver les paramètres optimum du modèle permettant de reconstruire exactement la même image. 

La différence entre la version production (offline) et la version temps réel est que, en temps réel, le système n’a pas le temps nécessaire pour trouver la solution optimale et délivre donc le meilleur résultat qu’il a eu le temps de trouver. La qualité est donc un peu moins élevée par rapport à la version hyper stable de production, mais le résultat est tout de même (amplement) suffisant pour pouvoir être utilisé et animer un personnage live. Le grabber/tracker/retargeter temps réel fonctionne comme un serveur réseau sur lequel il suffit de venir se brancher pour récupérer les flux de données en live.

3DVF : Quelles sont les caractéristiques techniques du casque de capture ?

Dynamixyz : Notre HMC est un des rares à être entièrement numérique, ce qui nous oblige, malheureusement, à faire beaucoup de développements car nous ne pouvons réutiliser les systèmes analogiques classiques (PAL, NTSC, etc.) pour lesquels pléthore de modules (wireless, timecode, etc.) sont disponibles sur le marché. Ce choix technologique est indispensable pour pouvoir utiliser des caméras haute vitesse (120 FPS) nécessaires à une bonne capture faciale et d’anticiper les nouveaux standards.

3DVF :  Les casques peuvent avoir certains problèmes liés au poids, la répartition de celui-ci ou au confort. La rapidité et la facilité de mise en place sont également essentielles. Qu’en est-il, avec votre système ?

Effectivement, les clés pour réaliser un bon HMC résident dans son poids et la longueur des bras. Une caméra trop lourde sur un bras trop long a pour effet d’engendrer beaucoup d’inertie qui rend le HMC  inconfortable ou bougeant tellement qu’il produit des séquences inexploitables. Notre casque pèse 302g avec une caméra de 36g, ce qui en fait un des plus légers au monde.

Notre système vient avec une phase de calibration (pour tous les HMC) qui permet de récupérer les paramètres importants de la caméra et qui seront ensuite utilisés pour stabiliser l’image en cas de mouvements de la caméra pendant le tournage. Nous avons, de plus, retenu une caméra fonctionnant à 120FPS qui permet de capter tous les mouvements extrêmement rapides que peut faire la bouche. Enfin, notre système est équipé d’un retour caméra sur écran qui permet à l’acteur, lors de la phase d’initialisation, de se voir et de se positionner correctement dans le casque avant de tourner, en moins d’une minute.

3DVF : Le Grabber, destiné à enregistrer les données brutes, est ouvert à d’autres méthodes de capture, et pas uniquement à votre casque. Pourquoi ce choix, et quelles sont exactement les possibilités ?

Dynamixyz : Beaucoup de studios cherchent à faire de la capture de mouvements faciaux et ont donc déjà développé un HMC avec lequel ils ont l’habitude de travailler. Depuis le temps que notre solution existe, nous avons rencontré pas mal de studios et vu beaucoup de types différents de HMC. Cela va de la simple camera Eye-Toy de Sony dépouillée et fixée sur un casque de hockey avec un cintre jusqu’au casque ergonomique réalisé avec une imprimante 3D et utilisant les dernières caméras HD du moment.

Notre activité principale n’est pas la réalisation/vente de HMC, nous pouvons en fournir pour les studios qui ne sont pas encore équipés, s’ils le désirent, mais nous ne mettons pas en avant cette activité. Notre logiciel de tracking est capable de traiter tout type de vidéos, de la médiocre vidéo PAL désentrelacée et perturbée par des néons à de la HD enregistrée proprement sous Kino Flo. Par ailleurs, nous fournissons des outils de calibration qui permettent de récupérer les caractéristiques de la caméra utilisée afin d’adapter très précisément notre logiciel d’analyse. Notre système est donc le plus ouvert possible afin de pouvoir fonctionner avec la plupart des caméras.

3DVF : Est-il possible, en achetant plusieurs casques, de capturer plusieurs personnes en même temps ? Y aura-t-il alors des besoins spécifiques, ou bien une seule station suffira-t-elle à enregistrer et traiter simultanément les données ?

Dynamixyz : Tout à fait, il est bien sûr possible de capturer plusieurs personnes à la fois. Au niveau de la capture, il faut une machine par acteur. Cela n’a pas besoin d’être une machine puissante, nous proposons, par exemple, des  » Onboard Recorder  » qui sont des petites machines destinées à être portées par l’acteur et alimentées par batterie. Elles enregistrent les séquences sur un disque dur SSD à 120FPS et streament une vidéo de contrôle à 30FPS pouvant servir à faire de la prévisualisation.

3DVF : Selon vous, quels sont les atouts de Performer par rapport aux autres solutions du marché ?

Dynamixyz : Parmi les retours clients que nous avons, il est fréquemment dit que notre solution est plus complète et délivre de meilleurs résultats, mais qu’elle est aussi plus complexe à mettre en œuvre. La qualité est à ce prix et nous préférons nous focaliser sur le développement d’un outil high-end destiné aux professionnels. Au jour d’aujourd’hui, il semblerait que nous soyons encore les seuls à proposer une solution temps réel de qualité, mais c’est un domaine où la concurrence est féroce et il ne fait aucun doute que nos concurrents sont sur les rangs pour proposer une solution équivalente dans les mois qui viennent.

Notre HMC capable de filmer à vitesse élevée (120FPS) est aussi un atout, les mouvements de la bouche peuvent être extrêmement rapides et ils ne sont pas tous capturables à 30FPS ou 60FPS. Du point de vue de l’entreprise, nous nous positionnons comme étant très orientés R&D et perfectionnons constamment nos produits grâce aux collaborations que nous avons avec certains laboratoires de recherches. Le message que nous voulons faire passer est que, choisir Dynamixyz, c’est l’assurance d’être toujours à la pointe de la technologie.