Cet article est également disponible en:
English
En juillet dernier, nous évoquions le jury VFX-Workshop 2024, dont nous faisions partie. Après trois années de formation, les élèves présentent des « Case Study »: des projets destinés à mettre en avant leurs compétences.
Après le fanfilm Star Wars de Nathan Dubuc, nous vous présentons désormais le projet d’Emma Toubin, qui a reçu les félicitations du jury. Un concept atypique qui mêle danse, motion capture avec utilisation d’un accessoire conçu par Emma Toubin, photogrammétrie, simulations et mise en scène.
Voici le projet, suivi de l’interview !
3DVF : Bonjour Emma ! Lors du jury de fin d’études VFX-Workshop, tu as présenté un projet qui a séduit les professionnels présents (dont l’équipe 3DVF) : peux-tu le présenter en quelques mots ? Quelles étaient les ambitions techniques, artistiques ?
Emma Toubin : Ce projet met en scène La Transformation, le reveal d’un personnage dans une danse cosmique. Le première facette de mon personnage s’appelle Nébuleuse, elle est personnifiée par un grand voile blanc en mouvement qui va s’enflammer et révéler Saturne, la deuxième facette, incarnée par les anneaux de sa crinoline* squelette.
Le projet est entièrement réalisé en 3D. Trois défis techniques sont à l’origine du projet:
- Réaliser en 3d une silhouette floue complexe en mouvement, drapée, dépourvue de structures.
- Réutiliser la crinoline que j’avais réalisée pour mon mémoire sur le costume-accessoire pour la motion capture en 2021 pour réussir à virtualiser son mouvement.
- Réaliser une transition d’une silhouette à une autre par le biais d’une transition fx.
*crinoline : structure basse historique du 19ème siècle qui projette le volume des jupes
3DVF : Le projet est composé de deux parties principales : une séquence qui fait référence à la danse serpentine créée par Loïe Fuller à la fin du 19ème siècle, une transition avec du feu, et une seconde danse avec une robe plus moderne.
Comment as-tu mis en place ce déroulé, et quels ont été les échanges avec la chorégraphe et danseuse Louise Gagliardi ?
Est-ce que l’usage de motion capture a contraint vos envies ? Ou au contraire débloqué des possibilités ?
Mon frère a composé la musique. Le tempo est déterminant. Je voulais que Nébuleuse – le premier personnage – commence avec des mouvements lents, suspendus dans le temps et que Saturne soit d’un éveil plus rapide, tempétueux, imprévisible. Nous avons choisi un tempo de 120 bpm permettant une danse lente (60 bpm) et une danse plus rapide (120bpm). Deux pulsations toutes les 24 images/secondes. Ce qui est très pratique pour le travail de l’image.
Le choix de la référence dont tu parles est symbolique, c’est cette danse qui m’a donné la passion du costume. Loie fuller est une des premières à questionner la transmission du mouvement dans le costume. On rapporte énormément la danse au corps, beaucoup moins au costume. Pour moi le costume est une extension de soi, j’aime l’idée qu’on puisse lui donner vie pour raconter une histoire. Les contraintes d’un costume génèrent des mouvements uniques, presque impossibles à imiter si on ne le porte pas. Je voulais pour cette première séquence reproduire les mouvements d’un passage du film La danseuse de Stéphanie Di Giusto, et explorer des points de vue différents à la caméra.
Pour la deuxième silhouette, la seule contrainte était la crinoline. Par le même procédé que Loie fuller, nous avons testé avec la danseuse les mouvements qui pourraient mettre cette structure en valeur. Louise a donc improvisé en étant à l’écoute de la musique et de la sensation du costume.
En voulant réaliser une simulation réaliste du costume, j’ai vu que la motion capture était l’outil qui répondait à mes attentes à condition que le costume soit adapté et réfléchi pour.
Plus tard j’aimerais beaucoup réaliser des simulations cfx sur de l’animation keyframe en travaillant avec le style proposé, ce pourrait être un nouvel exercice excitant.
3DVF : Parlons de motion capture. Elle a été réalisée au sein de la société Effigy, avec un costume technique conçu par tes soins ! Que permet-il de faire ? Comment l’as-tu conçu ? Comment s’est passée la motion capture, et quel a été le travail à faire en aval ?
Pour ce qui est de la motion capture optique utilisée à Effigy, l’aspect le plus contraignant est d’éviter au maximum de cacher les marqueurs lors de la capture. Pour limiter ces occlusions, le costume accessoire doit se limiter aux structures.
Pour le personnage de Nébuleuse, il n’est pas possible d’utiliser une robe drapée, mais les mouvements de ce personnage reposent sur celle-ci. Pour visualiser le mouvement du tissu, nous avons donc utilisé des serpentins de GRS et capturé le mouvement des bâtons. Ces repères ont été très utiles pour la danseuse et la simulation, elle n’avait pas le droit de croiser les bâtons, ce qui évitait d’avoir des problèmes au niveau des cfx par la suite.
Pour le personnage de Saturne, la crinoline que j’ai réalisée est squelette. Elle est gainée avec une maille gratée qui permet de poser des marqueurs de motion capture dessus pour capturer le mouvement des cerceaux. La motion capture optique est mieux adaptée aux structures solides. Une crinoline est une structure semi-rigide. Le mouvement des cerceaux a été extrapolé du nuage de point capturé grâce à un rigging complexe, de contraintes en rotation et translation et de skinning. A l’étape du retargeting, la danseuse étant légèrement plus petite que moi, nos genoux ne sont pas à la même hauteur quand je transfère l’animation de son corps sur mon scan. Pour cela, il est nécessaire de post-animer la crinoline pour corriger les contacts avec les jambes.
Finalement La danse virtuelle est un mélange de deux prises. Sur le plateau il y a eu un changement de costume. On a donc réfléchi à un raccord dans le mouvement qui permettrait de mélanger les deux animations. La crinoline se déploie ce qui permet également une transition plus douce.
3DVF : Il a aussi fallu créer des costumes virtuels, gérer la simulation de cloth.
Quels ont été les défis à ce niveau ? A-t-il été difficile d’avoir un résultat qui soit à la fois esthétique et réaliste ?
Pour ce qui est de la création des costumes virtuels, le patronage est assez équivalent à ce que l’on fait en vrai en costume, c’est donc relativement facile quand on a déjà fait de la coupe. Pour le personnage de Nébuleuse, l’amplitude du drapé a été un véritable défi de simulation. J’ai ajouté de la dynamique dans les bâtons pour fluidifier le mouvement. J’ai remarqué pendant les premiers tests que l’un des bâtons tournait sur lui même à chaque battement de bras. C’était un problème car le tissu s’enroulait autour du bras au fur et à mesure de la danse, jusqu’à manger la totalité de l’ampleur arrière de la robe. La plupart des problèmes rencontrés à la simulation viennent de la source de mouvement, support de collision de la simulation. Une grande ampleur était nécessaire pour éviter que le vêtement ne se retrousse à la moindre accumulation de vélocité dans le mouvement.
C’était difficile de gérer l’effet « vent dans la voile » et de trouver le bon paramètre pour que le tissu ne soit ni trop lourd (comme du velours), ni trop léger (comme du tulle), et de trouver la bonne densité de maillage pour permettre une certaine échelle de pli. Je voulais également que le tissu ne soit pas trop élastique. Je trouve souvent que les tissus 3d ont un côté chewing-gum. Le squelette intérieur d’un costume n’est pas souvent mis en valeur en 3d. Par exemple quand on fait du tailleur ou de la corseterie, on va superposer un certain nombre de couches que l’on va maintenir avec des points dans une forme arrondie pour que le costume se rigidifie à certains endroits et s’enroule naturellement sur le corps. On s’imagine souvent le costume comme quelque chose de mou, mais sur les plus belles pièces il est question d’un travail de tenue et de structure. C’est vraiment quelque chose que je voulais exprimer dans les cfx plus historiques que j’ai fait pour le 2eme personnage Saturne. C’est une création inspirée du travail d’Alexander Mc Queen, quand il détourne des structures historiques avec une inspiration punk.
Les plis du corset sont une excentricité de ma part mais je voulais montrer que je pouvais apporter ce niveau de réalisme avec cette idée de superposition de couches qu’on utilise en corseterie. Pour cela on confronte 3 matériaux différents : d’abord une toile près du corps très rigide qui ne se déforme pas et qui permet la compression du corps, ensuite la disposition de baleines métalliques qui mettent en tension le tissu dans la hauteur, et enfin un tissu extérieur qui a un rôle décoratif, et qui est de ce fait souvent plus fin, plus souple. Le travail de ces 3 matériaux ensemble va former ces plis, ces tiraillements légers dans la verticale.
Pour la crinoline, je récupère des cerceaux animés en motion capture. J’effectue une première simulation de tissu en réalisant une crinoline pleine afin d’avoir un layer de collision qui me facilite la simulation de la surjupe. En revanche, je réfléchis le patron pour cacher certaines parties et récupérer une crinoline cage.
3DVF : Quelques mots également sur la transition avec les flammes, ainsi que sur le travail de groom/simulation de cheveux ?
Le travail de la robe qui s’enflamme est procédural, une bonne fx de feu se résume à un bon travail sur la source. Pour cela, j’ai paramétré et chronométré la propagation du feu dans le vêtement fracturé avec une ramp, qui permet aux pièces fracturés de prendre ou non la simulation vellum. Puis je rétrécis chaque pièce sur son centroid pour donner cette impression de vêtements consumés. Enfin je récupére le contour des pièces pour en faire la source du feu. Je simule le feu avec le plugin Axiom d’houdini, et j’ajoute quelques étincelles en réutilisant la vélocité de la simulation de feu.
Pour le groom des nattes, le travail est entièrement procédural. Pour simuler des meilleures collisions, je convertis les curves en tubes que j’attache à la tête du personnage. Je simule une certaine partie de ces tubes avec une simulation vellum (string) et je m’en sers pour déformer les curves de départ. J’applique ma chaîne procédurale qui fabrique des tresses à partir d’une curve en input.
3DVF : Pour le modèle humain, tu as choisi de faire appel au scan 3D : comment as-tu procédé ?
Effigy m’a pris en photo avec 60 boîtiers reflex, une première salve avec le full body et une deuxième salve focus sur le visage pour récupérer plus de résolution et de précision dans le scan. J’ai récupéré ces photos et reconstruit le scan du corps et du visage avec Reality Capture. J’ai symétrisé le corps mais pas le visage. Ensuite j’ai fusionné la tête qui avait plus de détails sur le corps symétrique ET reprojeté les bonnes textures. Il fallait nettoyer les artefacts à l’étape du resculpt et retravailler quelques formes secondaires à l’aide des photos. Ensuite j’ai wrap plusieurs topologies de différents scans pour récupérer des textures plus précises qui m’intéressaient notamment certaines textures xyz. Et j’ai créé une topologie pas trop dense adaptée au rig.
3DVF : Evidemment, tout ce travail ne servirait à rien sans une mise en scène pour le mettre en valeur. Pourquoi as-tu opté pour cette réalisation et ce lighting ?
Je voulais assumer un éclairage théâtral et à la fois que le spectateur perde la notion de lieu et de temps.
Les écrans ont été ajoutés plus tard. Manon Sabatier a réalisé certaines images psychédéliques animées au rythme de la musique. J’ai effectué un montage en fonction des différents tableaux de couleurs que je voulais provoquer. Les couleurs des images projetées dans les écrans ont totalement influencé les éclairages.
La première partie est calme avec une ambiance bleutée qui nous plonge dans un ciel étoilé. L’apparition de couleurs harmoniques semblables changeantes montre Nébuleuse qui devient de plus en plus instable. Au moment où la robe s’enflamme l’ambiance est au monochrome orange. Ensuite le personnage de Saturne varie entre des blancs stroboscopiques et un éclairage plus latéral de couleurs complémentaires ou semblables. Enfin Saturne se stabilise et dans la nuit noire on ne voit plus que ses anneaux qui illuminent le ciel. On a un dézoom sur une nuit très noire et calme.
J’ai réalisé les éclairages en une semaine, cela a été très efficace. Grâce au rig que j’ai fait, je pouvais contrôler quatre groupes de lumières :
- Un premier groupe de lumières en douche qui permet des jeux de textures (gobo).
- Deux groupes de lumière en douche à gauche et à droite qui permettent des jeux de contraste latéraux.
- Un dernier groupe de lumières en douche assez diffuses, en opposition avec une lumière en contre-plongée dans le socle de danse, ce qui permet des jeux de contraste de couleurs.
Pour le rendu, je n’ai animé que les couleurs des groupes de lumière. La décomposition des passes de lumière au rendu, des passes de volumétriques et des cryptomattes m’a permis une maîtrise supplémentaire au niveau de l’animation de l’intensité des différents groupes de lumière et de pouvoir gérer finement l’esthétique de mon image. J’ai vraiment compris le pouvoir du compositing sur ce dernier projet.
3DVF : Le rendu a été un gros défi : pourquoi, et comment as-tu fait en sorte de finir le projet à temps ?
Je me suis rendue compte sur la fin du projet que je n’arriverais pas à tout rendre avec la force de calcul de l’école sans contraindre d’autres élèves. J’ai provoqué ma chance en parlant de mes inquiétudes à Renaud Jungmann, directeur de l’école VFX-Workshop qui a été très réactif et m’a mise en contact avec l’équipe Progiss [NDLR: partenaires de 3DVF spécialistes du hardware, logiciel, services pour les studios, artistes et écoles] afin qu’ils rendent mes images. On n’était pas totalement sûrs que ça fonctionnerait parce que je travaillais avec des alembics lourds mais mes scènes ont bien fonctionné. Je remercie mille fois Philippe Luneau qui s’est chargé d’effectuer tous les rendus, sa patience et son efficacité m’ont permis d’avancer sereinement dans ma dernière période de rush. Il me restait une semaine ensuite pour compositer tous mes plans.
3DVF : Si ton projet nous a marqués, c’est en partie par sa cohérence avec ton parcours atypique au croisement des costumes et des VFX : pourquoi cette double passion, et quel a été ton cheminement côté études ?
Je dirais que ma fratrie a baigné très tôt dans le domaine artistique. Ma soeur est comédienne et mon frère ingénieur du son. Depuis le collège on a un groupe de musique, j’ai toujours fait nos tenues de scène. Le costume est une passion de longue date, également dans le cinéma. J’ai fait un bac S, une Mise À Niveau en Arts Appliqués à la Martinière Diderot de Lyon suivie d’un DNMADE Spectacle option costumier réalisateur pendant 3 ans. En dernière année, j’ai eu l’idée d’orienter mon mémoire sur l’impact du costume accessoire pour la motion capture dans l’acting.
J’ai contacté Renaud qui a vu le potentiel du projet et m’a aidé avec Effigy à pousser l’expérience. Les ponts entre ces deux métiers sont devenus évidents. J’ai eu envie d’apprendre la 3D, d’exploiter le potentiel des données qu’on avait capturées. On avait déjà fait quelques clips autoproduits avec mon groupe Brutus Yukus, j’avais dans l’idée que la 3D me servirait tôt ou tard à la réalisation de nos clips de musiques. J’ai donc fait une deuxième formation en 3 ans à VFX-Workshop pour être généraliste 3D.
3DVF : Quel bilan tires-tu de ce projet, et de ta scolarité chez VFX Workshop ?
Que rien n’est impossible et qu’il faut savoir bien s’entourer. L’école est un lieu d’expression unique, c’est en tous cas la force de VFX-Workshop. J’ai mon univers et je ne me suis jamais sentie formatée. Je me suis autorisé à rêver grand et j’ai appris ce que je voulais apprendre.
Ce projet à vraiment été une autoroute du kiff. J’ai très hâte de faire mon entrée dans le monde du travail.
3DVF : Quels sont tes projets pour l’avenir ? Es-tu en recherche de poste ?
J’aimerais beaucoup travailler dans le cinéma ou dans la série. Je suis en recherche active depuis septembre, à la fois de contrats dans le domaine de la 3D mais également de temps en temps de contrats costumiers ou habilleurs pour continuer à nourrir mon inspiration cfx dans l’objectif de pouvoir concilier ces deux métiers comme le fait Wētā FX.
En ce moment, je réalise des costumes de scène avec des impressions sur tulle inspirées de l’art d’Iris Van Herpen. Cette fois je pars de la 3D pour aller vers le réel.
Pour aller plus loin
- Emma Toubin sur Linkedin
- Notre article sur le jury VFX-Workshop 2024, et le projet de Nathan Dubuc (fanfilm Star Wars)
