Les Mondes de Ralph / Paperman

Camera Capture : bien plus que de l ‘animation de caméra

A première vue, l’ajout de la camera capture à l’arsenal de Disney semble presque anecdotique : ne serait-ce pas un gadget simplement utilisé pour animer la caméra dans le FPS des Mondes de Ralph, sans réelle avancée pour le travail des artistes en dehors d’un peu de temps gagné ?

En réalité, le projet est bien plus ambitieux , comme l’a indiqué Evan Goldberg lors du dernier FMX au cours d’une conférence dédiée. Gestionnaire de la technologie de Camera Capture, il est revenu en détails sur ce système directement dérivé des méthodes de production issues d’Avatar.
Nous n’avons a pu assister à cette conférence mais Animation World Network a publié un article dédié à la Camera Capture qui montre que son usage est très large :

– repérage : la caméra capture permet par exemple au réalisateur, le directeur artistique et le lead modeler de faire du digital scouting (DigScout), équivalent 3D du repérage de décors. En clair, le réalisateur pourra chercher des points de vue auxquels il n’aurait pas pensé spontanément . Bien entendu, ce concept existait déjà jusqu’ici, mais le réalisateur devait donner des indications à un artiste sous Maya pour qu’il déplace la caméra : avec le nouveau système , il peut le faire de lui-même en se déplaçant sur le plateau virtuel.

– rough layout et animatique : on retombe ici sur le type d’usage directement visible dans Les Mondes de Ralph : on peut facilement faire des essais de caméras, donner un aspect « organique » à son déplacement, et enchaîner les prises et essais bien plus rapidement que sur une station de travail. Comme les layout artists ont souvent de solides compétences en prises de vue réelles, ils ne sont pas dépaysés.
Evan Golberg souligne que la caméra à l’épaule n’est pas une obligation : de multiples systèmes peuvent être employés pour déplacer la caméra, qu’ils soient tenus à la main, sur trépied, sur roues… Le système est donc bien plus qu’un effet : il s’agit véritablement d’une alternative pour créer une bonne base d’animation pour la caméra.

– finitions : une fois l’animation effectuée, on peut utiliser l’outil pour suivre les personnages dans la scène pour vérifier que l’animation est conforme à ce que l’on en attendait, en les observant sous toutes les coutures.

Techniquement, le système repose sur une vraie-fausse caméra avec tracking optique. L’opérateur peut ainsi contrôler un objet virtuel dans Maya en temps réel.

Disney a songé à employer MotionBuilder, plus adapté à ce type de tâche, mais qui ne faisait pas partie du pipeline du studio ; finalement, des outils propriétaires ont pu être développés pour améliorer la gestion temps réel de larges quantités de données par Maya, et le logiciel peut désormais travailler avec des scènes de imposantes issues des films Disney sans broncher.

Photos ©2012 Disney. All Rights Reserved.  Images courtesy of Disney Feature Animation. Via Animation World Network.

Au final, l’outil a un impact très positif sur la production : le réalisateur s’implique davantage sur la gestion de la caméra. La visualisation instantanée du résultat évite les travaux mis à la poubelles en séance de review parce que ne correspondant pas à ce que le réalisateur attendait. Layout artists et réalisateur travaillent désormais main dans la main, avec un processus plus rapide et qui permet de nombreuses itérations, la possibilité d’enchaîner plusieurs centaines d’essais en une heure de travail, etc. Du pain béni pour les artistes, selon le layout artist Terry Moews cité par Animation World Network.

Ce dernier semble indiquer que la tendance sera clairement de développer cette méthode pour la totalité des futurs Disney, alors qu’elle a surtout servi pour Hero’s Duty dans Les Mondes de Ralph. De quoi transformer en profondeur la façon dont les films sont créés.

Et ce n’est pas tout : d’après Immersed in Movies, qui a pu assister à la conférence du FMX, Golberg travaillerait sur différentes idées dans le même esprit , avec par exemple un contrôle manuel des VFX et de la simulation.
De quoi imaginer un jour pouvoir contrôler des particules au doigt et à l’oeil ? L’avenir nous le dira.

Matériaux, shading : une révolution

L‘aspect le plus frappant des Mondes de Ralph est sans aucun doute le soin particulier apporté aux matériaux, en particulier dans Sugar Rush, le monde composé de sucreries et inspiré de Mario Kart.

Pour obtenir un rendu satisfaisant, Disney a mis en place un nouveau système d’éclairage reposant sur les BRDF (fonctions mathématiques décrivant la façon dont une surface donnée réagit à la lumière). L’implémentation finale génère des résultats plus crédibles et plus rapidement.

Cette innovation était indispensable pour Sugar Rush et ses surcreries. Il fallait évidemment que le résultat soit à la hauteur de l’idée, d’autant plus que le jeune public sait très bien à quoi est censé ressembler un bonbon en gelée, une fraise Tagada ou un cookie. La translucence de certaines sucreries a été un très gros défi pour l’équipe.

L’approche de Disney fait suite au shading physique des cheveux dans Raiponce. Brent Burley a travaillé en profondeur sur les BRDFs et le shading physiquement plausible (avec à la clé une publication et une présentation dont les slides sont disponibles). Chuck Tappan, Christian Eisenacher, Greg Nichols et Jared Johnson ont aussi contribué au projet.

Jusqu’ici, le studio utilisait des modèles qui ne reposaient pas forcément sur la physique, créés pour fonctionner dans des situations particulières : ils étaient donc réalistes visuellement mais pas physiquement, et pouvaient se comporter de façon indésirable si l’éclairage sortait de ce pourquoi le modèle avait été conçu.

L’idée en développant le travail effectué sur Raiponce était de disposer de matériaux plus riches, tout en ayant des comportements plus cohérents entre les matériaux, et ce quel que soit l’environnement utilisé.
L’objectif était aussi de disposer de contrôles plus simples pour les artistes, pour augmenter leur productivité.

Problème : dans les dizaines de modèles physiques existants (Phong, Wolff, Cook-Torrance, Ward, Blinn-Phong, Oren-Nayar…), lequel utiliser pour quel usage ?
La conservation de l’énergie est-elle une obligation pour arriver à un résultat correct ? Fallait-il privilégier les paramètres physiques comme l’indice de réfraction d’un matériau ?

Dans l’introduction de sa publication, Brent explique qu’il a pris le parti d’implémenter un outil pour comparer les différents modèles de BRDF avec des valeurs mesurées (la plupart issues de la MERL BRDF Database, d’utilisation gratuite pour la recherche et l’éducation, ou provenant du MIT). : BRDF Explorer, désormais disponible gratuitement et en open-source.

Cet outil a permis au studio de définir un nouveau modèle pour ses matériaux. Mieux encore : une BRDF unique est employée pour toutes les surfaces.
Le modèle mis en place n’est pas totalement physique. Brent Burley parle ici de « BRDF Disney pragmatique » : plutôt qu’un modèle strictement physique, l était préférable d’avoir certains avantages : contrôles intuitifs plutôt que physiques, aussi peu de paramètres que possibles, des valeurs allant de 0 à 1 pour la gamme physiquement plausible des valeurs de ce paramètre (tout en laissant la possibilité d’en sortir si cela est physiquement acceptable)…

Au final, 11 paramètres ont été retenus, dont un pour la couleur (souvent attribué par la texture). Les dix autres sont visibles dans l’illustration ci-dessous, avec l’impact de leur valeur ; plus bas, on découvrira un aperçu de l’éditeur de shaders avec les différentes couches de matériaux, les paramètres et enfin les textures dans la section « mask ».

Brent Burley donne également des informations sur l’usage en production du nouveau système.

Du côté de l’éclairage, les artistes ont utilisé une nouvelle combinaison : exit les sources ponctuelles, ils ont adopté area lights et de Image Based Lighting (IBL, autrement dit utilisation de des light probes HDRI) avec échantillonnage.

Ceci est évidemment promordial pour obtenir de bons résultats : des matériaux physiques mais éclairés par des sources ponctuelles ne se seraient pas comportés correctement, par exemple pour les reflets spéculaires. Et il était hors de question d’altérer les matériaux pour compenser ce défaut, puique cela aurait ruiné le concept de modèles physiques.

Brent souligne que l’abandon des sources ponctuelles et des anciens matériaux ne pouvait qu’aller de pair : les anciens matériaux auraient été bien trop coûteux en temps lors de l’utilisation d’area lights.

Ainsi, pas d’area lights sans nouveau modèle, et pas de nouveau modèle sans area lights.

Vers la fin de sa publication, Brent Burley indique aussi que le nouveau système de BRDF unique a permis de simplifier l’éditeur de matériaux interactif du studio, mais également qu’il permet enfin de créer une bibliothèque de matériaux de façon simple. Un artiste pourra ainsi piocher dans les matériaux existants pour les combiner sous forme de calques, à la manière d’un travail sous Photoshop.

Au final, le système a été utilisé pour la quasi totalité des matériaux dans Les Mondes de Ralph : seuls les cheveux ont été rendus avec les développement spécifiques liés à Raiponce.
Au vu du résultat, Brent indique que le nouveau modèle pour les matériaux continuera à être utilisé tel quel dans les prochains films, et ne nécessite pas de refonte. Des améliorations sont tout de même prévues, comme l’ajout de l’iridescence.

The Art of Wreck-It Ralph

Pour finir, nous vous proposons un aperçu vidéo du livre The Art of Wreck-It Ralph, de Jennifer Lee et Maggie Malone. Disponibles pour une trentaine d’euros,  les 160 pages du livre sont une véritable plongée dans le travail de préproduction. Esquisses, dessins, anecdotes mais aussi éléments qui ont été mis de côté (mais que l’on retrouvera peut-être dans une suite, qui sait) foisonnent dans cet ouvrage.

Pour en savoir plus sur Les Mondes de Ralph

– FxGuide a publié un article revenant sur les effets visuels, en compagnie du VFX Supervisor Scott Kersavage.

– Le podcast spécialisé dans l’animation The Rotoscopers a de son côté mis en ligne une interview audio de Renato Dos Anjos, qui en une demi-heure donne des détails supplémentaires sur son travail et la production.