Brunch

D’une cinématique PUBG à l’avenir du rendu : rencontre avec Brunch

3DVF : Beaucoup de projets en 3D styliséée sont sortis ces derniers mois, on pense par exemple à Les Mitchell Contre Les Machines, Love Death + Robots. Vous-mêmes travaillez du rendu non photoréaliste, par exemple avec le projet PUBG. Que pensez-vous de cette tendance ?

Boddicker : C’est compliqué aujourd’hui, on sent que « 3D » peut vouloir dire tout et n’importe quoi désormais. La difficulté est de se réinventer face à des clients qui demandent régulièrement « autre chose ».
Tout le monde se met à la 3D plus stylisée, Sony continue sur sa lancée avec la suite de Spider-Man: New Generation, Weta lance Weta Animation et nous prépare sans doute quelque chose…

https://www.youtube.com/watch?v=Gj2iCJkp6Ko

Ce que l’on voit actuellement en rendus stylisé c’est que bien souvent les gens essaient d’imiter quelque chose : un « effet peinture », un « style comics » par exemple.

Il faut s’affranchir de cela, jouer sur les styles, comme peuvent le faire les équipes de Love, Death + Robots, Star Wars Visions. On voit que l’on s’affranchit de nombreux dogmes qu’il a pu y avoir pendant longtemps en 3D.

Il y a très longtemps, le rendu stylisé se limitait en gros au toon shader, aujourd’hui on a plus de diversité et les gens s’habituent à voir des choses différentes. Cela ouvre des portes au fur et à mesure. Cette évolution a d’ailleurs pu nous aider sur PUBG, en nous permettant d’oser dire « et pourquoi on ne ferait pas ça » en abolissant les règles, en choisissant d’utiliser une ombre bakée sur un plan et pas un autre, en se fichant de la notion de « crédible » puisqu’elle n’a pas de sens quand on sort du rendu réaliste : plus rien n’est vraiment « crédible », ce n’est plus qu’une question de goût.

On a toutefois le sentiment que le public reste encore très attaché à un look Disney, Pixar.

Après, même si le style change selon le studio ou projet, la technique reste la même : peindre un personnage reste peindre un personnage.

Du coup, c’est peut-être ici que se joue l’avenir, avec l’arrivée de technologies de type IA, deep learning en animation, pour créer un style de textures ou de rendu.

3DVF : Effectivement, on a d’ailleurs pu entrevoir des éléments de ce possible avenir cet été lors du SIGGRAPH : NVIDIA et son rendu sans 3D, uniquement par IA, par exemple.

Oui, ou Disney Research qui il y a plusieurs années déjà a travaillé sur la création de nuages par IA : ce n’est pas du rendu mais de la prédiction, il n’y a pas de calcul physique, c’est l’IA qui dit « ça doit ressembler à ça ».

On pense aussi au Intel Intelligent Systems Lab, qui a su rendre GTA V photoréaliste.

C’est assez fou, et on se dit ici qu’il n’y a plus de limite, ou qu’il n’y en aura plus, en tous cas dans l’ultra réaliste : là où il y a 10 ans on pensait butter sur un plafond de verre technologique, il ne fait plus trop de doute que l’on arrivera à tout faire très prochainement.

3DVF : Sans compter la possibilité de mélanger les techniques, comme l’a montré NVIDIA lors de la GTC, avec du deep learning appliqué sur un visage 3D, ou encore ce que fait Mac Guff [voir notre article détaillé sur le sujet] avec son Face Engine qui permet de modifier ou remplacer les visages…

Oui, ou le deep fake de Morgan Freeman par Bob de Jong.

C’est vraiment ahurissant, quand on voit la masse de travail nécessaire pour un studio qui veut faire un visage réaliste à partir de zéro (modeling, shading de peau, grooming, simulation de vêtements, mocap faciale, rendu, etc) alors qu’avec une photo et une caméra on peut générer tout ça directement…

Après, est-ce une bonne nouvelle pour tout le monde, difficile à dire ! [rires]

3DVF : On en revient à la vision de NVIDIA sous-tendue par sa publication au SIGGRAPH, mêler les techniques, faire par IA/deep learning ce qui est plus rapide et efficace ainsi, le reste en 3D…

Exactement, c’est sans doute ce qui arrivera.

Après il faut bien voir que l’IA reste extrêmement ciblée, ça marche très bien sur des tâches précises uniquement. Avant de pouvoir rentrer un script dans une IA et d’en sortir un film, il y a une marge.

3DVF : Et même pour de la 3D classique, des technologies comme celles de Kinetix qui génère des animations à partir de vidéos ouvrent des perpectives.

Après, ce qui est délicat, c’est que tout le monde comprenne bien les possibilités mais aussi et surtout les limites de l’IA.

Il va sans doute y avoir des mauvaises décisions, des décideurs n’ayant pas forcément une bonne connaissance technique qui vont partir du principe que l’IA peut tout faire, être à l’initiative de certains choix ou projets et s’y casser les dents.

3DVF : Sans compter qu’il faudra beaucoup de pédagogie vis-à-vis des clients sur ces limitations.

Tout à fait, et en production ça sera assez risqué. Avoir un outil prometteur est une chose, le rendre « production ready » en est une autre.

3DVF : A l’opposé, on a encore des projets comme Les Paysans qui se lancent en technique traditionnelle (animation peinte à la main), alors même que l’IA permet désormais de générer des effets de peinture stylisée (certaines personnes sur le forum ne voyaient du coup pas l’intérêt de rester sur une approche laborieuse au lieu de passer par l’IA).

Ce sont des choix différents, c’est un peu comme l’opposition argentique/digital, l’aspect artisanal, analogique, qui a un côté séducteur.

Ca restera sans doute toujours, d’ailleurs on est beaucoup dans nos métiers à regretter le fait que le travail soit 100% digital, sans trace physique (imprimer un modèle en 3D n’est pas la même chose que de l’avoir sculpté physiquement). Ca manque à beaucoup de graphistes, on le voit bien avec les nombreux artistes ZBrush qui font aussi de la sculpture sur glaise à côté.

https://www.youtube.com/watch?v=pABRhQpaOTI
Chłopi (Les paysans) – réalisation : Dorota Kobiela

Pour un projet comme La Passion van Gogh ou Les Paysans, il faut bien avouer que ça n’a pas la même saveur quand on sait qu’une équipe a passé 8 ans derrière, ou si le style Van Gogh a été créé par un ingénieur de Google en appuyant sur un bouton. On ne regarde pas ça de la même façon.

Exemples des capacités de l’outil EbSynth, qui permet d’appliquer un style prédéfini sur des vidéos

3DVF : D’ailleurs on risque ici de retomber sur la fameuse réaction que peuvent avoir les spectateurs face à de l’animation 3D ou des effets visuels : « il suffit d’appuyer sur des boutons ».

Exactement. Ca va retirer beaucoup du mérite accordé à plein de personnes, les gens se diront que ça ne demande pas de travail, que c’est facile et pas cher, un type de commentaire que l’on peut déjà trouver dans la 3D classique.

Cela dit, avant que ces outils ne soient production ready, on a encore de la marge : on s’y intéresse évidemment et ce qui existe actuellement sur le marché a beaucoup de défauts. Processus non répétable de génération des images, absence de calques, jpg en sortie… En fait on doit donner totalement la main à l’IA, sans pouvoir remettre son âme en aval.

3DVF : C’est vrai, même si ce contrôle peut revenir : l’outil de danse générée par deep learning que nous avions évoqué cet été permet justement de faire des retouches et choix artistiques.

Après, aujourd’hui, le mot IA, tout comme le temps réel, sont aussi des mots clés qui suscitent l’intérêt et les investissements. Un même projet suscitera beaucoup plus d’intérêt et de buzz si on dit que c’est fait en animation temps réel ou en IA.

ChoreoMaster, outil permettant de générer une animation de danse à partir d’une musique, avec contrôle créatif

Il y a un gros côté marketing, et il faut donc savoir prendre du recul…

Il ne faut pas oublier non plus que d’autres technologies sont venues et reparties, la stéréoscopie/le relief était énorme il y a 10 ans, aujourd’hui on en voit beaucoup plus rarement.

Même chose pour la VR, il y a eu énormément de personnes et entreprises qui s’y sont jetées, mais on n’a pas eu l’explosion grand public que beaucoup prédisaient.

Il faut se tenir au courant, suivre ce qui est prometteur, mais bien garder à l’esprit que tout ne sera pas révolutionnaire.

3DVF : Merci pour cet échange, beaucoup de pistes de réflexions… Une chose est sûre : il sera très intéressant de voir ce qui se passe dans les années à venir, entre révolution annoncée, anticipation peut-être exagérée, risque de désillusions, liberté artistique, perception des œuvres par le grand public. Nous aurons évidemment l’occasion d’y revenir sur 3DVF !

Pour en savoir plus

1 commentaire

phicata 11 octobre 2021 at 17 h 01 min

[I]Pour un projet comme La Passion van Gogh ou Les Paysans, il faut bien avouer que ça n’a pas la même saveur quand on sait qu’une équipe a passé 8 ans derrière, ou si le style Van Gogh a été créé par un ingénieur de Google en appuyant sur un bouton. [B]On ne regarde pas ça de la même façon[/B].[/I]
Je ne sais pas, vraiment ça m’interroge. Comme tu le soulignes, on en avait déjà parlé sur le forum et je ne trouves toujours pas de réponses définitives.
Autant j’ai étais fan de réalisateurs/animateurs qui passaient des dizaines d’années sur un seul court métrage, autant aujourd’hui, je me poses sans cesse la question de la légitimité de tel part pris. Ça soulève plein de question qui dépasse même le domaine créatif. Et je ne sais pas si le spectateur lambda, lui, est sensible à ce genre d’arguments.
Sinon très bien l’interview.

Laissez un commentaire

A Lire également