3DVF : Vous avez choisi le système HTC Vive pour gérer le tracking de caméra, et Unreal pour le moteur 3D : quelles sont les raisons de ces choix ?
Neoset : Pour Unreal Engine, c’est assez simple : Epic Games, son créateur, en a fait un outil incontournable dans la Virtual Production – entre autres grâce au plug-in nDisplay, qui permet le « cluster rendering », c’est-à-dire d’utiliser n machines pour rendre l’image en temps réel de manière impeccablement simultanée, et donc pouvoir gérer des résolutions énormes. Epic fait tout une campagne autour de la Virtual Production en ce moment, et ses équipes (que nous tenons vraiment à remercier pour leur aide) se plient en quatre pour nous faciliter la vie, même si tous ces outils sont encore, pour beaucoup d’entre eux, au stade de prototypes… Certaines fonctions n’étaient même pas documentées il y a encore quelques jours !
Pour le HTC Vive : c’est une solution avec un rapport qualité/prix absolument imbattable tant qu’on reste dans les limites du système, à savoir une zone d’environ 7m sur 7m maxi, définie par quatre « base stations » maxi. Le même système avec la possibilité d’avoir dix ou douze « base stations » simultanées ferait de l’ombre à bien des systèmes professionnels ! Nous avons étudié de nombreuses autres offres du marché et sommes en train de finalement choisir la même solution que celle utilisée par Disney sur The Mandalorian, qui a l’avantage d’être extrêmement flexible et robuste.
Ci-dessous : un des premiers tests techniques de Neoset
3VDF : Plus globalement, pouvez-vous nous parler de la R&D et des étapes de mises en place du système ? Quelles sont les difficultés techniques majeures ? (en particulier, avez-vous rencontré des problèmes de moiré ?)
Quand nous avons commencé, en février, c’était « le far west » ! Certes le système avait été mis au point sur The Mandalorian, mais en réalité il s’agissait de versions d’Unreal Engine customisées, avec une armée d’ingénieurs (j’ai entendu parler d’une soixantaine de codeurs mobilisés!) chargée de développer les outils au fur et à mesure du tournage ! Ils ont conçu des outils à partir de zéro, et ces outils n’ont pas tous été intégrés à Unreal, beaucoup sont restés propriétaires. En février, les outils qui existaient effectivement dans Unreal étaient tous en beta version, pas forcément conçus pour fonctionner les uns avec les autres, et pour une grande partie, non documentés ! Impossible de « suivre un tuto » ou même de « lire le manuel » : tout ça n’existait pas ! Il a fallu donc mettre véritablement les « mains de dans le cambouis ». Une source inestimable sur le sujet est le groupe Facebook Unreal Engine: Virtual Production géré par l’incontournable Matt Workman, un jeune chef opérateur américain qui a réalisé la démo « virtual production » du Siggraph 2019 et s’est fait une spécialité des techniques de la Virtual Production ; il a d’ailleurs une chaîne Youtube très suivie où il fait part de ses recherches.
En fait, la plupart des acteurs professionnels du marché (codeurs, fabricants de LEDs, de caméras, de solutions de tracking) sont sur le groupe et échangent, posent des questions, font part de recherches… et mettent parfois à disposition quelques éléments de réponses, qui, quand on fait l’effort de les relier ou de combler les zones d’ombres, finissent par dessiner quelque chose ! Epic Games nous a beaucoup aidé en nous disant simplement: « d’abord, intéressez-vous à nDisplay ; et ensuite, à Multi-user ». Au moins, nous savions où chercher ! Depuis quelques jours, c’est un peu plus facile : Epic a mis un tutoriel de plus de 15h (!) pour expliquer les bases de la Virtual Production, et la documentation est devenue beaucoup plus touffue. Les fonctions restent en beta, mais les sous-versions successives d’Unreal les rendent de mieux en mieux intégrées.
Ensuite, d’un point de vue pratique il a fallu confronter toute cette théorie à la pratique, devant de grandes surfaces d’écrans LEDs… il y a toujours des problèmes qui apparaissent car les LEDs ne sont pas conçues à la base pour cette utilisation – donc il faut parfois ruser un peu. Tout ça nous a permis de bien comprendre ce qui se passe « sous le capot », ce qui est nécessaire pour bien fluidifier le process.
En ce qui concerne le moiré, c’est un problème moins simple qu’il n’y paraît. Oui il existe un certain nombre de « trucs » pour l’éviter, faciles à mettre en place – c’est ce que nous et la plupart des autres sociétés dans le monde avons fait jusque-là, et ça marche. Mais notre ambition est de véritablement régler le problème: nous avons plusieurs pistes en ce sens, théoriquement valables, que nous allons tester en pratique dans les prochaines semaines.
3DVF : Une de vos spécificités est votre expérience sur des systèmes précurseurs des méthodes de production virtuelle et murs de LEDs pour le Commissariat à l’Energie Atomique. Pouvez-vous nous en dire plus ?
Absolument ! Le hasard fait bien les choses, il se trouve que nous avons travaillé sur le proto SIRCE (Smart Immersive Room for Circumvision Experience) pendant un an et demi, juste avant la sortie de The Mandalorian ! Le CEA voulait une « chambre d’immersion à la Matrix »: on entre dans une pièce sans casque de VR et paf, on est transporté dans un autre monde ! Leur idée était de pouvoir « téléporter » un chercheur ou un spectateur dans un lieu difficile d’accès – un réacteur de centrale nucléaire, la grotte Chauvet ou la station spatiale internationale. J’avais été contacté comme spécialiste de la 3D car il s’agit d’un système stéréoscopique – et en fait je me suis retrouvé à concevoir le système pratiquement de zéro, en commençant avec un papier, un crayon, une règle et un rapporteur dans un café, puis sur Nuke et TouchDesigner. Après pas mal de R&D, le système a été livré en février 2020. OK il s’agissait de transporter un spectateur dans un autre monde et non pas de transporter la caméra, mais j’ai tout de suite fait le rapprochement entre la technique que nous avions développé et celle de Mandalorian, ce qui m’a poussé à m’y intéresser de plus près.
3DVF : Avez-vous déjà des projets d’améliorations, extensions ou autres pour le système ?
Plein ! Nous venons par exemple de finaliser un système qui bypass la couche « multiuser » d’Unreal pour gagner en fluidité et en interactivité dans la gestion des lumières. Nous voulons absolument que l’expérience soit aussi fluide que possible pour les équipes de tournage, comme sur un système Apple : zéro temps d’adaptation, tout est intuitif, simple, et fiable ! C’est pour nous la seule façon pour que le système soit accepté largement : il faut que tourner en studio virtuel soit plus facile et plus rapide que de tourner en réél ! Nous tenons aussi énormément à développer les méthodes innovantes permises par la production virtuelle, qui permettent, en repensant la pré-production, de gagner un temps incroyable au tournage, et plus encore en post-production. Nous sommes convaincus qu’une partie de l’avenir de la production en France se joue sur notre capacité à tirer le meilleur de ces nouvelles possibilités, qui pourraient même faire naître tout un mouvement artistique, habitué à pouvoir tourner dans les décors les plus fous à peu près sans contraintes !
3DVF : Enfin, est-il dès à présent possible de faire appel à vos services ?
Bien sûr, par mail à contact@neoset.net , sur notre site www.neoset.net ou notre page Facebook www.facebook.com/neosetfrance !
Pour en savoir plus / éléments évoqués dans l’article
- Le site Neoset et la page Facebook ;
- Neoset est référencé dans notre liste & carte des studios ;
- Parallell Cinema ;
- Notre interview de Chris Edwards, fondateur du studio The Third Floor, qui revient sur les coulisses de The Mandalorian ;
- nos interviews de BigSun et Plateau Virtuel, autres prestataires proposant des services similaires ;
- Small Studio, division de Mac Guff Ligne ;
- Matt Workman, sa page Youtube et son groupe Facebook Unreal Engine: Virtual Production ;
- le PIDS (Paris Images Digital Summit) sera de retour fin janvier 2021.
N’hésitez pas à donner votre avis sur cette technologie et débattre de l’interview en commentaire !
Studios, artistes, vous pouvez nous contacter via contact@3dvf.com.
