Cet article est également disponible en:
Anglais
Au SIGGRAPH 2023, Vicon a dévoilé une technologie de motion capture sans marqueurs reposant sur le machine learning. Ils ont mis en avant cette approche via une expérience VR en collaboration avec la société Dreamscape Immersive, spécialisée dans la VR, l’institut de recherche Artanim (qui est derrière la plateforme technologique de Dreamscape) et la marque d’horlogerie de luxe Audemars Piguet.
L’expérience porte le nom Clockwork Forest. 6 personnes étaient immergées en simultané et en VR. Pas de sac à dos pour le calcul des images, pas de costume de mocap ou de marqueurs à positionner : le but est clairement de proposer une expérience immersive avec le moins de friction possible pour les utilisateurs, et est aussi pour Dreamscape l’occasion de se détourner des fameux backpacks qui ont longtemps été la norme pour proposer des visuels haut de gamme.
La technologie Vicon sert ici à faire du full body tracking. Les doigts avaient aussi droit à de la motion capture, mais il s’agissait ici d’une capture faire par le casque, pas d’une technologie Vicon.
Le CTO de Vicon, Mark Finch, nous a donné plus de détails sur le projet.
Evidemment, capturer le corps et ses mouvements nécessite des caméras installés dans le volume où se tenait l’expérience. Le système peut donc rappeler un plateau de motion capture, mais les caméras utilisées sont bien plus classiques, puisqu’il n’y a pas besoin de voir de marqueurs, d’utiliser de l’infrarouge. Vicon préfère ne pas donner trop de détails sur l’installation à ce stade, expliquant que comme le système est encore en développement il n’est pas forcément représentatif du produit final. Nous n’étions par ailleurs pas autoriser à prendre d’images au sein de l’espace de l’expérience.
Vicon nous a expliqué que cette approche sans marqueurs « est en R&D depuis près de 3 ans » dans leur centre de R&D d’Oxford, au Royaume Uni.
Il nous a aussi indiqué que le système en place pour l’expérience VR est en fait multimodal : alors que le corps était capté sans marqueurs, les props en avaient. Il est donc possible de combiner les techniques.
Cette technologie sans marqueurs n’est pas encore prête pour un lancement commercial, mais Vicon a lancé un « Pioneer Program » destiné aux personnes et entités qui souhaitent donner leur avis sur la direction à prendre, et qui pourront devenir beta testeurs par la suite. Le programme vise avant tout les influenceurs mocap, évangélistes, organisations du secteur VFX (y compris le Location Based Entertainment, la VR, la production virtuelle).
Vicon nous a précisé que cette nouvelle technologie visera à terme un public plus large, y compris ingénierie, sciences de la vie, divertissement, spatial, défense, etc.
Faut-il comprendre que la technologie classique avec marqueurs sera remisée au placard par Vicon ? Pas du tout. Comme nous l’a expliqué Vicon, « il y a des cas adaptés à la motion capture avec capteurs, elle est très fiable est précise, et nous aurons toujours des clients qui l’utiliseront ». Mais comme la mocap sans marqueurs est plus rapide à mettre en oeuvre, elle est adaptée en particulier à des usages nécessitant un gros débit, comme le Location Based Entertainment.
Il sera également intéressant de voir si Vicon étend ses usages de l’IA et de la motion capture. D’ici là, si vous voulez tester l’expérience Clockwork Forest par vous-même, elle est accessible dans les centres Dreamscape à Los Angeles, Genève.
