Cet article est disponible en:
Anglais
La 50 édition du SIGGRAPH a débuté ce dimanche matin à Los Angeles : la plus grosse conférence annuelle sur l’infographie et les techniques interactives est de retour ! Un évènement incontournable que nous ne voulions pas manquer : 3DVF est donc sur place, en tant que partenaire média officiel.
Comme chaque année une file d’attente s’est rapidement formée et il a fallu s’armer de patience afin de pouvoir récupérer la précieuse accréditation. Cette édition est hybride et les chiffres officiels ne sont pas encore disponibles, mais il est clair que sur place, le public est au rendez-vous pour cette édition 2023.
Cependant, de petits changements sont à noter au Convention Center de Los Angeles. Fini l’espace exposants au Hall South, désormais tout est regroupé dans un espace plus restreint dans le hall West. De plus, le lieu couvrant une surface importante, il fallait parfois plusieurs minutes pour rejoindre deux salles. Cette année, tout a été concentré dans une partie du Convention Center. Peu d’évènements auront lieu au South Hall à l’exception des Keynotes importantes comme celle de NVIDIA avec la présence du cofondateur et CEO Jensen Huang. A noter : l’équipe a brandi toute la matinée des pancartes avec les chiffres 888 pour 8/08 8 a.m. PT (date et heure de la conférence). Elle sera retransmise en ligne et devrait notamment aborder IA, OpenUSD, recherche. Nous aurons peut-être aussi droit à quelques surprises.
Neural Radiance Fields – NeRF
La première conférence à laquelle nous avons assisté ce dimanche portait sur les NeRF, un sujet qui va continuer à faire progresser l’IA dans la vidéo et l’image et qui deviendra un sujet de plus en plus abordé à l’avenir.
Les Neural Radiance Fields, ou NeRF, sont une technologie reposant sur les réseaux de neurones. En bref, les NeRF permettent, à partir d’images/photos d’une scène réelle ou virtuelle, de naviguer au sein de cette scène en interpolant les points de vue entre les images d’entrée. Cette description peut faire penser à de la photogrammétrie, mais la technique sous-jacente est très différente, de même que les possibilités.
Les NeRF gèrent les scènes et objets dont l’apparence change selon le point de vue (par exemple avec des reflets) ou comportant des occlusions complexes. Et si un NeRF n’est pas une représentation 3D classique d’une scène, on peut néanmoins générer des meshes 3D si nécessaire (avec des techniques comme les marching cubes).
En coulisses (les allergiques à la technique passeront directement au paragraphe suivant, sous la vidéo) les NeRF utilisent une représentation volumétrique de la scène, définie en 5D (3 coordonnées pour la position spatiale et 2 pour l’orientation de la caméra). L’idée est alors de mettre en place un réseau de neurones qui associera à ces coordonnées 5D une sortie 4D (valeurs R, G, B et densité de volume). Des techniques issues du rendu volumétrique permettent ensuite de calculer une image pour un point de vue donné. Une fois le système optimisé (en réduisant l’erreur entre le rendu calculé et les images de référence), on obtient de quoi générer des images de la scène quel que soit le point de vue.
La vidéo ci-dessous vous donnera plus de détails : elle présente la publication NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, dévoilée en 2020 et qui est à la base des NeRF.
Les NeRF progressent rapidement et sont un champ de recherche très actif. Ils ont de nombreuses applications potentielles : par exemple la réalité mixte, une partie des usages de la photogrammétrie, et bien plus encore. Le temps d’entraînement nécessaire pour créer un NeRF est encore non négligeable, mais les progrès sont rapides.
Ces algorithmes et ces nouvelles technologies ont donc été présentés au SIGGRAPH. L’équipe de l’entreprise Luma AI a mis en avant ses avancées sur le sujet : Luma AI propose des outils pour créer et utiliser vos propres NeRF à partir de vidéos ou photos. Une application iOS, une version web et un plugin pour Unreal Engine sont ainsi disponibles.
Si vous disposez d’une accréditation SIGGRAPH, le replay de cette conférence du dimanche est accessible en ligne. Nous aurons l’occasion de revenir sur les NeRF dans la suite de notre couverture de la conférence.
