NVIDIA GET3D - GTC
Accueil » Avec GET3D, NVIDIA va remplir vos jeux, projets architecturaux et mondes virtuels

Avec GET3D, NVIDIA va remplir vos jeux, projets architecturaux et mondes virtuels

Cette article est disponible en: English (Anglais)

NVIDIA Research présente GET3D, un projet qui utilise l’IA pour peupler les mondes virtuels, qu’il s’agisse de jeux vidéo, de vos futurs rendus architecturaux ou, pourquoi pas, d’un film à effets visuels.

L’idée de base : entraîner une IA sur de vastes quantités d’images, par exemple des voitures, maisons, animaux, pour qu’elle puisse ensuite générer des modèles 3D variés.
Mieux encore, les modèles 3D créés sont déjà texturés. Voici un aperçu des résultats :

GET3D a l’avantage de générer des modèles avec des détails géométriques fins, et non pas des formes qui manquent de détails comme c’est souvent le cas sur ce type d’approche.
Ainsi, comme le montrent également les exemples sur la page de la publication scientifique associée, GET3D peut sans souci créer des chaises de bureau avec roulettes, des motos détaillées avec rétroviseurs ou rayons sur les roues, des animaux avec oreilles et cornes, etc.

Les textures sont également assez convaincantes, et elles ne sont pas liées de façon inséparable au mesh généré : GET3D peut permettre de créer des variations sur la forme sans changer de texture, ou inversement.

Enfin, il est possible de guider la génération des modèles avec du texte.

L’entraînement de GET3D se fait avec des images 2D générées à partir de formes 3D capturées sous différents angles : l’IA ne part donc pas d’une collection de meshes ni de photos réelles, mais d’une collection d’images créées pour l’occasion.

L’entraînement de GET3D

Comme d’autres projets de recherche, GET3D laisse entrevoir un futur dans lequel peupler de vastes univers sera bien plus facile. Par exemple avec des artistes qui définiront la direction artistique globale puis utiliseront de l’IA pour créer de façon guidée les modèles 3D, au lieu de les modéliser individuellement. On imagine évidemment de nombreux usages : des foules plus variées pour les effets visuels, Un jeu vidéo contenant d’innombrables voitures différentes, un monde virtuel peuplé d’animaux variés et détaillés. Le tout sans pour autant retirer la direction artistique aux artistes, puisqu’encore une fois, GET3D nécessite des références pour s’entraîner, et peut être guidé.

La technique n’en est encore qu’à ses débuts, et semble promise à un bel avenir dans un futur proche.
Pour plus d’informations, on pourra consulter la page du projet. On y trouvera la publication complète, davantage de visuels mais aussi du code qui sera mis en ligne dans la semaine.
« GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images » est une publication de Jun Gao, Tianchang Shen, Zian Wang, Wenzheng Chen, Kangxue Yin, Daiqing Li, Or Litany, Zan Gojcic, Sanja Fidler.


A Lire également