Cet article est également disponible en:
Anglais
Shutterstock est une plateforme bien connue des artistes, qui permet d’acheter et vendre des contenus en tous genres : photos, illustrations, vidéos, mais aussi des modèles 3D via Turbosquid (plateforme rachetée par Shutterstock en 2021).
A l’occasion du SIGGRAPH, l’entreprise a multiplié les annonces : elle met un pied dans les NeRFs, développe un partenariat avec NVIDIA autour des environnements HDRI générés par IA, évoque son système Stemcell pour les modèles 3D proposés sur Turbosquid
Nous avons pu nous entretenir avec Dade Orgeron, VP of 3D innovation chez Shutterstock, pour revenir en détail sur ces annonces, mais aussi des questions comme l’aspect éthique des IA.
3DVF : Au SIGGRAPH 2023, Shutterstock et NVIDIA ont évoqué un partenariat autour de l’IA générative. En bref, il s’agit de proposer un outil dans le cloud permettant de créer des environnements HDRI à 360° et en 8K pour les scènes 3D. Le tout à l’aide de NVIDIA Picasso, une plateforme « fonderie pour la création et le déploiement » d’outils utilisant l’IA générative.
Pourquoi ce partenariat ?
Dade Orgeron, VP of 3D Innovation – Shutterstock : Pour recadrer les choses, je précise que je suis arrivé chez Shutterstock via le rachat de Turbosquid. J’étais déjà chez Turbosquid depuis 9 ans avant cela. Et nous étions déjà proches de NVIDIA avant le rachat. Nous travaillions en étroite relation avec l’équipe Omniverse, en particulier à leurs débuts. Nous avons par exemple développé quelques applications sous Omniverse.
Après le rachat par Shutterstock, cette relation s’est poursuivie. Il a été immédiatement évident, vu les données auxquelles nous avons accès, qui ne viennent pas de n’importe où, qu’un partenariat avait du sens. L’idée étant de laisser NVIDIA utiliser ce contenu pour entraîner leurs IA.
Durant ce processus, nous avons réalisé qu’il y avait différentes opportunités, pas juste entraîner des IA sur des modèles 3D pour créer d’autres modèles 3D. Les vidéos, images ont un potentiel aussi : nous avons une bibliothèque massive ! Et nos données peuvent être utilisées de bien des manières, par exemple des modèles 3D peuvent aider une IA à savoir à quoi doit ressembler un mesh propre. A quoi doit ressembler un modèle 3D utilisable en production.
Sans compter que nous partageons un but commun : donner des capacités créatives aux artistes, et non pas les remplacer.
3DVF : Des IA sont donc entraînées sur les données créées par les contributeurs qui vendent sur la plateforme.
Comment cela se passe-t-il pour eux ? Ont-ils leur mot à dire ? Que retirent-ils de cette démarche ?
Nous avons mis en place un fonds dédié aux contributeurs. En gros vous pouvez faire un opt-out si vous ne voulez pas que vos contenus soient utilisés pour entraîner des IA. Cela nous assure que les artistes sont d’accord pour que leurs assets puissent être mis en commun pour cet usage.
Et les artistes sont payés si leurs données sont utilisées, via ce fonds. C’est une belle opportunité pour qu’ils puissent générer davantage de revenus.
3DVF : Rappelons que beaucoup d’artistes ont peur des IA génératives, de l’utilisation sans autorisation de leur travail, de l’impact des IA sur leur travail.
Oui, et je pense que les artistes 3D sont sans doute les artistes les plus qualifiés pour utiliser l’IA générative. Nous avons encore un long chemin avant que les artistes puissent réellement se faire une idée de la manière dont ces outils peuvent se positionner dans leurs pipelines et workflows. Nous essayons de faire en sorte que ce domaine leur permette, de façon sécurisée, de générer des revenus dès à présent, mais aussi qu’ils puissent utiliser ces outils.
3DVF : Evoquons également Stemcell v2 et le futur standard Universal 3D Asset sur lequel vous travaillez. De quoi s’agit-il ?
Les deux notions sont liées. En bref, Stemcell, ce sont deux parties :
- une spécification, pour que nos contributeurs créent du contenu de façon très spécifique, en suivant les bonnes pratiques de l’industrie, des approches comme le PBR.
- notre pipeline. Une fois qu’un asset a été créé en suivant ces spécifications, on peut convertir le contenu 3D vers à peu près tout format demandé par un utilisateur, automatiquement. Cela enlève une partie du process qui demandait du temps et que les artistes ne voulaient pas gérer. Et en plus ce n’est pas toujours bien fait.
Le but ultime, c’est donc l’Universal Asset. l’idée est de développer un standard en sortie. On veut que les utilisateurs soient capables de rester dans leur outil de création de contenu, et puissent ajouter du contenu externe de façon transparente. C’est là qu’intervient la notion d’Universal Asset. Il ne s’agit pas juste de trouver ce qu’on cherche et de le télécharger, il s’agit de rester dans son workflow, d’interagir avec notre librairie d’une façon qui permette d’ajouter du contenu de façon instantanée et très facile à votre projet.
Bref, un environnement sans friction, qui fasse passer Stemcell au niveau supérieur pour les créatifs. Ils n’auront pas à sortir de leur outil de création de contenu, télécharger un fichier, le convertir, vérifier s’il convient à leur besoin.
3DVF : Pensez-vous qu’USD sera au coeur de cet Universal Asset ?
C’est la vision, oui. A l’heure actuelle c’est vraiment aux développeurs d’outils, comme Autodesk, d’intégrer USD de façon utile. Et ils le font ! Donc on voit ça comme une manière de faciliter ce que nous essayons de créer. Nous ne sommes pas ceux qui auront à créer les plugins, on se contente de faire en sorte que le contenu soit standardisé et prêt à être utilisé.
Nous sommes aussi très enthousiastes envers OpenPBR, je pense que ce sera intéressant dans le cadre de cette volonté d’Universal Asset.
Mais quel que soit le chemin que prennent les créatifs, nous les suivrons.
3DVF : Vous travaillez avec Luma AI, RECON Labs, Volinga AI autour de la technologie NeRF (neural radiance fields).
Oui, c’est quelque chose qui nous enthousiasme beaucoup. Le contenu est roi, et notre coeur de métier est le licensing de contenu. On essaie toujours de suivre les dernières tendances de l’industrie.
L’an passé au SIGGRAPH, au on vu émerger le début de l’engouement autour des NeRFs, et nous suivions ça de près. Depuis, beaucoup de choses ont évolué dans ce domaine. Nous avions réalisé qu’il s’agit d’une opportunité considérable pour, en quelque sorte, débloquer la création de contenus 3D.
On a des milliers de contributeurs dans le monde, qui sont tout à fait capables, avec leurs caméras et drones, de capter de la vidéo n’importe où. C’est parfait pour les NeRFs !
C’est pour ça que l’on a développé un produit potentiel appelé Virtual Locations. En bref, le concept est de marier la technologie NeRF et le talent de nos contributeurs vidéo. On peut alors commencer à accumuler une base de contenus 3D massive.
Des lieux, donc, mais aussi des objets grâce à notre partenariat avec 3Dpresso de RECON Labs. Ils font un travail extraordinaire pour générer des objets 3D grâce aux NeRFs, Luma AI également. Luma AI et Volinga AI étant par ailleurs excellents pour les environnements et lieux.
L’idée est donc de rassembler ces technologies, de faire en sorte de voir comment nos créateurs vidéo peuvent générer des contenus 3D.
C’est pourquoi nous avons travaillé étroitement avec Luma AI et Volinga afin de comprendre ce dont on a besoin pour créer des lieux virtuels, des Virtual Locations. Autrement dit, pour shooter dans le désert de Mojave par exemple, de quoi aura-t-on besoin ? Du plan moyen, large, de la vue aérienne, du plan serré… On cherche les choses qu’il faut capturer afin de tout packager afin que les consommateurs finaux puissent utiliser ces lieux pour la production XR ou autre.
3DVF : Donc en clair, vous allez fournir des bonnes pratiques, des trucs et astuces aux spécialistes de la prise de vue vidéo, vous appuyer sur vos partenaires pour créer des NeRFs, et les éléments capturés seraient ensuite disponibles sur Shutterstock.
Exactement. Et on va continuer à travailler avec Luma AI, Volinga AI, 3Dpresso pour accompagner le développement de leurs produits. On veut s’assurer que l’on utilise les dernières technologies et donner à nos partenaires les données dont ils ont besoin de la part de nos utilisateurs, contributeurs, pour créer des NeRFs de qualité et pouvoir les utiliser.
Donc ce partenariat se traduira par beaucoup de partage d’informations.
3DVF : C’est assez intéressant de voir que vous choisissez de vous appuyez sur les vidéastes, pas forcément sur les personnes qui faisaient de la photogrammétrie. Cela amènera du coup de nouveaux artistes à se mettre à la capture d’éléments 3D.
Exactement. L’arrivée des appareils photo numériques a clairement été une grosse aide pour l’essor de Shutterstock, soudain tout le monde pouvait créer du contenu et le vendre. Et on a toujours attendu quelque chose de similaire en 3D, une « révolution des appareils photo numériques » équivalente. C’est ce qui fait qu’on est enthousiastes ici. Des outils simples que les gens savent déjà utiliser, et la technologie IA, permettent de créer des choses inenvisageables avant.
Les gens comparent souvent NeRFs et photogrammétrie, et ça a du sens, mais les NeRFs sont vraiment quelque chose de singulier et s’en différencient par bien des aspects. C’est vraiment puissant pour reconstruire les environnements.
On y est. C’est l’équivalent des appareils numériques pour la 3D.
3DVF : Quel public Shutterstock compte cibler avec ces assets issus de NeRFs ? Qui seront les clients ?
On se concentre actuellement sur le secteur de la production de contenus XR. On veut leur proposer une librairie d’environnements qu’ils puissent utiliser et avec laquelle experimenter.
A l’heure actuelle on est encore en phase R&D. On veut en savoir plus sur comment ils vont utiliser ce produit, où va la techno, ce qui est nécessaire pour que nos clients puissent mener à bien leurs projets.
La XR est un secteur enthousiasmant mais c’est encore difficile d’en faire, et c’est coûteux et ça demande une grosse puissance de calcul. Donc c’est une opportunité de découvrir comment rendre tout ça plus facile, et de nous assurer que l’on répond aux besoins des clients.
Après, je suis sûr que l’on aura d’autres types de clients : dans le développement de jeux vidéo, l’architecture, qui sont les principaux clients de Turbosquid. Ils vont clairement vouloir utiliser cette technologie également, nous allons donc travailler avec eux pour voir comment on peut rendre tout ça utilisable de leur côté aussi.
Au-delà de ça, il faut voir les choses en face : le client 3D moyen a évolué. En plus du gaming, des VFX, de l’architecture, du design, on voit désormais des chercheurs spécialisés dans la simulation, de la recherche médicale, etc. On voit une grande diversité de clientèle, ils sont insatiables, ils ont besoin de créer des univers entiers. C’est ce qui a initié notre partenariat avec NVIDIA, mais en avançant, c’est allé plus loin. C’est aussi mettre en place les outils qui vont donner plus de capacités aux créatifs. Donc au final, ces annonces sur les NeRFs, ou l’outil de création HDRI 360° que vous avez vu dans la keynote NVIDIA, tout ça va permettre aux artistes 3D, et aux gens qui ne sont pas vraiment des experts, d’utiliser des contenus 3D.
3DVF : Merci pour ces précisions sur votre positionnement ! Nous continuerons à suivre de près les évolutions autour des de l’IA et des NeRFs.
Pour les personnes qui s’intéressent au sujet, n’hésitez donc pas à nous suivre sur Youtube, Instagram, Facebook, X/Twitter, LinkedIn pour ne pas manquer nos prochains articles et contenus sur ces sujets.
